gov-gov.ru

Дмитрий Волков сделал  карту Нижнего Новгорода с разметкой домов по времени постройки.

Недавно я публиковала ссылку на полную карту Нидерландов, где можно увидеть возраст каждого здания, но не будем забывать, что в Нидерландах есть открытый кадастр, а у нас нет. Карта Нижнего Новгорода построена на основе openstreetmap, адресного плана от администрации области и информации с портала недвижимости.

Дмитрий рассказал мне о своем исследовании мира карт возрастов строений. В первую очередь, стоит посмотреть материал из Wired Brilliant Maps Reveal Age of the World’s Buildings. Упоительно:

В Wired же опубликован пошаговый тьюториал по созданию таких карт (обратите внимание на комментарии с советами от читателей). Благодаря OpenStreetMap доступны хорошие карты почти всех крупных городов, основная проблема состоит в поиске информации о возрастах строений. В Москве такие данные есть по многоквартирным жилым домам, но они до сих пор заточены в Портале управления многоквартирными домами, у которого нет API. Насколько я знаю, вопрос о публикации этих данных на портале открытых данных Москвы прорабатывается. Но это не решит другую проблему — отсутствия данных о возрастах исторических, общественных и административных зданий. Весь центр города получится серым.

Использование информации агентств недвижимости тоже имеет свои сложности: данные там могут быть только по домам, где проходили сделки, непонятна лицензия на использование. Я думаю, что для экспериментального или конкурсного проекта их брать можно, для серьезного сервиса — уже нужно договариваться. Зато у них может быть информация о ценах за квадратный метр, карта цен — это потрясающе. Посмотрите, как это сделали в Словении:

Для карты Нижнего Новгорода Дмитрий брал данные с сайта Администрации. Это оказалось возможным, но только после преодоления некоторых трудностей:

• никакого API или датасетов
• не используются географические координаты
• информация есть только до 2011 года
• нет ясной лицензии на использование данных (только просьба давать ссылку на сайт)

Лицензии на использование данных — это не только отечественная проблема. У нас они, чаще всего, отсутствуют, в других странах присутствуют, но иногда с запретительными условиями. Например, в Нью-Йорке шла великая битва за PLUTO (Property Land Use Tax lot Output), до которой пользователь был обязан платить ежегодно по 1500 за использование данных и не могу распространять их в интернете. После принятия закона New York City’s Open Data Law 7 марта 2012 года понадобился еще год на эпическую битву за публикацию данных.

В Российской Федерации кадастровые сведения являются общедоступными, но на Публичной кадастровой карте далеко не всегда можно найти данные из п.3.5: «информация об объекте капитального строительства: — этажность, год ввода в эксплуатацию…».

Существует отдельная проблема связи openstreetmap и официального адресного плана, адреса домов могут не совпадать, или различаться литерой, или отсутствовать OpenStreetMap. С более подробным описанием этого вопроса можно ознакомиться здесь.

И еще одно препятствие: не всем данным можно верить.  Подозрительно много домов в Нижнем Новгороде датируется 1918 годом, что странно. Аналогичный эффект наблюдался в Нью-Йорке и Нидерландах,

Все ценные сведения и ссылки из этого поста мне передал Дмитрий Волков. Я думаю, что его с карта НН — отличная работа, которая заслуживает премии одного из конкурсов приложений на основе открытых данных, очень жаль, что ее не было на Apps4Russia, а APIChallenge сконцентрирован на Москве. Весь материал, собранный Дмитрием, можно переработать в отличнейший мастер-класс по созданию таких карт для российских городов.

В это воскресенье есть шанс приятно провести время в обстановке абсолютной гендерной дискриминации — Теплица социальных технологий приглашает на Geek Girl TeST-Camp девушек, чтобы побороться с гендерной дискриминацией цифрой.

Это будет  хакатон с большим блоком докладов и выступлений. Из спикеров я высоко ценю Ирину Радченко, которая сейчас очень много занимается Школой открытых данных, с удовольствием ее послушала бы. Заочно — исключительно через чтение блога — я знаю Татьяну Мисютину, дата-гика, инфо-дизайнера и бегуна. Ее доклад я бы тоже послушала и посмотрела.

Лично у меня отношение к проблеме гендерного неравенства сложное — я не чувствую, чтобы меня как-то задвигали только потому, что я женщина. Мои поражения никак не связаны с полом, просто иногда я становлюсь жертвой своей же трусости и лени, больше ничего. С другой стороны, посмотрите на фотографии с любого нашего заседания:

мужчин очевидно больше, чем женщин. Это что-то да значит. Поэтому  Geek Girl TeST-Camp — хорошая идея, желаю всем участницам знатно повеселиться. Я в воскресенье выехать не смогу, выходные я стараюсь проводить с маленьким сыном. Это не гендерное неравенство, потому что мой муж делает тоже самое.

Регистрация (обязательно, чтобы организаторы успели заказать пропуска).

Заседание совета по открытым данным прошло в понедельник, но, к счастью, повестка дня сохраняет некоторый интерес и к середине недели. Это был совсем короткий совет с тремя докладами.

Первым выступил начальник отдела информационной политики Минкультуры Михаил Городилов с рассказом о результатах и планах своего ведомства в раскрытии информации. Теоретически, Минкультуры мог бы стать идеальным ведомством открытых данных — министерство занимается вещами одновременно достаточно интересными в реальной жизни и достаточно безобидными, чтобы не волноваться по поводу отдаленных печальных последствий, на которые всегда намекают представители более грозных учреждений. Кроме того, стоит вспомнить о подведомственных органах — Росархиве и Ростуризме, владельцах потрясающе перспективных дата-ресурсов.

Нынешняя ситуация не слишком радужная — у министерства есть раздел открытых данных с 15 наборами. Датасеты там неполные, например, в статистике по циркам упоминается всего 8 цирков, большая часть граф оказываются незаполненным, а «наличие интернет-сайта» обозначается с математическим сарказмом: «1» или «0». Хуже всего, что все эти наборы созданы вручную, поэтому их обновление представляет собой некоторую проблему.

Флагманом культурных открытых данных ведомство видит оцифровку культурного наследия, всех 80 миллионов музейных экспонатов или хотя бы лучшей их части. Михаил Городилов упоминал, что для хранения этой информации понадобится около 280 Тб и отсутствующие у Министерства мощности — что наводит на мысль о схеме частно-государственном партнерстве.  Сейчас в год цифруется 800 тысяч музейниых экспонатов, 10 тысяч недвижимых памятников, 10 тысяч фильмов, 5 тысяч записей песен. Я думаю, что оцифровка культурного наследия — важное дело, но

• 800 тысяч музейных экспонатов в год — это уже много. Было бы здорово сделать результаты этой работы открытыми и качественными. Посмотрите на цифровую коллекцию Эрмитажа. Хорошо? Нет, не хорошо, допотопные всплывающие окна и картинки величиной со спичечный коробок.

• Существует много других способов сделать открытые данные Минкультуры полезных — более простых и быстрых, чем создание Art Project Google. Госрегистр прокатных удостоверений, подробная статинформация о цирках, театрах и зоосадах, всеобщие расписания всех мероприятий — есть, что собирать.

Вторая часть заседания ушла на разбор плана реализации принципов Хартии открытых данных и победоносного шествия к месту в первой пятерки рейтинга G8 Open Data Census. Сейчас Российская Федерация на восьмом месте, что звучит неплохо, пока не вспомнишь, что в этом рейтинге всего восемь мест. Для подъема нужно обойти три каких-то страны, скорее всего, Канаду, Германию и Италию. Интересно, что в общем рейтинге Open Data, а не в выборке по G8, Россия занимает 31 место из 59, первое место удерживает Норвегия, которая не входит в G8.

Рейтинг G8 Open Data Census хорош тем, что в нем есть четкие критерии, по которым можно продвинуться — необходимо создавать разделы открытых данных, готовить лицензии, готовить выгрузки — и делать так, чтобы эксперты рейтинга увидели все это. Ситуация похожа на старую историю с рейтингом ООН, в котором мы смогли подняться с 193 места до 27 (кстати, пора всерьез заниматься рейтингом-2014, иначе 27 место окажется национальным рекордом).

Третью часть заседания отвели обсуждению хода конкурса на разработку единого портала открытых данных. Об этом стоит поговорить позже.

Завтра вечером на очередном занятии Школы открытых данных основатель GIS-Lab Максим Дубинин расскажет о геоинформационных технологиях и проведет мастер-класс по работе с открытыми геоданными в примерах. Поскольку планируется создание дистанционного курса по работе с открытыми данными, мы продолжаем публиковать видеозаписи и учебные материалы предыдущих занятий (первая часть с обзорной лекцией и занятию по журналистике данных опубликованы здесь).

Третье занятие было посвящено теме Semantic Web и «Гибким Знаниям». Выступили несколько приглашенных экспертов из Лейпцигского университета, члены исследовательской группы Agile Knowledge Engineering and Semantic Web.

Амрапали Завери, Лейпцигский университет (исследователь, PhD) – «Оценка качества интернет-данных: направления, показатели инструментарий»

http://www.youtube.com/watch?v=Zb-YatG4EVs

Конрад Хёффнер, Лейпцигский университет (исследователь) – «Связанные расходы: открытые расходы превращаются в связанные открытые данные»

http://www.youtube.com/watch?v=niMA6kJ-Gbk

Иван Емилов, Лейпцигский университет (исследователь, PhD) – «Интеграция и визуализация данных с использованием технологии Semantic Web»

http://www.youtube.com/watch?v=YK2BQygPcKM

Все ссылки по итогам занятий можно найти в блоге Школы открытых данных – там опубликованы ссылки на все видеозаписи, презентации и стенограммы прошедших занятий.

И еще хорошая новость – у НП «Информационная культура» теперь появился свой блог на Хабрахабре. Следите за обновлениями и оставляйте комментарии.