Skip to content

Полезный набор данных: исправные и неисправные аттракционы

На портале открытых данных Москвы выложили полезный набор данных: перечень аттракционов, в отношении которой была проведена проверка по допуску к эксплуатации. Из 365 проверенных веселых горок и и прочих качалок 20 отмечены как недопущенные к эксплуатации. Не могу не заметить, что непрошедшая проверку железная дорога «Поросята» стоит во вполне себе неплохом парке Сокольники, а не на заброшенном пустыре.

С тех пор, как у меня появился собственный ребенок, я начала иначе смотреть на железных динозавров в парках и невольно задаваться вопросом, кто отвечает за то, чтобы эта конструкция не рухнула вместе со всеми маленькими пассажирами. Так что датасет одобряю, теперь было бы здорово, если бы его как-то перевели в формат приложения.

Оргия усовершенствований — из книги «To Save Everything Click Here»

В самом начале своей новой книжки «Нажмите здесь, чтобы все сохранить» Евгений Морозов приводит забавное описание воображаемого будущего, в котором воплотились все модные нынче тренды. Позволю себе привести эту цитату:

Человечество, оснащенное спецустройствами, собирающими информацию, наконец, отпразднует победу над ожирением, бессонницей и глобальным потеплением — ведь все будут есть меньше, спать лучше и оставлять карбоновые следы осмотрительней. Мы распрощаемся с несовершенствами человеческой памяти, поскольку те же самые устройства запишут и сохранят все, что мы делаем. Ключи от машины, лица, факты  — больше не забудем. Исчезнет всякий повод к нежной прустовской ностальгии по вкусу печенья-мадленки, уносящему в детство. Тот далекий беззаботный миг, безусловно, записан в памяти смартфона или, что вероятней, в памяти ваших умных электронных очков. Не надо фантазировать и вспоминать, просто воспроизведите файл. Ваш распознающий голос автоматический помощник вовремя напомнит правду, которую раньше вы могли избегать, все эти мадленки опасно действуют на уровень сахара в вашей крови, и их следует избегать. Извини, Марсель.

Политики наконец-то попадут под неотводимый взгляд своих избирателей и освободятся от соблазна коррупции. Партии самораспустятся, их заменят политические кампании на группоноподобных сервисах, куда пользователи будут собираться для принятия важных решений. И тогда, когда каждое слово, да что там слово — звук, изданный политиком запишется и сохранится навсегда, их вечное лицемерие тоже исчезнет. Исчезнут лоббисты всех видов, они не могут существовать в мире, где все движения чиновников — рабочие графики, ресторанные счета и расходы на поездки — окажутся доступными для всеобщего изучения в интернете.

По мере того, как цифровые сервисы будут становиться все удобней и удобней, даже самые ленивые избиратели, до сих пор избегавшие участия в общественной жизни, начнут исправно голосовать. Это станет игрой, соревнованием за очки и бейджи. Повседневная жизнь обретет необычайное удобство: автомобили без водителей повезут нас по сияющим чистотой улицам. Сохранение улиц в самом сияющем виде тоже будет частью большой он-лайн игры. Уже не нужно призывать людей к выполнению гражданского долга, они радостно выполнят все задачи, чтобы заработать побольше ачивментов и виртуальных статусов.

Преступность обратится в далекое воспоминание, суды начнут страдать от избытка сотрудников и недостатка дел. Физическое и виртуальное окружение — стены, тротуары, двери будут «умными». Они  соберут все возможные данные, сопоставят их между собой, и смогут предсказывать (а то и предотвращать) преступные действия со стороны людей. Нет преступников, нет преступлений, нет тюрем.

Индустрия развлечений идеально подстроится под динамику спроса. Газеты прекратят печатать неинтересные статьи: дальнейшее развитие устройств сбора личных данных, помноженное на совершенство агрегации данных из социальных сетей, гарантирует, что каждый получит идеально кастомизированные статьи, кастомизированные до уровня построения фраз. И ни одна история не останется без клика, ни один заголовок — нетвитнутым. Эти персонализированные статьи будут генерироваться в момент загрузки страницы.Число опубликованных книг взлетит до небес. Большая часть из них будет опубликована самими же авторами. Многие книги предложат альтернативные концовки — не так сложно отследить реакцию читателя на текст и предложить ему идеально подходящий под настроение финал. Кинематограф воспрянет: когда каждый зритель носит умные очки, фильмы станут доступны везде и всегда, как фон жизни. Зато профессиональные критики повыведутся, замененные сначала краудсорсингом оценки фильмов, потому — алгоритмами, поскольку сравнивать фильмы с альтернативными концовками может только алгоритм. Мы еще увидим составленные роботами обзоры (точные) на написанные роботами песни (хорошие). Но кое-что останется неизменным: вся система по-прежнему требует несовершенных людей, которых можно продавать рекламодателям.

Остальная часть книжки (тоже презанятно изложенная) посвящена разоблачению этой утопии. Дочитаю — расскажу, в чем там дело.

Статистика скачиваний наборов данных на портале открытых данных Москвы

ДИТ Москвы опубликовал свежую презентацию, в которой есть слайд со статистикой по популярности наборов данных на data.mos.ru:

By the way — славно сделана гистограмма: крупно нанесены данные просмотров и мелко — закачек массивов данных. Итого получается, что самый большой интерес граждан вызвала актуальная карта дорожных камер, хотя она уже несколько лет была доступна в разных формах — 987 скачиваний, 118 844 просмотров. Второе место держат лежачие полицейские, на этом автомобильная тема заканчивается — черный и белый списки АЗС в восемь самых популярных наборов данных не попали. И неудивительно, в списке АЗС с топливом, соответствующим эко-стандартом, 83 АЗС, несоответствующим — 7, что для Москвы маловато.

Если бы цифры были побольше, можно было бы сделать другой рейтинг — оценить востребованность наборов со стороны разработчиков и квалифицированных пользователей. Логично предположить, что просматривают набор данных все пользователи, а скачивают только те, кто хочет с ним потом что-то сделать. Полученное соотношение что-то говорит об аудитории портала и самих данных. Но на этих небольших цифрах опасно делать выводы, статистика не велит. Тем не менее:

Отсюда видно, что самые «народные» наборы данных — это автомобильные истории о лежачих полицейских и камерах. Особенно лежачие полицейские: оно и понятно, раньше информация о них не распространялась, это свежие данные. А самые, условно говоря, «профессиональные» — адресные книжки «как пройти в библиотеку».

Да, послезавтра на РИФ будет отдельная секция с отличнейшим названием «Город как платформа», где большой десант ДИТа расскажет обо всем об этом. Меня там не будет — утром запланирована важная встреча, я буду вечером на секции «Государственные интернет-ресурсы».

Открытые данные в регионах: Ульяновская область

В Ульяновской области открыли свой портал страницу открытых данных с одним набором открытых данных. Я тоже думаю, что направленный не в ту сторону перфекционизм вреден, и, когда хочешь что-то сделать, нужно не стесняться и начинать делать. Так что наличие на этом ресурсе одной-единственной куцей таблички про выборочный мониторинг школьных сайтов (!) — не проблема.

Чего не хватает, так это двух вещей:

  • Короткого описания, что это такое: «Здесь будет портал открытых данных Ульяновской области. Сейчас мы совместно со всеми министерствами соберем действительно важную информацию в виде open data: точные адреса, телефоны и график работы всех учреждений, маршруты общественного транспорта, данные экологического мониторинга, информацию о динамике заболеваемости инфекционными заболеваниями, статистику ЕГЭ с детализацией до школы и так далее. Публиковать массивы данных будем по мере готовности, к такому-то числу ожидается — столько-то, к такому-то столько-то. Если вы хотите узнавать о появлении новых датасетов, зарегистрируйтесь здесь. Если вы можете нам помочь — поставьте галочку здесь. Написать нам письмо с любыми предложениями и замечаниями можно по этому адресу. Узнать поподробней о том, что такое открытые данные и как их использовать можно здесь. Сейчас портал открытых данных работает в Москве (см. здесь), Краснодаре (см), скоро будет запущен в Пермском крае.
  • Работу по созданию системы открытых данных Ульяновской области координирует такое-то ведомство. Ответственные, адреса и телефоны.

Как создавались порталы открытых данных в зарубежных странах – о развитии портала США Data.gov

Новая серия больших материалов: как разные страны делали свои главные порталы открытых данных.

Портал открытых данных США Data.gov был запущен в мае 2009 года. Цель портала – улучшить доступ к высокоценным данным в машиночитаемом формате федеральных органов власти. В момент запуска было опубликовано 46 наборов данных и 27 механизмов федеральных ведомств.

Параллельно с запуском data.gov стартовала площадка для обсуждения и совместной разработки концепции портала на специальной созданной плаформе datagov.ideascale.com — «портал проектирования портала». В качестве основы разработчики представили свою концепцию, которая была значительно улучшена и расширена с помощью вовлечения в обсуждение профессионального сообщества. Всего поступило 175 идей по доработке концепции, в обсуждении которых участие приняло 891 человек. C помощью этого портала собирались и первые истории успеха приложений на основе открытых данных.  Итогом работы стала Концепция портала Data.gov, которая была утверждена федеральным советом ИТ-руководителей.

Работа над концепцией портала открытых данных США была завершена в конце 2010 – уже после перезапуска портала в июле 2009 года и марте 2010. Чтобы ускорить процесс публикации данных и сделать его более простым и понятным для федеральных ведомств, было разработано несколько механизмов:

  • Dataset Management System –  закрытая часть портала для публикации данных
  • API-интерфейс для публикации данных
  • Metadata Feed – специальная лента для публикации открытых данных по типу RSS или Atom.

В 2010 году для оценки эффективности раскрытия данных была разработана система метрик: федеральное ведомство (количество необработанных датасетов, механизмов отображения данных, гео-данных), статистика скачиваний, статистика посещений. В этом же году появилась возможность поиска высокоценных наборов данных (high value datasets), команда портала стала вести блог. Позже добавились новые разделы – галерея примеров эффективного использования открытых данных, сообщество со ссылками на другие значимые проекты в мире открытых данных и научно-образовательный раздел по семантическим технологиям.

В настоящий момент для удобства потребителей данных ведется три основных каталога:

  • Каталог необработанных данных
  • Каталог механизмов отображения данных федеральными ведомствами (виджеты, приложения и сервисы)
  • Каталог гео-данных.

По мере развития проекта понадобились новые инструменты – подписка для пользователей на открытые данные, касающиеся определенной территории или штата, улучшение поиска данных и т.д.

Мы уже писали, что скоро планируется очередной перезапуск портала. Стало известно, что меняется система управления данными – вместо Socrata теперь будет CKAN.

Сколько именно будет наборов открытых данных и приложений #ЗСПОД

И еще одно заседание Совета по открытым данным. Это был длинный многосоставный вечер с рядом важных докладов. Я хочу разбить отчет на несколько частей, чтобы не смешивать отдельные вопросы.

Первым выступлением в повестке стоял доклад директора Департамента государственного регулирования Минэкономразвития России Алексея Херсонцева. Прозвучали интересные цифры, касающиеся темпов реализации концепции «Открытые данные Российской Федерации».

  • Количество разделов, посвященных открытым данным, на сайтах федеральных органов государственной власти: 1 февраля 2013 г. — 4 раздела, на сегодняшний день — 10 разделов, к 15 июля 2013 г. запланировано 40 разделов
  • Количество массивов открытых данных: 1 февраля 2013 г.48 датасетов, на сегодняшний день 67, к 15 июля 2013 г. запланировано 500
  • Количество приложений, созданных независимыми разработчиками на основе государственных открытых данных: сейчас — 0 приложений, к 15 июля запланировано появление 20 приложений
  • Количество массивов данных в прогрессивном формате rdf: сейчас нет, запланирован к июлю 5 штук.

Теперь главный вопрос — что нужно сделать, чтобы запланированные 20 приложений появились методом, отличным от прямого или косвенного заказа.

MS и Москва объявляют конкурс приложений с API Единой мобильной платформы

Как я писала, будет много конкурсов на основе государственных и муниципальных открытых данных и API. Конкурс «Москва глазами разработчиков» объявили в партнерстве Microsoft и город: до 29 мая принимаются заявки — приложения под Windows 8 и Windows Phone c API Единой мобильной платформы (ЕМП) Москвы.

Партнерство и конкурс — это хорошо, узконаправленное партнерство — не так хорошо. Доля устройств с Windows 8 и Windows Phone не то чтобы очень велика, армии разработчиков приложений — в первую очередь, мобильных — под них нет, ну и конкретно эти разработчики не та аудитория, которая соблазнится призами в виде планшетов и телефонов. Разве что может привлечь идея, что лучшие приложения станут официальными приложениями Правительства Москвы.  С другой стороны, можно же и чисто веб-приложения делать, условиям конкурса это формальное не противоречит. А с третьей стороны, это же майкрософт организует, имет право делать, что хочет, в любом случае, в плюс.

Но это еще далеко не флагманский конкурс «Приложения для Москвы» по образцу BigApps.