Skip to content

Ложь, страшная ложь и открытые данные

Lies, Damned Lies, and Open Data — неплохая статья с одним простым тезисом:

Борьба храбрых цифровых повстанцев за государственные открытые данные завершилась видимым успехом: порталы открытых данных есть и у Евросоюза, и у Саудовской Аравии, эксперты объявили невероятные суммы экономического эффекта от открытых данных, в хакатонах готовы участвовать толпы разработчиков, и где-то даже появляются полезные результаты. Но победа ложная. Раскрытие данных в любом формате — последний этап длинной цепочки. Все впились в раскрытие, потому что его относительно легко контролировать, но все решается на этапе сбора данных и методики их обработки. Власти, лоббисты, политики всегда управляли общественным мнением, манипулируя данными. Однако, теперь речь идет не только об общественном мнении, поскольку открытые данные имеют намного более глубокое применение, чем информация о средних надоях.

Хороший пример ситуации политической манипуляции данными: недавно Сенат штата Северная Каролина принял закон, согласно которому для прогнозирования уровня повышения моря должны использоваться только «исторические данные». Эксперты считают, что уровень моря к концу текущего столетия поднимется на 39 дюймов, новый закон велит ориентироваться на двенадцатидюймовый подъем, кто-то, кто занимается строительством в прибрежной зоне, оказался в большой выгоде (если правы ученые, то только до середины столетия). При этом, сами данные — хороши и могут быть совершенно идеально раскрыты, на пять звезд.

Сейчас во всех странах — и в России — принимается много норм, регулирующих раскрытие информации в формате open data. Новые законы и поправки к старым законам делают открытые данные обязанностью для чиновников, описывают форматы и сроки. Уже летом это все будет вменяться как обязательная часть работы. Но никакие документы нигде не описывают методики сбора данных, и уж тем более — подходы и отношение к статистическим моделям. Непонятно, как именно их можно регулировать и описывать. Но без проработки этой части борьба за открытость на уровне количества датасетов, их наименований, форматов — все равно, что бороться за чистоту выборов методом выбора оптимальной конфигурации избирательного участка и дизайна урны.

Всемирный Open Data день, который мы пропустили

23 февраля прошел очередной — уже третий — всемирный день открытых данных. Это больше движение, чем мероприятие: каждый желающий может организовать свой хакатон на тему открытых данных, главное, чтобы он проходил 23 февраля — тогда событие войдет в зонтик Open Data Day. Всего заявилось 80 хакатонов, из которых более-менее отчитались далеко не все. Да и отчеты-то состоят, в основном, из фотографий задумчивых людей за компьютерами.

Но я думаю, что все понимают, что хакатон не должен иметь задачи выдать готовый продукт. Это больше про нетворкинг, что еще важнее.

Европейский союз отнесся к идее довольно серьезно и даже официально запустил к 23 февраля свой портал открытых данных (который был доступен в бета-версии с декабря прошлого года). Портал предлагает 5,855 датасетов, львиная доля которых берутся у статистиков. С большим интересом жду подтверждений того, что это все обеспечит обещанный экономический эффект в 40 миллиардов евро ежегодно.

Европа же поставила почти половину городов-участников Всемирного дня открытых данных. В России ни одного мероприятия не состоялось, что, конечно же, является большим упущением.

Самые красивые, полезные и прибыльные приложения на открытых данных

Специально для рабочей группы — коллекция прецедентов (насколько я знаю, еще не вошедших во все сборники примеров).

Красивые приложения. С этим проще всего: при некоторой дизайнерской сметке можно красиво визуализировать что угодно. Чтобы не разрушать уже понравившуюся мне классификацию приложений на красивые, полезные и прибыльные, сюда же отнесем интересные или курьезные варианты.

  • Карта убийств в Филадельфии. Очень красивая визуализация большого датасета, который недавно опубликовал город. Еще одна визуализация этого же набора данных.
  • Карта расселения злых собак города Остин. Интересно они там живут в Техасе: если собака однажды напала на человека, владелец обязан надеть на нее специальный знак «опасная собака» и держать на привязи. На карте — адреса собак, их приметы и клички.
  • Карта источников загрязнения окружающей среды для любого города в Канаде. Отличная визуализация, но практическая польза неясна (разве что можно выбрать загрязнение по вкусу или место для хижины отшельника)
  • Игра «Битва городов», в которой можно сыграть за свой город против какого-нибудь чужого города, шансы на победу разыгрываются, исходя из того, насколько города хороши с точки зрения возможностей для ведения здорового образа жизни

Полезные приложения на основе открытых данных:

Прибыльные приложения на основе открытых данных. Эксперты (эксперты по открытым данным все больше напоминают мне британских ученых) утверждают, что экономический эффект открытых данных исчисляется миллионами и миллиардами долларов. Но это общий такой эффект, который никак не сказывается на чьих-то прибылях. Тем не менее, случаи, когда открытые данные приносят деньги, тоже бывают:
  • Навигаторы общественного транспорта, которые помогают составить схему проезда по городу, пытаются заработать что-то на прямолинейной рекламной модели. Пример — HopStop
  • Некоторым приложениям удается собрать хорошие инвестиции и двинуться в сторону сбора еще больших инвестиций. Пример: универсальная городская афиша, собирающая потоки всех возможных данных, MyCityWay.
Вне списка. Полезные приложения, которые кто-нибудь обязательно притянет к открытым данным, хотя они таковыми и не являются.

 

Переделка data.gov

Портал открытых данных США — пионер больших госпорталов open data, открылся в 2009 году и с тех пор не слишком менялся.

Сейчас участники программы  the Presidential Innovation Fellowship готовят новую версию, которую, по хорошей британской традиции, сделали публичной альфой. Задача — перетрясти 373029 уже выложенных датасетов, сделав их более доступными и привлекательными для использования. Им тоже нужно продавать open data.

Президентская команда инноваторов

На whitehouse.gov идет второй набор в президентскую команду инноваторов — рабочую группу смешанного состава, которая двигает вперед конкретные проекты в области открытого правительства.

Сейчас и США, и Россия находятся в похожей ситуации: все согласились, что госуправление нужно перестраивать, технологии дают некоторый шанс на удачную перестройку, открытые данные — подходящий интерфейс для этой работы. Согласились, повторяю, абсолютно все (кроме некоторых разумных людей, которые строят свою оригинальную позицию вне мэйнстрима) — вчера и сегодня на Красноярском экономическом форуме, например, был полный апофеоз согласия. И тут нас всех настигает проблема нехватки конкретных результатов.

У нас для быстрой добычи конкретных результатов от open data — в том небольшом временном окне, когда все уже согласились, но еще не разочаровались — создана рабочая группа, в которой я имею честь состоять, и которая в ближайшее время должна превратиться в Совет по «открытым данным» при Правительственной комиссии по координации деятельности открытого правительства. В США для этой цели работает много разных институций, в том числе, the Presidential Innovation Fellowship.

Участников PIF набрали по конкурсу в прошлом году, разделили на пять команд по проектам, добавили ответственных чиновников. С полным списком первого набора можно ознакомиться здесь. Слегка напоминает Code for America, замечательный проект, о котором я много раз писала, но это уже не общественная инициатива и не городской уровень. В программе PIF имеет смысл участвовать уже очень состоявшимся интернет-деятелям, поскольку здесь нужны серьезные практические знания и готовность потратить пол года на работу. Информацию об организационно-финансовых условиях я не нашла, найду — напишу.

На первом этапе программы коллеги работали по пяти направлениям:

  • MyUSA — радикально улучшенный интерфейс государственных услуг
  • RFP-EZ — изменение системы господряда для упрощения входа, повышения прозрачности и так далее
  • Blue Button — электронные истории болезни для ветеранов
  • Better Than Cash — малопонятная инициатива по созданию национальных платежных систем, замещающих обмен налом, в некоторых странах. Например, в Афганистане.
  • Открытые данные

На втором этапе — как раз для нового набора — к ним добавляются новые проекты:

  • MyData — система равноправного доступа американцев к их персональным данным, накопленным государством
  • Система предотвращения и разрешения ЧС
  • Cyber-Physical Systems
  • Innovation Toolkit
  • 21st Century Financial Systems
  • Development Innovation Ventures

Возможно, нам тоже стоит выделить в работе Совета несколько конкретных, измеряемых проектов.

Knight Foundation проводит конкурс «Открытое государство и взаимодействие власти и общества»

Ежегодный конкурс  News Challenge Knight Foundation в этом году посвящен теме открытого государства: «Как улучшить взаимодействие граждан и государства?»

К участию в конкурсе приглашаются  не только представители гражданского сектора – некоммерческие организации, лидеры сообществ, отдельные граждане, но и представители госсектора – служащие, чиновники, ответственные за принятие решений и политику во взаимоотношениях власти и общества.

Конкурс традиционно проходит в несколько этапов, для каждого из которых предусмотрена определенная процедура отбора заявок:

  • На первом этапе (Inspiration: 12-19 февраля) необходимо обосновать, что  вдохновляет вас в этой проблеме: основные препятствия, решения, существующие проекты и их проблемы.
  • Второй этап (Submission: 19 февраля — 18 марта) предполагает более подробное и обоснованное представление идеи – с визуализацией, видео.
  • На третьем этапе (Feedback: 18 марта — 29 марта) предстоит обсуждение проектов как с экспертами, так и с другими участниками сообщества.
  • Четвертый этап (Refinement: 29 марта – 5 апреля) предполагает уточнение полуфиналистами отдельных  моментов и положений, которые вызвали наиболее оживленную дискуссию и вопросы у экспертов и участников сообщества.
  • Пятый этап (Evaluation: 29 марта – 5 апреля) включает в себя оценку проектов внешними консультантами и экспертами, интервью с финалистами и знакомство с инвесторами.
  • Заключительным этапом станет церемония награждения финалистов, которая состоится на Civic Media Conference.

Общий призовой фонд в этом году составит 5 млн долларов, к участию приглашаются не только представители США, но и участники из других стран.

Развитием проектов в области Открытого государства и открытых данных  Knight Foundation занимается уже не первый год, работа ведется совместно с другими организациями и фондами –  Sunlight Foundation, Code for America, Open Knowledge Foundation. В свое время они поддержали такие проекты, как TurboVote (электронное голосование), EveryBlock (гиперлокальный проект — в итоге закрыли как малоприбыльный), The State Decoded, Poderopedia, в области вовлечения граждан — Recovers.org, Textizen и Local Data, в области применения открытых данных в журналистике — Texas Tribune и ProPublica.

Заявки – а их уже 44 – любопытные, посмотрите. Само обсуждение и голосование организовано в открытом формате, приведем три самые популярные заявки по количеству «аплодисментов»:

  1. Необходимы стандарты для открытых данных — Christopher Sopher. Обоснование (кратко): PDF-файлы в Интернете или рассылки дисков с файлами изображений не совсем считаются открытыми данными. Власти, делая доступными данные в машиночитаемой форме, делают это в разных форматах и стилях. Как мы можем превратить PDF-файлы, изображения и непонятные таблицы в полезную информацию, структурированные данные, на основе которых люди смогут легко создавать новые приложения и инструменты? (ОМГ, в какой капсуле для анабиоза этот человек провел последние три года)
  2. Полная база данных кандидатов — Mitch Downey. Обоснование: Избиратели должны иметь возможность узнавать подробные факты о каждом кандидате на каждых выборах (федеральных, государственных, окружных, местных), иметь возможность голосовать на одной веб-странице. Проект — VoteSmart.org.
  3. Увеличение участников выборов студенческой администрации — Christopher Sopher. Обоснование: Согласно исследованиям,  менее 1/5 студентов принимают участие в голосовании на выборах студенческого самоуправления. Если предложить бесплатные инструменты, которые интегрируются с Facebook, это увеличит количество избирателей. Прототип приложения на GitHub.

Как раз сегодня в Красноярске прошла большая и красивая сессия на тему Open Data. Следующими на сцену выходят фонды.

Выходит снегоуборочная техника

Со свойственной мне деликатностью, я никогда не пишу о шутках вроде фотошопленного снега. Но — на фоне Нью-Йоркского снегопада — интересно посмотреть, как еще можно способствовать уборке снега через интернет.

 

В создании сервиса приняли участие три ведомства – Департамент информатизации и телекоммуникаций, Управление по чрезвычайным ситуациям и Департамент санитарии. Запуск системы произошел почти через год после того, как администрация мэра Майкла Блумберга подверглась жесткой критике за неспособность коммунальных служб расчистить снег в канун Рождества. Во время прошлогоднего снегопада администрация использовала мобильное приложение, с помощью которого пользователи могли оставить официальное обращение по поводу уборки снега.
Для отслеживания гражданами хода уборки городских улиц от последствий снегопада был создан онлайн-сервис PlowNYC. Сервис работает в двух режимах – в режиме прогресса очистки улиц (очищенные улицы окрашиваются другим цветом) и в режиме отслеживания снегоуборочной техники.

PlowNYC хорош в первую очередь тем, что снимает большую часть вопросов горожан, связанных с тем, когда прибудет снегоуборочная техника. Все снегоуборочные машины – а их больше 1700 – оснащены GPS-навигаторами, информация о перемещении машин передается в центр обработки данных и затем уже появляется на карте. Сама карта обновляется раз в пол-часа, но даже в таком виде система позволяет снять часть вопросов и претензий, что не вся техника выведена или, что она сосредоточена только в определенных местах. В дальнейшем функционал системы планируют расширить: будет добавлена информация о планируемом времени расчистки улиц.

В Москве сервис «Проблемы зимнего периода», где можно пожаловаться на снеговые кучи на обочинах, гололед и снег в паковочных карманах был запущен ДИТ Москвы в декабре 2012 года. С момента запуска оставлено более 2800 обращений, из них около половины закрыто. Сейчас возможности наблюдать за ходом очистки улиц нет, однако жители города –  пока в виде обращения – имеют возможность влиять на качество уборки.