Skip to content

Мониторинг целостности и незименности данных на портале открытых данных

В конце апреля вышло первое действительно оригинальное и важное приложение на основе открытых данных с портала data.mos.ru — сервис контроля и архивации материалов портала открытых данных г. Москвы. Это не то, чем будут массово пользоваться жители города, поскольку жителям города глубоко безразлично, как менялись наборы данных на портале, но для разработчиков и интерсующихся темой людей будет полезно.

Идея понятна: есть портал, на нем размещены данные, но судьба каждого отдельного набора темна — обновляется ли он, как меняются поля, наращивается объем и так далее, что-то исчезает, что-то появляется. На самом портале публикуются только новости о раскрытии новых наборов, но этого недостаточно. Поэтому нужен механизм сквозного мониторинга, не важно, внешний или внутренний.

Все сообщения об изменениях публикуются в твиттер-аккаунте.

Мне нравится, что это очень open data по своему духу проект.

«Госпоток» на РИФ в Воронеже — чему нужно учить чиновников

24, 25 и 26 апреля я вела поток «Государство и общество» на воронежском РИФе. В этом году многие замечают усиление присутствия государства на РИФах — причем, не как это бывало раньше, когда привозили кого-нибудь в президиуме посидеть или приветствие зачитать, а отдельные большие секции и отчетные доклады.

На госпотоке на РИФе в Воронеже отчетных докладов не было, основная идея потока состояла в том, чтобы сделать серию мастер-классов для сотрудников органов власти, посвященных самым практическим вещам. Лучшими мастер-классами, на мой взгляд, получились:

  • Что такое «открытость» органа власти, «открытый регион», «открытые данные» — Иван Бегтин
  • Веб-аналитика: как познакомиться с аудиторией своего сайта — Алексей Ильин
  • Социальные сети в госуправлении — Ольга Стерник
  • Краудсорсинг — Василий Буров
  • Как эффективно работать с подрядчиками и как получать «хорошие отметки» за свой сайт — я (правда, отлично получилось, даже провела этот мастер-класс на бис)
  • и блестящая лекция Дмитрия Сатина «Что нужно пользователям официальных сайтов? Анализ и учёт потребностей пользователей в процессе развития сайта государственного ведомства» — аншлаг и всеобщие рукоплескания, три часа вместо двух.

Я довольна этой работой. Госпотоки обычно не сильно пользуются популярностью, но в «синий зал» больше приходили, чем уходили. Последний свой мастер-класс я проводила для людей, которых специально позвали в конце рабочего дня, и в начале они прозрачно намекали, что было бы здорово уложиться в пол часа, а работали мы все два, и без всякого напряжения.

Чтобы повысить качество официальных сайтов, такие мероприятия нужно проводить десятками. И здесь есть очень важный нюанс: не стоит пытаться передавать сотрудникам, ответственным за сайт, предметные знания, которые им не нужны. Очень важно научить их быть хорошими заказчиками, то есть, правильно ставить задачи и правильно принимать работы подрядчиков и собственной ИТ-службы. Для этого нужно понимание, как все работает, но не такое, как у проектного менеджера. На ПМ-объем у них все равно никогда не хватит времени и сил.

Я горячо благодарю всех докладчиков, которые нашли время и силы, чтобы перед самыми майскими праздниками (традиционное время авралов) прилететь в Воронеж. Спасибо организаторам — Алексею Филипову и Анастасии Цискаридзе, в первую очередь — за очень легкое и приятное сотрудничество. У вас получился хороший РИФ, это было совершенно очевидно.

Как создавалась порталы открытых данных в зарубежных странах – о развитии портала Соединенного Королевства Data.gov.uk

Продолжаем серию больших материалов о том, как в разных странах создавались главные порталы открытых данных. Читайте предыдущий пост о развитии портала США Data.gov

Портал открытых данных Соединенного Королевства был запущен в закрытой бета-версии в сентябре 2009 года. Официальный запуск портала состоялся в январе 2010 года. Сейчас на портале Data.gov.uk размещено уже более 9 тыс. датасетов. На момент официального запуска на портале было около 2,5 тыс. наборов данных. При этом существенную часть всех размещенных датасетов составили данные государственной топографической службы – Ordnance Survey. Другая существенная часть – данные государственной статистики.

В создании портала открытых данных Data.gov.uk и подборе первых датасетов непосредственное участие принимали сэр Тим Бернерс-Ли и профессор Найджел Шэдболт. Именно они в свое время настояли на том, чтобы данные Ordnance Survey вошли в список первоочередных датасетов к раскрытию. Итогом этой работы стал практически полный перевод всех карт Великобритании (Ирландия не участвовала в проекте) в электронный вид, а также создание нового бренда – OS OpenData™. Часть данных была раскрыта для бесплатного пользования – именно она доступна  на портале Data.gov.uk. К другой части, представляющей интерес для бизнеса, доступ дается на платной основе. Для разработчиков был открыт API-интерфейс и создано специализированное комьюнити – OS OpenSpace.

Подход к использованию открытых данных в создании «умного государства» закреплен в документе «Putting the Frontline First: Smarter Government». Это план, который включает в себя предложения по раскрытию государственных данных и информации, а также использовании открытых данных для прояснения ситуации в преступности, расходах на медицинское обслуживание, борьбе с коррупцией и мошенничеством в государственных структурах и т.д. В подготовке этого документа приняли участие представители гражданского сектора, в числе главных идеологов – Тим Бернерс-Ли и Найджел Шэдболт. Согласно этому плану ежегодная экономия госбюджета может составить до 12 миллиардов фунтов стерлингов. Помимо открытых данных речь также идет о государственных услугах и их переводе в электронный вид.

Другим важным документом стала Стратегия открытых данных Кабинета министров, на который возложена роль координатора раскрытия данных между различными департаментами. В этом документы проясняется роль Кабинета министров, содержится план по открытости и основные показатели. В приложении содержится классификация открытых данных (от одной до пяти звезд): от pd-документов и сканов к связанным данным.

В июне 2012 Кабинет министров и Комиссия по прозрачности представили Open Data White Paper – это большой документ, в котором рассказывается о текущем положении дел с развитием открытых данных, организационных моментах и планах на будущее. Основные идеи – создать инфраструктуру доступа, установить доверительные отношения с сообществом, использовать данные на пользу всем.

Первые проекты, созданные на основе открытых данных в Великобритании:

  • Planning Alerts – приложение, которое посылает уведомления, если что то будет строиться или подвергаться перепланировке в районе проживания. В Великобритании сейчас закрыто, но работает в Австралии. В Британии стартовал новый проект по открытости муниципалитетов – OpenlyLocal.
  • FillThatHole – «заделай эту дыру», приложение и сайт по сбору жалоб на выбоины на дорогах Великобритании. Финансовые расходы на разработку и обслуживание этого сайта взяло на себя Национальное благотворительное сообщество велосипедистов.
  • SchoolFinder – простое приложение, с помощью которого по почтовому индексу или адресу можно найти ближайшие детские образовательные учреждения – сады, школы, лицеи и т.д. Приложение работает на основе данных Ofsted – надзорного органа в области образования.

Успех проекта Data.gov.uk  связан с непосредственной заинтересованностью высших руководящих кругов в раскрытии и повторном использовании государственных данных. В 2009 году премьер-министр Великобритании Гордон Браун лично пригласил Тима Бернерса-Ли стать руководителем проекта и его идейным вдохновителем.  Текущие показатели раскрытия государственных данных фиксируются на сайте 10-ой Даунинг-стрит – резиденции премьер-министра.

Основные функциональные блоки Data.gov.uk:

  • Данные (поиск по тегам, ответственным ведомствам, привязке к месту, затраты на раскрытие)
  • Сообщество (блоги, идеи, форумы)
  • Запросы на раскрытие данных (дашборд запросов, форма запроса)
  • Приложения (галерея, недавно добавленные приложения, оценка приложений, rss-подписка на новые и лучшие приложения)
  • Библиотека (фильтры по категориям, тэгам, сектору и типу документов).

Британские налогоплательщики очень бдительно следят за тем, чтобы средства госбюджета расходовались на правильные вещи и уже тем более не допустят перерасхода на раскрытие государственных данных и информации. Именно поэтому форма запроса достаточно сложная, и предполагается, что пользователь должен сам оценить возможную пользу от раскрытия данных, и уже затем посылать свой запрос. Пилотные департаменты разработали свои стратегии раскрытия данных, в которых определены приоритетные наборы и конкретные шаги по их раскрытию.  Все запросы по раскрытию государственной информации и данных публикуются на отдельном сайте – WhatDoTheyKnow.

Разработка портала Data.gov.uk ведется в открытом режиме, весь код доступен на платформе Github. Портал работает на CKAN и Drupal.

Переосмысление общества на заре «Больших данных»

Любительский (или даже фанатский) перевод хорошей статьи, в которой доходчиво рассказывается о модных Big Data.

«Большие данные» предлагают информацию о множестве конкретных вещей, например, геолокации абонентов сотовой связи и использовании кредитной карты, все эти маленькие хлебные мякиши, которые мы бросаем на всем нашем пути. По этим хлебным мякишам можно проследить историю нашей жизни. Они расскажут, что мы выбрали на самом деле. Вот почему это существенно отличается от информации, которую мы можем написать на стене в Фейсбуке. Что мы пишем в социальных сетях – это лишь отражение наших мыслей, которыми мы хотели бы поделиться, отредактированные в соответствии с действующими стереотипами. В противовес этому информация о нашем местонахождении, времяпрепровождении, наших покупках – «Большие данные» – имеют дело с тем, что мы есть на самом деле.

Это, наверное, основной тезис: многие переживают, что некие люди в погонах или свитерах с оленями будут мониторить их посты в социальных сетях, почту, все это богатство читать и сопоставлять, выявлять, датамайнить. На самом деле нет, контент-анализ пользовательских текстов не такая уж и важная штука, важнее простые данные, которыми мы не особо дорожим, потому что они скучные.

Семинар по журналистике данных

Завтра в Digital October пройдет семинар по журналистике данных. Организует его Открытое правительство. Там заявлена хорошая программа: из всех докладов самый общий про Data Journalism вообще будет только один, и это мой доклад, и он будет в очень короткой видеозаписи. Все остальные выступления сконцентрированы на самых практических вещах:

  • Как находить полезную и неповерхностную информацию по госзакупкам, в базе Роспатента, судебных картотеках
  • Нетривиальные задачи по поиску в Google
  • Как искать судебные документы, если, на первый взгляд, их нет в базах
  • Как использовать открытые данные в журналистских расследованиях

Участие в семинаре бесплатное, для регистрации пришлите письмо со своими контактами и темой «участие в семинаре, gov-gov.ru» по адресу opendatarus@gmail.com .

Twitter нанял Data Editor

Twitter пригласил на интересную должность Data Editor редактора замечательного блога газеты Guardian DataBlog Саймона Роджерса (@smfrogers).

Твиттер — это бездна данных, необычайно богатый ресурс, в миллионах коротеньких сообщений скрыты самые увлекательные истории. Роджерс уже рассказывал одну из таких историй в проекте, посвященном лондонским беспорядкам Reading the Riots. Анализ базы 2,5 миллионов твиттов, относящихся к событиям, позволил разобраться, кто и как запускал слухи (знаменитая байка о выпущенных на волю животных из зоопарка), кто участвовал в погромах, каков был настоящий масштаб бедствия. Прямо сейчас продолжается трагическая история бостонских взрывов, в которой «виртуальная» составляющая играет ведущую роль.

В Twitter уже работает команда математиков (как и в любой другой соцсети), поэтому задача Саймона Роджерса будет состоять в работе над превращением статистик в сюжеты. Это будет интересно.

И как раз сегодня вышла в свет книга Саймона Роджерса «Facts are Sacred», которая как раз описывает набор удачных работ в жанре журналистики данных. Стоит всего 6 долларов в киндл версии, я купила. Прочитаю, расскажу.

Этническая карта США

Сегодня Совет по открытым данным ездил в Росстат с понятными целями, которые в повестке обозначаются как «Обсуждение возможностей представления результатов всероссийских переписей населения в формате «открытых данных». До сих пор раскрытие результатов переписи с детализацией хотя бы до муниципального образования вызывает некоторые вопросы и опасения.

Поэтому — как пример — смотрим на результаты раскрытия информации об этническом составе жителей США с точностью до квартала.

Замечательно точная картина.  Белый Манхэттен с настоящим Чайна-тауном, тотально черные районы, большие латино-американские пригороды. Образец могучей журналистики данных. С такой картой можно, в общем-то, ничего не писать словами.