Создание экосистемы гуманитарных данных

Сегодня за год собирается больше данных, чем за всю остальную историю человечества вместе взятые. Гуманитарный сектор, который когда-то боролся с нехваткой данных, теперь перегружен объемом данных, собранных для одного проекта.

Огромный объем первичных и вторичных данных плюс медиа-источники данных генерируют информацию в масштабах, с которыми организации и аналитики не могут справиться независимо. У правильного использования массово доступных данных есть много преимуществ - аналитики получают доступ к информации в реальном времени и принимают более обоснованные решения.

Проверка вторичных данных (SDR)

Прочтите: Что такое вторичная проверка данных?

Сегодня существует довольно много инструментов для обработки гуманитарных данных. Например, количественные данные по результатам опроса обрабатываются и часто передаются через HDX - инициативу УКГВ ООН. Однако большинство качественных данных неструктурированы; таким образом, обработка и анализ данных требуют значительных затрат времени и ресурсов, в результате чего большая часть данных остается необработанной или незадействованной.

Платформа ввода и исследования данных (DEEP)

Прочтите: Что такое DEEP?

После землетрясения в Непале в 2015 году Эван Оглторп (исполнительный директор Data Friendly Space) приземлился в Катманду, чтобы протянуть руку помощи. Юэн, аналитик данных из Кремниевой долины, присоединился к команде кризисных служб в палаточном лагере на территории странового офиса ООН. Он понял, что система ООН для анализа имеющихся данных является рудиментарной и может выиграть от более передовых технологий. Во время кризиса Юэн с небольшой технической командой работал в консультации с гуманитарными экспертами и аналитиками над созданием первой версии Платформы ввода и исследования данных (DEEP).

«Существует несколько программных решений для управления и обработки качественных данных, включая Envivo, Mxeg и DEEP. И ACAPS, и УВКБ ООН проводят пилотный проект в DEEP, платформе, специально разработанной гуманитарными организациями для обработки значительных объемов неструктурированных данных. Пользователи могут загружать различные источники (новостные статьи, PDF-файлы, документы Word и т. Д.) И помечать / категоризировать их с помощью настраиваемых аналитических структур. Затем каталогизированную информацию можно экспортировать в Excel или Word для дальнейшего анализа ».

Источник: Пилот - Совместная обработка качественных данных о кризисе рохинджа (май 2018 г.), Гуманитарное реагирование, служба УКГВ (май 2018 г.)

С момента своего создания DEEP использовался для анализа вторичных данных (SDR) и маркировки больших наборов данных в более чем 1200 проектах, поддерживающих гуманитарное реагирование во всех гуманитарных секторах по всему миру. Называя несколько, DEEP имел решающее значение для

  • Ответ УВКБ ООН на миграционный кризис Венесуэлы
  • Ответ ACAPS & IFRC на кризис рохинджа.
  • Финансируемая USAID и реализуемая Data Friendly Space в партнерстве с iMMAP, DEEP активно координирует меры по реагированию на COVID-19 в 14 странах Центральной и Восточной Африки, Ближнего Востока, Юго-Восточной Азии и Латинской Америки.

Пространство, удобное для данных и ГЛУБОКОЕ

Data Friendly Space (DFS) в настоящее время является техническим руководителем и принимающей стороной DEEP. DFS реализует проекты DEEP в сотрудничестве с несколькими крупными гуманитарными организациями. DFS поддерживает правление руководящего органа DEEP, в который входят ЮНИСЕФ, УВКБ ООН, УКГВ ООН, УВКПЧ, Международная федерация Красного Креста, ACAPS, IDMC, Okular-Analytics, JIPS и iMMAP. С момента своего первого проекта в 2018 году DFS продолжала наращивать свои мощности и возможности своих партнеров оказывать долгосрочное влияние.

Сегодня, имея более 85 000 аннотированных документов гуманитарного реагирования, размещенных на платформе, DEEP имеет уникальную возможность использовать модели НЛП для более быстрого реагирования на гуманитарные кризисы.

Машинное обучение для ускорения гуманитарной деятельности

С момента своего создания DFS была сосредоточена на создании приложений, ориентированных на данные, для поддержки гуманитарных организаций в извлечении практических идей из своих данных и выполнении своих задач.

Сегодня, имея более 85 000 аннотированных документов гуманитарного реагирования, размещенных на платформе, DEEP имеет уникальную возможность использовать модели НЛП для более быстрого реагирования на гуманитарные кризисы. С развитием новых моделей НЛП DFS стремится автоматизировать вторичные обзоры данных, выполняемые группами по маркировке контента (длительный процесс), и дать возможность гуманитарным организациям быстро реагировать на любой кризис, уделяя больше внимания анализу данных, а не только сбору данных.

DFS концентрируется на пересечении процессов автоматизации данных, основанных на искусственном интеллекте, и человеческих знаниях, особенно когда один может помочь другому выполнить анализ. Команда разработчиков NLP DFS выросла до пяти специализированных инженеров, работающих по всей Европе.

В дополнение к существующей команде НЛП iMMAP, член правления DEEP, инициировал исследовательское партнерство с ISI Foundation, престижным частным учреждением, базирующимся в Турине (Италия) и проводящим исследования в области сложных систем. Фонд ISI назначил Николо Таманьоне, который будет работать исключительно над внедрением функций НЛП в DEEP.

Открытые технологии

Как ведущая глобальная некоммерческая организация, DFS стремится сделать свои технологии доступными для организаций, занимающихся реагированием на чрезвычайные ситуации и занимающимися разработкой. Чтобы достичь своей цели и добиться максимальной отдачи:

  • DFS сотрудничает с ведущими академическими учреждениями для проведения исследований и разработки функций на основе машинного обучения для DEEP и других гуманитарных партнеров.
  • DFS организовала хакатоны с CERN и EPFL (одним из самых известных технических университетов Европы) в рамках Дней прикладного машинного обучения.
  • DFS открыто обменивается данными с университетами-партнерами и поддерживает студентов в их магистерских диссертациях, стажировках и проектах, связанных с классом.
  • Благодаря такому сотрудничеству DFS приглашает выдающихся студентов присоединиться к команде инноваций, когда это возможно. Результаты их исследований интегрируются в DEEP и другие сервисы.
  • Благодаря этому сотрудничеству DFS привлекает лучшие таланты и предлагает реальные возможности для студентов, которые хотят продолжить карьеру в секторе гуманитарных технологий - во время учебы или после учебы.
  • В настоящее время три группы студентов Университета Йоханнеса Кеплера в Линце в Австрии работают над извлечением предложений и классификацией гуманитарных данных, извлеченных из DEEP, под руководством Navid Rekab-saz (доцент JKU и член DFS Команда инноваций НЛП)
  • Этим летом DFS наймет двух стажеров из EPFL.

Чтобы узнать больше о DFS, ее проектах и ​​DEEP, подпишитесь на нашу новостную рассылку на www.datafriendlyspace.com

Или напишите нам по адресу [email protected]

Автор: Риши Джа - Связь и партнерство - Пространство, дружественное к данным