В этом посте рассказывается, как наблюдение за Землей (EO), источники данных EO и как EO и искусственный интеллект (ИИ) можно использовать для обеспечения устойчивости вычислений.

20 июня 2020 г. • Сценаристы: Энтони Фаустин и Шридхар Кулкарни.

Введение

Вычислительная устойчивость фокусируется на разработке вычислительных моделей, методов и инструментов, чтобы помочь политикам разрабатывать более эффективные решения и политику для устойчивого развития. Развитие информационных и коммуникационных технологий (ИКТ), особенно наблюдения за Землей (EO) и искусственного интеллекта (AI), открывает перспективы решения проблем устойчивого развития. Более подробное объяснение вышеуказанного проекта можно посмотреть в этом видео: Более подробное объяснение вышеуказанного проекта можно посмотреть в этом видео:

Наблюдения за Землей (EO) — это данные и информация о физических, химических и биологических системах планеты. Он включает в себя сбор, анализ и представление информации о состоянии и изменениях в природной и созданной человеком среде. Наиболее распространенными источниками данных EO являются дроны, наземные станции и спутники. В то время как дроны снимают изображения с высоким разрешением в небольшом масштабе, спутники генерируют все больше изображений с несколькими разрешениями и несколькими диапазонами, а также другие источники данных для всей Земли. Эти данные можно использовать для создания самых разных продуктов, чтобы ученые, политики и даже обычные граждане могли понять прошлые, настоящие и будущие тенденции в системах Земли. На рис. 1 показаны многоканальные снимки со спутников электромагнитным

С другой стороны, ИИ — это область информатики, посвященная разработке систем, которые могут учиться (на основе данных) принимать решения и прогнозировать в определенных контекстах. Действительно, технология ИИ может извлекать из наборов данных более глубокую информацию, чем другие методы. В последнее время ИИ успешно используется для решения сложных задач в нескольких областях, таких как машинный перевод, компьютерное зрение, автономные автомобили и многие другие. Машинное обучение и, в частности, модели компьютерного зрения обеспечивают явно полезные и практичные подходы к анализу и извлечению соответствующей информации из данных изображений EO. В последнее время модели глубокого обучения и, в частности, сверточные нейронные сети (CNN) доказали свою эффективность в нескольких задачах компьютерного зрения, таких как обнаружение объектов, классификация и обработка видео, создание изображений и создание подписей к изображениям, и это лишь некоторые из них. Эти модели могут быть применены для обнаружения и классификации объектов на сложных изображениях EO в большем масштабе. На рис. 2 представлены возможности ИИ для обнаружения объектов и использования методов компьютерного зрения для многоканальных спутниковых изображений. Изображение взято отсюда).

Применение этих методов к данным EO упростит эффективную автоматизацию распознавания известных и неизвестных моделей в больших масштабах. Это, вероятно, откроет полезные идеи и возможности для решения проблем устойчивого развития. Например, модели ИИ можно применять для автоматического обнаружения изменений, составления карт культур и оценки урожайности на основе изображений с высоким разрешением в более крупном масштабе. Объединение данных об ЭЗ и других источников данных, таких как данные с географической привязкой, демографические данные и данные из социальных сетей, можно использовать для решения более целенаправленных задач в области развития. Например, было продемонстрировано, что модель ИИ можно использовать для прогнозирования уровня бедности путем анализа спутниковых снимков, ночных огней и демографических данных. На рисунке 3 ниже показаны различные области применения ЭО. Изображение взято отсюда и отсюда.

Источники данных ЭО

В последнее время стало доступно множество источников данных об ЭО. Эти источники данных предлагают виртуальную визуализацию любого места на земле с разрешением от 5 сантиметров до 120 метров в зависимости от инструментов спутников, аэробусов или дронов. Источники данных публикуются как общедоступные или коммерческие источники данных.

Общедоступные поставщики данных об ЭО

Поставщики общедоступных данных EO представляют собой структуру государственных услуг, которая обеспечивает полный, бесплатный и открытый доступ ко всем собранным данным. Коперник и Ландсат — известные и крупнейшие общедоступные поставщики спутниковых данных. Landsat — один из крупнейших в мире поставщиков спутниковых изображений. Это совместная программа Национального управления по аэронавтике и исследованию космического пространства (НАСА) и Геологической службы США (USGS). Он обеспечивает доступ к спутникам семейства Landsat, которые имеют доступ к архиву данных Земли за 50 лет. Спутники Landsat собирают данные о лесах, фермах, городских районах и источниках воды, создавая самую длинную непрерывную запись. Свободно доступная информация используется для лучшего понимания изменений окружающей среды, управления методами ведения сельского хозяйства, распределения дефицитных водных ресурсов, мониторинга площади и состояния лесов, реагирования на стихийные бедствия и т. д. Доступ к данным можно получить с помощью LandsLook Viewer, USGS GloVis, Earth Explorer, бесплатных веб-данных Landsat (WELD). Более подробная информация доступна здесь".

Copernicus управляется программой EO Europe Unions и собирает данные с созвездия из 6 семейств спутников, известных как Sentinels. Каждая миссия Sentinel фокусируется на различных, но взаимосвязанных аспектах ЭО, включая Мониторинг атмосферы (Sentinels 4 и 5), Мониторинг морской среды (Sentinel-3), Мониторинг суши (Sentinel-2), Изменение климата и Аварийное управление. В настоящее время Copernicus производит 12 терабайт данных в день для 6 семейств спутников, известных как Стражи. Данные находятся в открытом доступе и могут быть свободно загружены с помощью [Copernicus Open Access Hub]. Краткое содержание программы Коперник можно найти в этом видео.

Поставщики коммерческих данных

Поставщики коммерческих спутниковых изображений предоставляют доступ к данным с высоким разрешением от 3 сантиметров до 10 метров. Эти услуги платные и имеют хорошие архивные снимки. К наиболее популярным поставщикам коммерческих изображений EO относятся: Planet Labs, DigitalGlobe и Airbus.

Планета Лабс предоставляет доступ к широкому спектру спутниковых данных. Он обеспечивает доступ к семействам SkySAT и спутникам RapidEye. Имея более 120 спутников на орбите, Planet может ежедневно получать изображения любой точки земной суши с разрешением 3–5 метров. Planet обрабатывает и доставляет изображения быстро и эффективно. Платформа Planet ежедневно загружает и обрабатывает более 11 ТБ данных, что позволяет клиентам создавать и запускать аналитику в любом масштабе. Пользователи могут получить доступ к данным Planet, используя платный API планеты. Тем не менее, университетские исследователи, академики и ученые подают заявки на бесплатный доступ, как описано в этой ссылке.

DigitalGlobe аналогичен Planet Labs и обеспечивает доступ к данным полного диапазона спутников на орбите. Предоставляет доступ к EarlyBird-1, IKONOS, QuickBird, GeoEye-1, семейству спутников WorldView. Он предлагает высокое разрешение до 30 см, показывая четкие детали, спутниковые изображения, геопространственную информацию и информацию на основе местоположения. Недавно DigitalGlobe начала предоставлять изображения с разрешением 0,4 м, что является одним из лучших в отрасли.

С другой стороны, Airbus с миссиями Pleiades и SPOT обеспечивает многоспектральные двойные спутники очень высокого разрешения с разрешением 0,5 метра и 1,5 метра соответственно. Эти данные изображений особенно подходят для экстренного реагирования и ежедневного обнаружения изменений.

Наборы данных EO, готовые к ИИ

Создание приложений машинного обучения для ЭО требует доступа как к данным ЭО, так и к их достоверности. Создание такого набора данных требует много времени и средств. В результате различные организации предоставляют готовые к использованию наборы данных EO, которые позволяют исследователям ML и GIS и другим заинтересованным сторонам создавать и тестировать свои приложения ML, специфичные для EO. Radiant MLHub и Spacenet — два известных поставщика данных для обучения ЭО. Radiant MLHub — это открытая библиотека геопространственных обучающих данных для продвижения приложений машинного обучения на EO. На нем размещены открытые наборы обучающих данных, созданные командой Radiant Earth Foundation, а также другие каталоги обучающих данных, предоставленные партнерами Radiant Earth. Данные, предоставляемые Radiant MLHub, хранятся с использованием каталога, совместимого с SpatioTemporal Asset Catalog (STAC), и доступны через стандартный API. Эти данные открыты для всех. Он также бесплатно хранит, регистрирует и делится своим набором данных.

Космическая сеть, с другой стороны, предоставляет доступ к высококачественным геопространственным данным для разработчиков, исследователей и стартапов с особым акцентом на четыре ключевых столпа открытого исходного кода: данные, проблемы, алгоритмы и инструменты. Он также содержит задачи, которые сосредоточены на применении передовых методов машинного обучения для решения сложных картографических задач. Набор данных SpaceNet размещен как Общедоступный набор данных Amazon Web Services (AWS), который открыт для исследований в области геопространственного машинного обучения. Набор данных состоит из хорошо аннотированных спутниковых изображений очень высокого разрешения с основными функциями картографирования, такими как контуры зданий или дорожная сеть.

Kaggle, крупнейшее в мире сообщество по науке о данных с мощными инструментами и ресурсами, является еще одним источником обучающих наборов данных EO, в которых размещены изображения EO для решения задач машинного обучения. Эти задачи включают в себя Обнаружение особенностей спутниковых изображений Dstl, Вызов обнаружения кораблей Airbus и Хронология спутниковых изображений Draper, и это лишь некоторые из них.

API для доступа к данным EO.

Несмотря на доступность бесплатных и коммерческих спутниковых изображений, напрямую загрузить и использовать эти данные довольно сложно. Для доступа к этим данным требуется опыт работы со спутниковыми снимками. Для решения этих проблем было разработано несколько решений API, упрощающих доступ, загрузку и использование спутниковых изображений из разных источников. Sentinel Hub API — один из легкодоступных API данных.

Sentinel Hub API обеспечивает легкий доступ к спутниковым данным Sentinel, Landsat и другим изображениям наблюдения Земли через легко интегрируемые веб-сервисы. API позволяет пользователям интегрировать спутниковые данные в свои приложения. С этой целью Sentinel-hub предлагает несколько плагинов, таких как sentinelhub-python, Sentinelhub-js, Sentinel Hub QGIS и EO Browser, который является инструментом поиска для Sentinel-2 и Landsat 5,7. ,8 спутниковые снимки. Sentinelhub-js предлагает бесшовную интеграцию Sentinel Hub и других подобных веб-сервисов EO в web или node.js. Это позволяет веб-разработчикам быстро получать доступ к данным дистанционного зондирования и интегрировать их в свои приложения. С другой стороны, Sentinel hub-python позволяет пользователям беспрепятственно отправлять запросы к веб-службам Sentinel Hub OGC, загружать и обрабатывать изображения в своих сценариях Python. Плагин Sentinel Hub QGIS позволяет пользователям настраивать и использовать службы Sentinel Hub непосредственно в QGIS.

Возможности и проблемы AI4EO

Машинное обучение, а именно компьютерное зрение, можно применять к данным изображений EO для мультимодальной семантической сегментации, обнаружения объектов, обнаружения изменений на спутниковом изображении временного ряда или поиска изображения. Модель компьютерного зрения может автоматически генерировать семантические карты большой площади из данных EO [Audebert2017a]. Полученные семантические карты можно использовать для картографии городских территорий или для определения масштабов землепользования. При обнаружении изменений модели машинного обучения можно использовать для расширения семантического анализа данных ЭО за счет включения многовременного измерения. Это позволяет нам отслеживать изменения по всему миру или отслеживать активность при приобретении данных с высокой частотой повторных посещений. Он также играет важную роль в создании карт, отражающих эволюцию землепользования, городского покрытия, вырубки лесов и других видов многовременного анализа. Поиск изображений направлен на получение изображений с визуальным содержимым, аналогичным изображению запроса из базы данных.

Несмотря на то, что ИИ обеспечивает потенциальное применение ЭО, необходимо решить несколько проблем, чтобы успешно использовать потенциал ИИ. Это связано с тем, что по сравнению с другими типами данных EO представляет несколько проблем для алгоритмов машинного обучения. В следующем видео обсуждаются некоторые возможности и проблемы машинного обучения для ЭО.

Во-первых, данные EO являются мультимодальными и многомерными. Например, данные спутника EO поступают от различных типов датчиков, таких как пассивные датчики (RBGN), активные датчики (радар с синтезированной апертурой (SAR)), датчики ближнего инфракрасного диапазона. Данные также содержат дополнительные данные, связанные с географией, такие как погодные, геофизические или биохимические величины и другие производные продукты. Это разнообразие данных поднимает следующие фундаментальные проблемы применительно к модели машинного обучения: * как объединить все эти типы данных (объединение данных), поскольку все эти источники предоставляют дополнительную информацию, которую следует использовать совместно, чтобы максимизировать производительность модели. В результате необходимо разработать новые модели машинного обучения, которые сопоставляют данные об ЭО, взятые из разных источников с помощью различных методов визуализации. Изменение существующих глубоких сетей на основе видения для этих данных не является тривиальным, поскольку это требует работы с новыми структурами данных, которые не имеют одних и тех же основных физических и числовых свойств. Другими интересными темами могут быть исследования возможности переноса сетей глубокого обучения на [модальности визуализации ЭО] (https://ieeexplore.ieee.org/document/8113128). Среди других проблем — огромное количество пикселей и географическая протяженность изображения. Например, один спутниковый снимок DigitalGlobe охватывает › 64 км2 и более 250 миллионов пикселей. Кроме того, интересующие объекты микроскопичны, что усложняет традиционные методы компьютерного зрения.

Размер данных об земных шарах растет экспоненциально, что требует автоматизации, массивных вычислений и алгоритмов машинного обучения, которые достаточно быстры и легко переносимы, чтобы их можно было применять ко всей земной поверхности. Кроме того, эти данные содержат множество неразмеченных данных, что затрудняет использование хорошо зарекомендовавших себя методов контролируемого машинного обучения. Тем не менее, это дает возможность изучить недавний прогресс в полу-контролируемом обучении, самоконтролируемом и методах активного обучения для применения ЭО. Кроме того, наличие метаданных и других данных с географической привязкой, таких как карта открытых улиц (OSM), дает возможность создавать аннотированные данные спутниковых изображений для алгоритмов машинного обучения.

Следует отметить, что данные EO зависят от времени, поскольку спутник гарантирует непрерывный сбор данных в течение десятилетий. Например, Sentinel-1 делает снимки всей Земли каждые шесть дней. Таким образом, алгоритмы машинного обучения для анализа изображений EO должны совместно использовать временную, спектральную и пространственную информацию этих данных.

Интерпретируемость модели машинного обучения, применимой к ЭО, — еще одна захватывающая возможность для исследований. Модели машинного обучения полезны для оценки корреляций, но как насчет причинно-следственных связей? Использование графических моделей и причинно-следственных связей для изучения причинно-следственных связей из данных EO — это уникальная возможность для машинного обучения в EO. Это может быть полезно для проверки гипотез, сравнения модельных данных и понимания причин экстремальных воздействий.

Вывод

Спутник находится на орбите Земли в течение многих десятилетий, но доступ к данным и приложениям, использующим спутниковые снимки, стал заметным в последнее время. В этом блоге мы представили возможность использования наблюдения за Землей и искусственного интеллекта для решения проблем устойчивого развития. Мы ввели различные источники для источников данных EO, которые включают в себя государственных и частных спутниковых провайдеров. Мы также представили известных поставщиков данных EO, готовых к ИИ, и представили Sentinel-hub, который представляет собой API для доступа к данным EO из разных источников. Наконец, в блоге освещаются возможности и проблемы применения передовых методов машинного обучения, таких как глубокое обучение для данных изображений EO. В следующем блоге мы обсудим, как загружать, обрабатывать и использовать данные EO для приложений машинного обучения, уделяя особое внимание устойчивости вычислений. Оставайтесь с нами, чтобы узнать больше!