Сегодня мы представляем технологическую демонстрацию машинного обучения в глобальном масштабе, которую мы называем GeoVisual Search. Этот выпуск делает глобальные составные изображения, которые мы выпустили в прошлом месяце немного умнее.

Щелкните в любом месте карты, и мы просканируем США, Китай или весь земной шар, чтобы найти похожие объекты. Нажмите на бейсбольный алмаз, ветряную турбину или даже дом со рвом, и GeoVisual Search найдет тысячи других подходящих объектов.

Хотя GeoVisual Search - это всего лишь демонстрация, а не продукт, мы хотели выпустить его, потому что, надеюсь, он вдохновит вас на размышления о том, что возможно, когда компьютеры могут распознавать закономерности на спутниковых изображениях. Кроме того, с ним действительно весело играть.

Давай, попробуй. Мы будем здесь, когда вы вернетесь, чтобы рассказать вам больше.

Найти каждый стог сена на планете

Визуальный поиск пытается найти похожие вещи в наборе изображений. Примером этого является случай, когда Facebook автоматически определяет, кто изображен на ваших фотографиях. Вы не выглядите одинаково на всех фотографиях, но есть визуально похожие элементы, составляющие ваше сходство. Люди особенно хорошо умеют распознавать закономерности в мире. Благодаря последним улучшениям в технологиях, компьютеры тоже становятся лучше.

В прошлом году команда из Университета Карнеги-Меллона применила принципы визуального поиска в семи городах по всему миру в демонстрации под названием Terrapattern. Мы были впечатлены их работой и задались вопросом: сможем ли мы сделать это не только для нескольких городов, но и для всего земного шара?

Приложив много усилий, изобретательность и пиксели, мы смогли построить GeoVisual Search для трех карт, используя три разных источника изображений:

  • Континентальная часть Соединенных Штатов - здесь используются аэрофотоснимки с разрешением 1 м на пиксель, полученные в рамках Национальной программы сельскохозяйственных изображений (NAIP) в США. Поскольку изображения имеют высокое разрешение, вы сможете найти солнечные фермы и фруктовые сады.
  • Китай - На этой карте использованы спутниковые снимки в разрешении 4 м, сделанные нашими друзьями из Планеты. Хотя разрешение не такое высокое, как у карты NAIP над США, спутники Planet скоро будут предоставлять ежедневные снимки земного шара. На этой карте вы найдете солнечные фермы и стадионы.
  • Весь мир - здесь используется композит, который Descartes Labs выпустил несколько недель назад, использует Landsat 8 и имеет разрешение 15 метров. Несмотря на то, что они намного грубее, чем другие наши карты, вы все равно сможете найти множество интересных крупномасштабных явлений, таких как круговое орошение и пригороды.

При создании GeoVisual Search первая проблема, которую необходимо решить, - это научить компьютер понимать, что означает «сходство». Поскольку человеческий мозг действительно хорош в этом, это хорошее место для начала. Мы можем смоделировать простой человеческий мозг на компьютере, используя то, что мы знаем о физиологии мозга и структуре нейронов. Мы создаем «нейронную сеть» на компьютере и обучаем его сотням «функций», таких как тени, цвета и края (это обычно называется глубоким обучением). Затем мы используем эти особенности, чтобы смотреть на всю Землю и искать другие изображения с похожими характеристиками. Чем больше у изображений общего, тем выше они идут в списке. Фактически мы научили компьютер распознавать закономерности. Иногда результаты удивительны (а иногда они просто ошибочны), но почти всегда они интересны.

Вторая проблема не так привлекательна - здесь не задействовано моделирование нейронов, - но во многих отношениях она намного сложнее. Проблема в том, что вся Земля во много раз больше, чем даже самый большой город: всего 150 000 000 квадратных километров суши. И поиск должен выполняться в «реальном времени» - нам нужно иметь возможность сканировать весь земной шар как можно быстрее, чтобы возвращать вам результаты. Для этого требуется сложная инфраструктура.

Когда вы нажимаете на что-либо в GeoVisual Search, заметили, что это занимает всего несколько секунд? За это время мы просмотрели все потенциально подходящие изображения, отфильтровали их, выбрав только лучшие, и вернули вам результаты. Подобный поиск в широкой области был бы просто невозможен для людей и занял бы слишком много времени у слишком большого количества людей. Такая производительность возможна только при наличии большого количества компьютеров и значительной изобретательности.

Что дальше?

Это общий обзор того, как работает GeoVisual Search, призванный дать вам представление о том, насколько сложной является эта проблема. Если вы хотите узнать подробности, мы написали технический блог в нашем новом Descartes Tech Blog.

GeoVisual Search - это демонстрация, еще не совсем продукт. Но это важный шаг к лучшему пониманию нашей планеты с помощью спутниковых снимков. В конечном итоге мы хотим иметь возможность искать на земном шаре любой объект, который вы определяете, и отслеживать, как этот объект изменяется с течением времени.

Например, представьте, что вы пытаетесь лучше понять возобновляемые источники энергии, чтобы дать политическую рекомендацию Организации Объединенных Наций. В дополнение к другим источникам данных, которые вы могли бы собрать, вы можете определить местоположение каждой ветряной турбины и солнечной панели на планете и посмотреть, как их число росло и с какой скоростью за последние десять лет. Базовая инфраструктура, которую мы создали для GeoVisual Search, закладывает основу именно для этого типа технического анализа.

У нас есть много проектов в разработке, и скоро появятся новые интересные объявления, так что следите за Descartes Labs и следите за тем, как мы меняем то, как мы смотрим на наш мир. (Twitter, Facebook, Medium, LinkedIn).

А пока просто получайте удовольствие, исследуя Землю, США или Китай с GeoVisual Search.

(Да, и если вы разработчик и ищете новую задачу, напишите нам: мы нанимаем!)