Недавнее появление генерирующих состязательных нейронных сетей (GAN) представляет собой многообещающую возможность для генерации уникальных изображений. Их способность создавать «миры», пугающе похожие на наш, заставила многих исследователей рассматривать их как будущее машинного обучения.

Обычно сети GAN реализуются как система двух нейронных сетей, соревнующихся друг с другом в рамках игры с нулевой суммой. Сеть генератора учится отображать скрытое пространство на конкретное распределение данных, в то время как различающая сеть различает между экземплярами истинного распределения данных и кандидатами, созданными генератором.

За последние пару лет была выпущена серия исследований, которые постепенно основываются на этой стандартной структуре. Ниже кратко излагаются некоторые из наиболее значительных вкладов.

Постепенное расширение GANS для повышения качества, стабильности и вариативности

В этом исследовании представлена ​​новая методология обучения для сетей GAN, которая помогает создавать изображения беспрецедентного качества. Ключевая идея состоит в том, чтобы расширить как генератор, так и дискриминатор с низкого разрешения до высокого, постепенно добавляя новые слои, моделирующие все более мелкие детали.

Обучение начинается как с D, так и с G, начиная с низкого пространственного разрешения 4 x 4 пикселя. По мере продвижения, слои добавляются симметрично как к D, так и к G, увеличивая пространственное разрешение изображений. На приведенной выше диаграмме N x N относится к сверточным фильтрам N x N, действующим на N x N пространственное разрешение.

Ниже показаны некоторые примеры изображений, сгенерированных с использованием этой методологии:

DiscoveryGAN: обучение обнаружению междоменных отношений с генерирующими противоборствующими сетями

В этой структуре междоменные отношения изучаются посредством генеративных процессов. Используя непарные данные, этот метод успешно передает стиль из одного домена в другой, сохраняя при этом важные атрибуты исходного изображения.

Как показано выше, каждая из двух связанных моделей изучает отображение одного домена в другой, а также обратное отображение для реконструкции. Две модели обучаются одновременно, и два генератора имеют общие параметры. Каждое из этих сгенерированных изображений подается в отдельный дискриминатор.

Согласованные с циклом состязательные сети: непарное преобразование изображения в изображение с использованием состязательных сетей с согласованным циклом

Этот метод решает проблему преобразования изображения в изображение, при котором отображение из G: X → Y изучается таким образом, что распределение изображений из G (X) неотличимо от распределения Y. Разработана уникальная функция потерь. Потеря согласованности цикла, когда для каждого изображения x из домена X цикл преобразования изображения должен иметь возможность вернуть x обратно к исходному изображению.

Ниже приведены несколько переносов стилей для разных художников, использующих CycleGAN:

Как показано выше, стиль каждого художника изучается и применяется к входному изображению. Это сопоставление между двумя коллекциями изображений изучается, пытаясь зафиксировать соответствия между структурами внешнего вида более высокого уровня.

Эволюционно генерирующие состязательные сети

В отличие от традиционных архитектур GAN, которые симметрично обновляют генератор и дискриминатор, в этом подходе разработан эволюционный метод. Развивается совокупность генераторов {G} в данной среде, где каждый алгоритм представляет возможное решение в пространстве параметров. Популяция постепенно адаптируется к окружающей среде, а это означает, что сгенерированные выборки ближе к реальному распределению данных. Каждый шаг состоит из нескольких подэтапов, на которых индивидуумы сначала мутируют, оценивают и удаляют, если их считают худшими. После этого дискриминантная сеть обновляется, чтобы еще больше отличить реальные образцы от поддельных образцов, сгенерированных усовершенствованным генератором.

Благодаря этой методологии E-GAN преодолевает ограничения единственного состязательного обучения и сохраняет только лучшие модели.

Социальная сеть GAN: социально приемлемые траектории с генеративными враждебными сетями

Понимание поведения человека при движении необходимо для разработки автономных платформ, таких как, например, беспилотный автомобиль. Сделать точные прогнозы относительно этого движения сложно, потому что оно мультимодально: существует множество различных социально приемлемых траекторий. В этом исследовании подход от последовательности к последовательности наблюдает истории движения и предсказывает будущее поведение.

Как показано выше, генератор принимает входные данные о прошлых траекториях и кодирует их в историю человека i. Затем модуль объединения берет историю и выводит объединенный вектор P для каждого человека. Затем декодер генерирует будущую траекторию, а дискриминатор классифицирует этих кандидатов как социально приемлемых или нет.