У меня было несколько целей при выборе темы для моего завершающего проекта. Я хотел проект, который демонстрирует мои навыки, имел четко определенный набор данных, имел масштабируемый диапазон успеха и, самое главное, был веселым и захватывающим. Темой, которую я выбрал, было предсказание реакции на изображения с сайта drawception.com. В этой теме много интересного. Чтобы завершить мой краеугольный камень, я должен продемонстрировать парсинг веб-страниц, компьютерное зрение с нейронными сетями и, возможно, обработку естественного языка. Данные для проекта будут поступать непосредственно с веб-сайта, и вам не нужно беспокоиться о поиске общедоступных источников данных. Цель прогнозирования реакций может быть расширена до прогнозирования подписей к изображениям и, возможно, даже создания компьютерных изображений. Лучше всего я трачу свое время на просмотр глупых картинок в Интернете и называю это работой.



Drawception - Picture Telephone Drawing Game
Это как классическая «Телефонная игра, но с рисованием и тысячами игроков. Непонимание и веселье…drawception.com»



Прежде чем я углублюсь в детали, позвольте мне объяснить Drawception. Идея состоит в том, что вам дается подсказка для рисования и простой инструмент для веб-арта. Кто-то другой увидит ваше изображение и напишет подсказку на его основе, и процесс продолжится. В одиночной игре обычно участвуют 12 игроков, 6 рисуют и 6 пишут подписи. Вы можете увидеть пример изображения, которое я сделал ниже.

После завершения игры любой может просмотреть игру. Имея учетную запись, любой может комментировать и реагировать на изображения и подписи. Есть несколько разных смайликов, которые вы можете дать в качестве реакции, в приведенном выше примере моя ворона улыбнулась, 2 лайка и вау. Игры могут иметь специальные модификаторы, которые включают дополнительных игроков, альтернативные цветовые палитры, такие как оттенки серого, и игры могут быть отмечены как лучшая игра.

Итак, что я уже сделал и куда я иду? Сбор данных завершен. Для каждого изображения у меня есть много дополнительных данных. У меня есть автор, любые специальные игровые теги, подписи до и после и количество каждой реакции. Сбор данных был многоэтапным процессом. Сначала я собрал ссылки из раздела просмотра игр на сайте. Внутри каждой игры я собирал URL-адреса изображений, реакции и подписи. Наконец, мне нужно было получить локальную копию всех изображений. На момент написания статьи у меня было собрано более 20 000 изображений, занимающих 800 МБ дискового пространства. Все мои изображения были созданы в период с 18.12.20 по 26.12.20, поэтому, вероятно, есть много изображений и подписей, характерных для Рождества. И последнее замечание: в разделе просмотра игр на сайте отображаются только последние 2100 сыгранных игр, перезапись которых занимает всего несколько дней. URL-адреса игр остаются активными, но их становится сложнее найти, когда они удаляются со страниц просмотра игр.

Теперь, когда у меня есть данные, следующим шагом будет начало моделирования. Для предсказания реакции я буду использовать сверточные нейронные сети. Каждая реакция будет иметь свою собственную модель, потому что реакции не все равны. Реакция улыбки используется по умолчанию, что, как вам может показаться, делает ее наиболее распространенной, но на практике любовь/ха-ха/вау кажутся более популярными. Наконец, есть реакция утки, которая стоит денег и является самой редкой реакцией. Я ожидаю, что реакцию ха-ха будет труднее предсказать, потому что даже грубая фигурка может вызвать большой смех, если контекст правильный, а модель не сможет понять шутку. С другой стороны, реакцию любви должно быть легче смоделировать, потому что больше деталей на рисунке должно быть заметным и не зависит от какого-либо контекста.

Если все пойдет хорошо, я перейду к созданию собственных подписей к новым рисункам. Каждое изображение получает две подписи, поэтому у меня есть дополнительный текст на каждом изображении. Эта задача сложна даже для людей, и на самом деле она является ядром игры. Если бы каждое изображение каждый раз имело идеальные подписи, игра не была бы такой захватывающей. Это означает, что если моя подпись не идеальна, она все равно может сойти за подпись, созданную пользователем.

С нетерпением ждите продолжения этой записи в блоге, где мы увидим, какие изображения моя модель назвала забавными, милыми и заслуживающими внимания!