Представляя бесконечные видеоигры

В детстве я играл в текстовые приключения на семейном TI-82 с магнитофоном. У меня остались яркие воспоминания о классической игре Скотта Адамса Pirate Adventure, ранней текстовой видеоигре.

Геймплей был прост. Вы начинаете с того, что стоите в лондонской квартире и должны проложить свой путь к таинственному острову, набирая простые команды, такие как «запад», «подняться по лестнице» или «помощь». Когда вы набирали «получить ром», игра ответила: «Странный звук ... Думаю, это я. Хи хи.")

В те старые добрые времена я постоянно сталкивался с ограничениями повествования ранних текстовых игр. Фразы «Я не знаю, что это такое» и «Я не могу пойти в этом направлении» до сих пор преследуют меня, отслеживая жесткие границы воображаемого мира, созданного и закодированного людьми-писателями.

Познакомьтесь с создателем AI Dungeon 2

Создатель геймера Ник Уолтон выпустил AI Dungeon 2 на прошлой неделе, используя полную версию сверхмощной языковой модели GPT-2 OpenAI с параметрами 1.5B для создания бесконечной текстовой фэнтези-игры.

В AI Dungeon 2 я играл волшебника, исследующего опасную библиотеку заклинаний, а затем моя дочь играла дворянку, защищающую свой замок от ордов вторгшихся орков.

В игре никогда не говорилось: «Я не знаю, что это такое» и «Я не могу двигаться в этом направлении». Благодаря мощному движку сюжета GPT-2 AI Dungeon 2 всегда пытался сгенерировать новую сцену или новый диалог, каким бы странным ни был наш запрос.

Лично я обожаю книги заклинаний и магические библиотеки. Так что я долго скрывался, читая книги в разрушенном замке.

На данный момент вы можете играть в игру по этой ссылке Google Colab.

Как объясняет Ник на сайте, игра находится в переходном периоде, так как он справляется с «безумной платой за скачивание», которая вынудила его искать новую модель распространения:

Мы используем BitTorrent в качестве временного решения для размещения файлов игры и сохранения этой игры. Это не быстро, но это лучшее, что у нас есть на данный момент. Если вы хотите помочь, лучшее, что вы можете сделать, это «загрузить этот торрент-файл с файлами игры и засеять его на неопределенный срок, насколько это возможно. Это поможет новым игрокам быстрее загрузить эту игру и открыть для себя огромные миры AIDungeon2! »

Я поговорил с Ником об оборудовании, наборе данных и программировании бесконечного игрового мира AI Dungeon 2, созданного искусственным интеллектом.

После нашего интервью Ник обновил свою страницу на Patreon новостями о грядущей версии приложения с платной моделью подписки.

«Альфа-версия приложения работает, и у нас есть инфраструктура для запуска модели в облаке. Прежде чем мы начнем бета-тестирование, нам нужно провести еще день или два, но мы надеемся, что начнем к концу недели ».

Вот полный текст нашего интервью об игре ...

Сколько времени ушло на создание набора данных для обучения?

Набор данных составлял около 30 МБ текстовых приключенческих историй, которые я скопировал в Интернете с сайта chooseyourstory.com. Мне потребовалось около 20 часов, чтобы собрать веб-парсер, запустить его и обработать набор данных. Я хотел убедиться, что все данные, которые я использовал, были в правильном формате.

Совет, который я хотел бы дать, особенно в тексте, заключается в том, что (в некоторой степени) меньшее количество высококачественных данных более ценно, чем большее количество некачественных данных.

Какие шаги кодирования вы предприняли для поддержания контекста в истории, созданной GPT-2?

Я использовал DGX 1, который содержит 8 мощных графических процессоров для обучения. На обучение модели, которую я в итоге использовал, ушло около 12–16 часов.

Я экспериментировал с этим очень долго и много чего пробовал.

Точная настройка правильных текстовых приключенческих данных была, вероятно, самым важным, что я сделал, чтобы повествование оставалось прямым.

Помогло и увеличение памяти. Если раньше память была ближе к 2 (последние 2 пары действие-результат), контекстное предложение было гораздо важнее, а теперь, когда память установлена ​​на 10, я не уверен, что это действительно имеет значение.

Я также прилично модифицирую ввод игрока, чтобы он был в правильном формате, и обрезал вывод моделей, чтобы он не содержал строк действий (обозначенных символом «› »).

Вы также изменили свою модель, чтобы сократить количество повторений в выводе GPT-2. Не могли бы вы это объяснить?

В модели Salesforce CTRL они добавляют штраф к вероятности генерации слова, которое уже было сгенерировано, и делят его логарифмические шансы примерно на 1,2.

Это помогает предотвратить застревание модели при произнесении одного и того же слова или набора слов. Из-за этого модель CTRL могла использовать гораздо более низкую температуру, чем GPT-2 (для предотвращения повторения требовалась высокая температура). Добавив этот штраф к GPT-2, я смог снизить температуру до 0,4, что помогает согласованности, при этом избегая повторения (по большей части).

Как вы относитесь к авторскому праву и интеллектуальной собственности в отношении историй, созданных вашей игрой, и вашей отлаженной модели?

Подобно тому, как люди узнают многое о том, как писать от других авторов, меня устраивает обучение моделей на работе других людей, чтобы научиться писать лучше. Что касается результатов, полученных с помощью модели, у меня нет проблем с людьми, которые используют ее для написания фантастических романов или публикации своих приключений в Интернете.

AI Dungeon 2 - это не рассказчик-одиночка. Рассказы, которые публикуют люди, забавны не только из-за ИИ, но и из-за того, как люди взаимодействуют с ним, чтобы создавать интересные и забавные истории.

Какие жанры или другие форматы вы надеетесь добавить в свой набор данных для будущих итераций?

Я, конечно, хотел бы добавить в него больше жанров, но следующее, над чем я буду работать, - это найти лучшее решение для хостинга и закончить мой реверсивный режим AI Dungeon, где AI - игрок, а человек - Dungeon Master.