Представляя бесконечные видеоигры В детстве я играл в текстовые приключения на семейном TI-82 с магнитофоном. У меня остались яркие воспоминания о классической игре Скотта Адамса Pirate Adventure , ранней текстовой видеоигре. Геймплей был прост. Вы начинаете с того, что стоите в лондонской квартире и должны проложить свой путь к таинственному острову, набирая простые команды, такие как «запад», «подняться по лестнице» или «помощь». Когда вы набирали «получить ром», игра ответила:..

Смотреть! Без математики Да хоть убей, я не мог понять, как работают BERT или GPT-2. Читаю статьи; последовательные диаграммы; покосился на уравнения; смотрели записанные классы; прочитать документацию по коду; и все еще изо всех сил пытался во всем этом разобраться. Дело было не в математике. Скорее всего, как-то не хватало той большой части, которая, как вы ожидали, предшествовала мелочам. Эта статья восполняет этот пробел, объясняя простым языком, как построены эти..

Мне нужно было настроить модель параметров GPT2 1,5 миллиарда для проекта, но модель не подходила для моего графического процессора. Итак, я понял, как запустить его с высокой скоростью и градиентными контрольными точками, что уменьшает требуемую память графического процессора. Я надеюсь, что это руководство поможет некоторым людям, которые также хотят настроить GPT2, но не хотят настраивать распределенное обучение. Вы можете найти репозиторий с самой последней версией руководства здесь..