Начало моего пути в качестве стипендиата OpenAI

В прошлом году я опубликовал статью От балерины до писателя по ИИ, в которой описал, как я освоил техническую часть ИИ, не имея технической подготовки. Но обладая любовью и страстью к ИИ, я получил образование и смог построить классификатор нейронной сети и делать проекты в Deep RL.

Недавно я стал участником Стипендиальной программы OpenAI (OpenAI - это некоммерческая организация, которая собирает ведущих исследователей ИИ для обеспечения безопасности ИИ на благо человечества). Каждую неделю в течение следующих трех месяцев я буду публиковать сообщения в блогах, в которых рассказываю о своей истории превращения из человека, посвятившего 15 лет профессиональным танцам, а затем пишущего о технологиях и ИИ, в фактическое проведение исследований в области ИИ.

Найти свое истинное призвание - залог счастья

Моя основная цель в серии сообщений в блоге «От балерины до исследователя искусственного интеллекта» - показать, что никогда не поздно освоить новую область, начать все сначала и найти свое истинное призвание. Поиск работы, которую вы любите, является одним из важнейших компонентов счастья - чем-то, что вы делаете каждый день и вкладываете свое время, чтобы расти; это заставляет вас чувствовать себя удовлетворенным, дает вам энергию; то, что является прибежищем для вашей души.

Великие дела никогда не даются легко. Мы должны уметь бороться, чтобы происходить великие дела. Но вы не можете бороться за то, во что не верите, особенно если вы не чувствуете, что это действительно важно для вас и человечества. Найти эту штуку - настоящий вызов. Мне повезло, что я нашел свою настоящую страсть - искусственный интеллект. Для меня сама технология и сообщество ИИ - исследователи, ученые, люди, посвятившие свою жизнь созданию самой мощной технологии всех времен с миссией принести пользу человечеству и сделать ее безопасной для нас - являются отличным источником энергии.

Структура серии сообщений в блоге

Сегодня я делаю общее вступление к тому, о чем собираюсь рассказать в своей серии «От балерины до исследователя искусственного интеллекта».

Я посвящу последовательность сообщений в блоге во время программы OpenAI Scholars нескольким аспектам технологии искусственного интеллекта. Я расскажу о тех областях, которые меня сильно волнуют, например, искусственный интеллект и автоматизация, предвзятость в машинном обучении, двойное использование ИИ и т. Д.

Кроме того, в структуру моих сообщений будут включены некоторые идеи о том, над чем я работаю прямо сейчас (окончательный технический проект будет доступен к концу августа и будет доступен в открытом доступе).

Мне очень повезло, что у меня есть Алек Рэдфорд, опытный исследователь, в качестве моего наставника, который направляет меня в области исследований НЛП и НЛУ.

Первая неделя моей стипендии

Свою первую неделю в программе я посвятил изучению архитектуры Transformer, которая работает с последовательными данными намного лучше, чем RNN, LSTM.

Новизна архитектуры - многоголовый механизм самовнимания. Согласно исходной статье, эксперименты с преобразователем на двух задачах машинного перевода показали, что модель превосходит по качеству, в то же время более распараллеливаема и требует значительно меньше времени на обучение.

Более конкретно, когда RNN или CNN принимают последовательность в качестве входных данных, они слово за словом перебирают предложения, что является огромным препятствием на пути к распараллеливанию процесса (требуется больше времени для обучения моделей). Более того, если последовательности слишком длинные, модель имеет тенденцию забывать содержание удаленных позиций в последовательности или смешивает его с содержанием следующих позиций - это фундаментальная проблема при работе с последовательными данными. Архитектура трансформатора уменьшила эту проблему благодаря механизму самовнимания нескольких головок.

Я покопался в моделях RNN, LSTM, чтобы получить справочную информацию. С этой целью я нашел курс по глубокому обучению Эндрю Нга вместе с статьями чрезвычайно полезными. Чтобы получить представление о трансформере, я просмотрел следующие ресурсы: видео Лукаша Кайзера из Google Brain, одного из создателей модели; сообщение в блоге с очень хорошо проработанным контентом о модели, запускал код tensor2tensor и код с использованием фреймворка PyTorch из этой статьи, чтобы почувствовать разницу между фреймворками TF и ​​PyTorch.

В целом цель программы состоит в том, чтобы развить глубокое понимание области исследований NLU: проблемы, текущее состояние дел; а также формулировать и проверять гипотезы, решающие наиболее важные проблемы в данной области.

Подробнее о том, над чем я работаю, я расскажу в своих будущих статьях. Между тем, если у вас есть вопросы / отзывы, оставьте, пожалуйста, комментарий.

Если вы хотите узнать обо мне больше, вот мои учетные записи Facebook и Twitter.

Буду признателен за ваши отзывы о моих сообщениях, например о том, какие темы наиболее интересны для вас, и мне следует рассмотреть их в дальнейшем.