Здравствуйте, любители машинного обучения! Я решил использовать это предисловие, чтобы рассказать об обучении на протяжении всей жизни. Генри Форд однажды сказал: «Каждый, кто перестает учиться, стар, будь то в двадцать или восемьдесят лет. Тот, кто продолжает учиться, остается молодым». Обучение в наши дни — это бесконечный процесс, который выходит за рамки выпуска. В мире, где ежедневно происходит стремительный прогресс, нелегко идти в ногу со временем. Но это необходимо для того, чтобы оставаться успешным. И это очень весело! Так держать!

Оглавление

  • 📰 Выпуск фастая v2
  • 🎓 Учебное пособие по KerasTuner
  • 🏆 Прогноз движения на соревнованиях Lyft Kaggle
  • ⚗️ Сверхчеловеческая производительность в Gran Turismo Sport с помощью глубокого обучения с подкреплением
  • 🎓 HuggingFace: тонкая настройка трансформеров
  • 🌍 Facebook FastMRI
  • 🌍 Самый быстрый гонщик AWS в истории F1

📰 Выпуск фастая v2

Что такое фастай?

fastai — это библиотека Python, целью которой является «снова сделать нейронные сети некрутыми», предоставляя высокоуровневый API, основанный на PyTorch и упрощающий обучение быстрых и точных нейронных сетей. Fastai можно рассматривать как эквивалент Keras, высокоуровневого API для Tensorflow.

Какие новости?

Их выпуск второй версии поставляется с:

  • новую версию своей известной библиотеки Python, следуя новым принципам проектирования машинного обучения, описанным в их собственной научной статье. По их словам, новая версия быстрее, проще и гибче.
  • новый бесплатный курс: «Практическое глубокое обучение для программистов»
  • новая книга О’Рейли: Deep Learning for Coders with fastai and PyTorch: AI Applications Without PhD

Ресурсы

🎓 Учебное пособие по KerasTuner

Учебник по ноутбукам Ф. Шолле

Сам создатель Keras опубликовал отличный туториал о библиотеке KerasTuner на Kaggle. Блокнот можно найти здесь: https://www.kaggle.com/fchollet/keras-kerastuner-best-practices/

Что такое гиперпараметры?

По сравнению с параметрами модели (веса, смещения), которые меняются в процессе обучения, гиперпараметры остаются неизменными во время обучения. При выборе модели задача состоит в том, чтобы найти наилучший набор гиперпараметров, который приводит к наилучшему результату обучения.

Типы гиперпараметров

Хотя исторически различались только два типа гиперпараметров, можно выделить еще одну группу так называемых гиперпараметров предварительной обработки. Это связано с растущей тенденцией включать этапы предварительной обработки данных, такие как увеличение изображения или разметка текста, а также усечение как часть модели для упрощения вывода модели.

а) Гиперпараметры предварительной обработки:

  • параметры для увеличения данных во время обучения
  • количество токенов для токенизатора

б) Гиперпараметры модели:

  • количество сверточных блоков
  • сглаживание по сравнению с глобальным средним пулом
  • уровень отчисления
  • функция активации

c) Гиперпараметры алгоритма:

  • скорость обучения
  • размер партии

Чем может помочь KerasTuner

Библиотека KerasTuner предлагает различные методы поиска для нахождения наилучшего набора гиперпараметров в отношении заданной цели, например, точность проверки для задачи классификации.

Параметры гиперпараметров могут быть записаны одним из следующих способов:

  • boolean: Используем ли мы случайное масштабирование при увеличении изображения?
  • число в диапазоне: количество плотных слоев от 2 до 5
  • значение в массиве: выберите значение в ['flatten', 'global average pooling'], чтобы решить, какой слой использовать между конв. слои и плотный слой.

Это позволяет многим различным структурам управления, таким как for loops или if else, использовать гиперпараметры в вашем коде.

Читать далее

🏆 Прогноз движения на соревнованиях Lyft Kaggle

Подход Lyft к автономному вождению

Это было в 2017 году, когда компания Lyft объявила о начале своей программы самостоятельного вождения «Уровень 5», которая предназначена для создания автономного тестового парка в течение следующих нескольких лет. На сегодняшний день над программой работают почти 400 сотрудников. Lyft находится в тесном контакте со своими клиентами, также предлагая автономные тестовые поездки.

Решение задачи 5 уровня вместе с сообществом

В течение этого года Lyft начал предоставлять сообществу несколько высококачественных наборов данных с открытым доступом. Это их подход к совместной разработке нашей технологии будущего. В настоящее время доступны наборы данных восприятия и прогнозирования.

Конкурс Lyft Prediction Kaggle

До конца августа они хотят организовать конкурс на Kaggle по задаче на предсказание. Там задача состоит в том, чтобы предсказать движение других участников дорожного движения, таких как автомобили, велосипедисты и пешеходы. По словам Lyft, их набор данных является крупнейшим набором данных о перемещениях дорожных агентов. Он содержит более 1000 часов общей протяженности 16 км, пройденных 23 испытательными автомобилями.

VectorNet компании Waymo

В мае 2020 года Waymo, дочерняя компания Google, опубликовала документ о своем подходе к прогнозированию движения с использованием недавно представленной так называемой VectorNet. Будет интересно посмотреть, как лучшие решения конкурса Kaggle сравнятся с VectorNet.

Читать далее

⚗️ Сверхчеловеческая производительность в Gran Turismo Sport с помощью глубокого обучения с подкреплением

Смысл

Если вы, как и я, провели немало времени в видеоиграх, посвященных гонкам, то знаете, что ключом к успеху является нахождение идеальной линии на кривой. В новой статье «Сверхчеловеческие способности в Gran Turismo Sport с использованием глубокого обучения с подкреплением» Цюрихский университет предлагает подход к обучению с подкреплением для управления гоночными автомобилями в Gran Turismo. Они обучили политическую сеть, которая научилась сопоставлять наблюдения на трассе с управлением автомобилем на двух гоночных трассах и двух моделях автомобилей. Затем они оценили производительность агента по сравнению с экспертами в области человека.

Производительность по сравнению с людьми-экспертами

Изучив сложные траектории, аналогичные траекториям людей-экспертов, обученный агент превзошел всех более чем 50 000 эталонных водителей-людей.

Мысли сообщества

«ИИ управляет очень агрессивно, но я думаю, что это возможно только благодаря его точным действиям. Технически я тоже мог бы проехать по той же траектории, но в 999 из 1000 случаев, когда я пытаюсь двигаться по этой траектории, происходит авария, которая разрушает весь мой круг, и мне приходится начинать новый круг с нуля».
-Эксперт GTS

«Это безумие. С этим ИИ можно сделать множество полезных вещей. Представьте, что у вас есть эталонный круг любой комбинации трека и автомобиля для всех игроков в мире. Поскольку ИИ может двигаться даже быстрее, чем самый быстрый игрок в мире, каждый мог знать, каковы пределы возможностей той или иной машины на определенной трассе, куда рулить, где и насколько ускоряться и тормозить на каждом повороте. С другой стороны, я боюсь, что люди могут подумать, что это может быть использовано для мошенничества».
–Tiago GTSport на YouTube

«Илон ждет вашего звонка, если это правда».
–rollandoTech на YouTube

Читать далее

🎓 HuggingFace: тонкая настройка трансформеров

Что такое тонкая настройка?

Тонкая настройка заключается в том, чтобы взять предварительно обученную сеть, которая была обучена для конкретной задачи в определенной области, и настроить ее веса на новый, обычно меньший набор данных в аналогичной области. Это работает, потому что предварительно обученная модель уже изучила высокоуровневое представление предметной области, которое можно применить к новой задаче. Часто данных для обучения недостаточно для обучения модели с нуля без переподгонки, или это просто займет слишком много времени.

Что такое трансформеры?

Трансформеры — это довольно новая архитектура модели глубокого обучения для последовательных данных, представленная в 2017 году, которая в основном используется в области обработки естественного языка (NLP). Из-за их высокой параллелизуемости их можно обучать намного быстрее, чем ранее использовавшиеся архитектуры, такие как RNN и LSTM. Это позволяет обрабатывать еще большие обучающие данные, которые привели к известным языковым моделям BERT (представления двунаправленного кодировщика от преобразователей) и GPT (генеративный предварительно обученный преобразователь).

Учебник HuggingFace

HuggingFace опубликовал руководство о том, как точно настроить эти преобразователи для нового набора данных, используя свою известную библиотеку преобразователей. Их документация и примеры кода включают:

  • классификация рецензий на фильмы
  • распознавание именованных объектов
  • ответ на вопрос

Читать далее

🌍 Facebook FastMRI

Проблема с МРТ

Магнитно-резонансная томография (МРТ) часто занимает много времени, до одного часа. Это замедляет часто решающий процесс быстрой диагностики и может привести к плохому общему впечатлению пациента.

Подход Facebook AI и NYU Langone Health

В рамках совместной исследовательской инициативы с NYU Langone Health Facebook AI направлен на ускорение процесса сканирования, предоставляя метод, способный создавать то же изображение с до 4 раз меньшим объемом данных. Таким образом, процесс визуализации почти в 4 раза быстрее. Согласно одному исследованию, рентгенологи не смогли найти каких-либо существенных различий, и по снимкам был поставлен один и тот же диагноз.

Как это работает

Нейронная сеть обучена создавать одинаковые выходные изображения, используя до 4-кратной недостаточной выборки входных данных в k-пространстве (частотном пространстве). Для обучения был использован самый большой открытый набор данных МРТ коленного сустава с 1200 изображениями с нормальными и субдискретизированными входными данными.

Читать далее

🌍 Самый быстрый гонщик AWS в истории F1

Задание

Amazon Web Services (AWS) взялась за поиск самого быстрого гонщика Формулы-1 в истории. Они делают это, анализируя все подходящие данные с 1983 года по сегодняшний день.

Чистая скорость

Это нетривиальная задача, так как вы должны учитывать скорость водителя без оглядки на машину. Чтобы исключить автомобильный дифференциал из уравнения, необходимо рассмотреть

  • общая производительность машин F1, все они едут быстрее
  • производительность конкретного автомобиля в этих пределах

Они также удалили выбросы данных, например. относительно медленное время прохождения круга из-за плохой погоды.

Сеть драйверов

Подход AWS заключается в построении сети производительности водителей по отношению к их товарищам по команде (и их товарищам по команде и т. д.). Они только сравнивают время прохождения круга между двумя подключенными водителями этого графа товарищей по команде во время квалификационной сессии, чтобы исключить производительность автомобиля. .

Мысли сообщества

"Я понимаю, почему вы это делаете, но вам не кажется, что это лишает вас удовольствия от сравнения драйверов? Зачем позволять компьютеру делать это за нас, когда мы можем просто строить догадки, основываясь на том, что мы видели на протяжении многих лет? Я просто говорю, что, может быть, нам просто не следует знать, кто НА САМОМ ДЕЛЕ был самым быстрым водителем в мире».
–Колин де Деугд на YouTube.

«[…] Они предполагают, что у гонщика номер 1 всегда была та же машина, что и у гонщика номер 2 в команде. В 80-х и 90-х такого точно не было. И, вероятно, до сих пор».
–10Vingers на YouTube

Читать далее

  • Блог F1: «https://corp.formula1.com/formula-1-and-aws-tap-into-machine-learning-and-cloud-technology-to-identify-the-fastest-driver-of-all- время/"
  • Официальное видео: https://www.youtube.com/watch?v=6WxDDLdXOO4

Как вы могли заметить в последних выпусках, я все еще экспериментирую с макетом и структурой. Я был бы очень рад, если бы у вас есть какие-либо отзывы для меня. Это ваш шанс внести непосредственный вклад в этот быстрорастущий информационный бюллетень. Спасибо и увидимся в следующий раз.