Компьютерное зрение — это ключевая технология для создания алгоритмов, позволяющих создавать беспилотные автомобили. Одним из пионерских проектов в этой области стала экспериментальная система PilotNet от Nvidia. Он использует глубокую нейронную сеть (DNN), которая берет кадры изображения с камер, установленных на передней части автомобиля, и определяет траекторию (угол поворота), которая должна быть применена к рулевому колесу.
Архитектура PilotNet состоит из уровней, показанных на рисунке 1:
В двух словах, входные данные в виде изображений с камер преобразуются с помощью ряда сверточных слоев для извлечения признаков. Затем полностью связанные слои используются для вывода одного угла, на который, по мнению модели, следует повернуть руль автомобиля, чтобы успешно перемещаться. Конечно, если бы вы попытались построить эту модель с помощью обычных инструментов (например, в TensorFlow), визуализировать эту архитектуру было бы сложно. Именно здесь инструмент визуального моделирования PerceptiLabs действительно проявляет себя, поскольку он позволяет вам видеть модель по мере ее создания.
С исследованием ускорения беспилотных автомобилей (каламбур) мы подумали, почему бы не воссоздать модель PilotNet в PerceptiLabs, чтобы показать, насколько легко ее построить. Затем, чтобы доказать это, мы решили сделать это перед живой аудиторией! Вот что произошло:
Для обучения этой модели в качестве входных данных использовались выборочные данные из автосимулятора Udacity, которые мы предварительно обработали (нормализовали) с помощью Google Colab. Данные состоят из кадров, полученных с трех камер, установленных в передней части автомобиля, которые совместно используются для обучения модели навигации:
Полученная модель PilotNet выглядит в PerceptiLabs следующим образом:
Как показывают наша модель и видео выше, вы можете быстро и легко создавать модели, подходящие для беспилотных автомобилей, в инструменте визуального моделирования PerceptiLabs. Кроме того, вы можете визуально просматривать полученные карты объектов из различных слоев свертки в модели и наблюдать, как модель развивает навигационный интеллект во время обучения.
Чтобы узнать больше об этой модели и поиграть с ней в PerceptiLabs, ознакомьтесь с нашим репозиторием Nvidia-PilotNet на GitHub.
