Google запускает свой проект AutoML в прошлом году, чтобы автоматизировать процесс поиска наиболее подходящих конструкций нейронных сетей для конкретной задачи классификации. Проектирование нейронных сетей заняло много времени, несмотря на использование TensorFlow / Keras или другой архитектуры глубокого обучения в настоящее время. Поэтому команда Google Brain разработала поиск по нейронной архитектуре (NAS), используя рекуррентную нейронную сеть для выполнения обучения с подкреплением. (См. Их запись в блоге.) Он используется для поиска нейронных сетей для классификаторов изображений. (См. Их запись в блоге.)
Судя по всему, имея современное оборудование, Google может провести такой эксперимент с набором данных CIFAR-10 с использованием 450 графических процессоров в течение 3-4 дней. Но это делает работу недоступной для небольших компаний или персональных компьютеров.
Затем идет усовершенствование NAS: эффективный поиск нейронной архитектуры через разделение параметров (ENAS), который является гораздо более эффективным методом поиска нейронных сетей за счет сужения поиска в подграфе. Это снижает потребность в графических процессорах.
Хотя я не думаю, что это угроза для инженеров машинного обучения, это отличный алгоритм, на который стоит обратить внимание. Мне это кажется алгоритмом грубой силы, но для его понимания нужны ученые и инженеры. Тем не менее, я считаю, что разработка теории, лежащей в основе нейронных сетей, очень необходима.
- Использование машинного обучения для изучения архитектуры нейронной сети, исследовательский блог Google, 2017 г. [Google]
- Баррет Зоф, Куок В. Ле, Поиск нейронной архитектуры с обучением с подкреплением, arXiv: 1611.01578 (2016). [ArXiv]
- AutoML для крупномасштабной классификации изображений и обнаружения объектов, Блог Google Research, 2017 г. [Google]
- Эстебан Реал, Шерри Мур, Эндрю Селле, Саураб Саксена, Ютака Леон Суэмацу, Джи Тан, Куок Ле, Алекс Куракин, Крупномасштабная эволюция классификаторов изображений, arXiv: 1703.01041 (2017). [ArXiv]
- Хиеу Фам, Мелоди И. Гуан, Баррет Зоф, Куок В. Ле, Джефф Дин, Эффективный поиск нейронной архитектуры с помощью совместного использования параметров, arXiv: 1802.03268 (2018). [ArXiv]
- tobe, ENAS: 更 有效 地 设计 神经 网络 模型 (AutoML), TensorFlow 专栏, Zhihu (2018). [Жиху]
- Поиск нейронной архитектуры. [Википедия]
- Насколько реалистичен AutoML (попытки Google создавать нейронные сети без вмешательства человека)? Это реальная угроза для инженеров машинного обучения? [Quora]
Исходное сообщение: https://datawarrior.wordpress.com/2018/04/08/development-of-neural-architecture-search/
