Для всех владельцев дешевых компьютеров NAS и AutoML подобны сбывшимся мечтам. Лично у меня есть Macbook Pro 2017, и, будучи студентом с ограниченным бюджетом, заставить модели глубокого обучения работать на самом деле было кошмаром. Мой ноутбук работал непрерывными днями и даже неделями, обучая модели YOLOv4, YOLOv3, Inception и SSD. NAS меняет все! Поскольку работа над гипотезой лотерейного билета продолжается, я думаю, что исследователи выводят ИИ на новый уровень. Для всех Kaggler должно быть сложно конкурировать с участниками, использующими сложные модели на нескольких графических процессорах и, по иронии судьбы, имеющими более высокие шансы на победу.

Прежде чем я углублюсь в то, почему я говорю об этом, давайте поговорим о том, что. Недавнее исследование доказало, что очень разреженные нейронные сети, веса которых были инициализированы как веса чрезвычайно глубоких сетей, могут достигать равных уровней точности без значительного снижения вычислительных требований и, знаете что, меньшего времени вывода и обучения? Что это значит? У нас, пользователей процессоров, есть шанс. Исследователи проверили свою гипотезу, которая теперь широко известна как гипотеза лотерейного билета, на наборах данных MNIST и CIFAR-10 и неожиданно достигли одинакового уровня точности с сетями, которые составляли 10–20% от исходных чрезвычайно обширных нейронных сетей с прямой связью. несколько полносвязных слоев. Их исследование восходит к тому, о чем давно говорили многие игроки в Deep Learning, но смогли это доказать! Мы все знаем, что несоответствующий вес увеличивает объем наших моделей, а для пользователей ЦП требуется время на обучение, которое может просто спасти их ноутбуки. Аргумент, который выдвинули исследователи, заключался в том, что основная часть работы выполняется частью наших обширных глубоких сетей, а остальная часть избыточна, поэтому мы можем воспроизвести работу очень глубоких сетей с чрезвычайно разреженными функциями. Можно с уверенностью сказать, что у этого исследования есть реальный потенциал, и мы приближаемся к тому моменту в технологическом исследовании, когда иметь меньше, действительно лучше!

Еще одна вещь, о которой я хотел бы поговорить сегодня, это поиск нейронной архитектуры (NAS). Невозможно создать все перестановки и комбинации нейронных сетей, но что, если бы существовал метод, при котором сеть могла бы наилучшим образом выполнять ваши задачи, используя другую ветвь в ИИ, это также стало возможным с помощью методов поиска нейронной архитектуры. Чтобы дать вам общий обзор, NAS использует методы обучения с подкреплением и оптимизации градиента и адаптирует свои системы состояний и вознаграждений для создания или выбора оптимальной архитектуры и соответствующих параметров. Теперь NAS были созданы для того, чтобы донести машинное обучение до масс и, по сути, позволить людям проводить исследования и использовать эту сложную технологию с ограниченным знанием предметной области. Но пересиливает ли NAS все? На данный момент NAS или более широкая область автоматизированного машинного обучения должны пройти долгий путь, у них есть свой набор недостатков, и они не зарекомендовали себя достаточно достойными для повсеместного использования. В любом случае, NAS — это действительно круто, и я считаю, что это футуристическая технология, которая определенно сделает ИИ доступным для всех.

Я думаю, что к этому времени должно быть ясно, почему я повторяю эти понятия. Это не только отличный шаг к «Глубокому обучению для всех», но и путь к лучшему изучению периферийных и «облегченных» устройств. Разреженные нейронные сети имеют гораздо больше шансов работать точно и быстрее, чем конвертированные Deep Networks. Так что представьте, что через несколько коротких лет все, что мы видим в наших ноутбуках с графическими процессорами, может быть доступно на кончиках наших пальцев с нашими телефонами!

NAS и AutoML стали для меня отличным стимулом для моего будущего проекта. Мы с другом решили создать классификатор мусора для ответственного потребления. Мы обнаружили, что безопасная утилизация мусора, особенно в Индии, может стать шагом вперед с точки зрения устойчивости, но есть только одна проблема: информация. Даже у меня не было спецификаций по утилизации мусора, которые существуют, и проект дал мне отличную кривую обучения. Вместо того, чтобы идти по относительно бурному пути создания сетей с нуля или передачи обучения, нам на помощь пришел AutoML. В целом, для создания наших классификаторов мы использовали такие программы, как CreateML, Teachable Machine и AutoKeras. На этот раз нашим моделям потребовалось всего несколько часов, чтобы достичь впечатляющего уровня точности. Мы создали модели для классификации мусора по определенным категориям и информировали потребителей о том, что они собираются утилизировать и как это утилизировать. За кулисами наши простые в использовании модели с поддержкой NAS могут определять основные категории, такие как бумага, мусор, металл, пластик и т. д., а также делать еще один шаг вперед, чтобы сказать вам, следует ли компостировать, перерабатывать или выбрасывать. На всякий случай мы даже включили классификатор пластика, который был в общих чертах разделен на 7 категорий пластика, каждая из которых имеет разные методы утилизации. Мы использовали эти модели, преобразовали их в форматы, пригодные для использования на периферии, и опубликовали приложение для iOS. Мы постоянно стремимся улучшить приложение, поэтому найдите «Garbify» в магазине приложений и оставьте отзыв!

https://apps.apple.com/in/app/garbify/id1522674990 — ссылка на приложение. Публикуется под другой учетной записью, потому что у меня не было учетной записи Apple :(

Наши следующие шаги — создать собственный аналитический сервер, а также включить в наши модели распознаватель электронных отходов.

Это от меня! Дайте мне знать, что вы думаете о приложении!

Исследование гипотезы лотерейного билета — https://arxiv.org/abs/1803.03635