Сек Чай, технический директор и соучредитель Latent AI, Inc.

Доступность высокопроизводительных графических процессоров и быстрое развитие программных сред машинного обучения (Tensorflow, Pytorch, Caffe) обеспечили недавний успех в развертывании приложений глубокого обучения в облаке. Приложения для видеоаналитики, обработки звука, обработки естественного языка (NLP) становятся популярными, поскольку потребители получают выгоду от нового пользовательского опыта, основанного на силе искусственного интеллекта.

Что движет ИИ из облака на периферию?

Теперь проблемы с конфиденциальностью данных, пропускной способностью связи и задержкой обработки заставляют ИИ перемещаться из облака на периферию. Однако те же технологии ИИ, которые привели к значительному прогрессу в облачных вычислениях, в первую очередь благодаря доступности графических процессоров для обучения и запуска больших нейронных сетей, не подходят для периферийного ИИ. Устройства Edge AI работают с ограниченным бюджетом ресурсов, таких как память, мощность и вычислительная мощность.

Обучение сложных глубоких нейронных сетей (DNN) — это уже сложный процесс, а обучение пограничных целей может быть бесконечно сложнее. Традиционные подходы к обучению ИИ для периферии имеют ограничения, поскольку они основаны на представлении о том, что обработка для вывода статически определяется во время обучения. Эти статические подходы включают в себя квантование и отсечение после обучения, и они не учитывают, как глубокие сети могут работать по-разному во время выполнения.

По сравнению со статическими подходами, описанными выше, адаптивный ИИ представляет собой фундаментальный сдвиг в способах обучения ИИ и в том, как определяются текущие и будущие вычислительные потребности.

Три основных принципа адаптивного ИИ — надежность, эффективность и гибкость. Надежность — это способность достигать высокой алгоритмической точности. Эффективность — это способность достичь низкого уровня использования ресурсов (например, вычислений, памяти и мощности). Гибкость связана со способностью изменять условия эксплуатации в зависимости от текущих потребностей. Вместе эти три принципа адаптивного ИИ определяют ключевые показатели сверхэффективного логического вывода ИИ для периферийных устройств.

В Latent AI мы используем подход Adaptive AI для корректировки вычислительных потребностей AI. Операционная эффективность определяется во время выполнения в контексте того, какая алгоритмическая производительность требуется и какие вычислительные ресурсы доступны. Пограничные системы искусственного интеллекта, которые могут динамически регулировать свои вычислительные потребности, являются лучшим подходом к снижению потребностей в вычислительных ресурсах и памяти.

Как скрытый ИИ приносит разработчикам адаптивный ИИ

Latent AI Efficient Inference Platform (LEIP) — это платформа обучения ИИ, поддерживающая принципы адаптивного ИИ. Наш первый инструмент разработчика — LEIP Compress, новый оптимизатор квантования для периферийных устройств ИИ. LEIP Compress поддерживает первые два принципа: надежность и эффективность за счет постобучения и квантования с учетом обучения [1], что обеспечивает высокую точность алгоритма при одновременном снижении объема памяти и вычислительных потребностей.

Платформа эффективного логического вывода со скрытым ИИ включает в себя:

  • Совместная оптимизация как точности алгоритма ИИ, так и аппаратных ограничений, таких как объем памяти.
  • Устранение умножений с плавающей запятой путем кодирования параметров DNN в целочисленные степени двойки.
  • Произвольные уровни битовой точности для каждого уровня DNN

С LEIP Compress разработчики ИИ получили новый инструмент, который автоматизирует исследование обучения ИИ с низкой битовой точностью. Как показано в примере гистограммы весов параметров DNN, LEIP Compress предоставляет средства для формирования необходимого распределения битов таким образом, чтобы поддерживать сжатие, кодирование и разреженность, выгодные для аппаратного обеспечения (например, без умножения, со степенью сжатия). два веса). Такая возможность открывает пространство для дизайна для высокой производительности и эффективного искусственного интеллекта на периферии.

Таким образом, скрытый ИИ стремится демократизировать обучение ИИ для всех разработчиков, поддерживая новый рабочий процесс с учетом аппаратных целей. Мы начинаем разработку новых приложений с учетом надежного и эффективного периферийного ИИ. Ищите будущие платформы LEIP, которые включают поддержку гибкого логического вывода для интеграции всех принципов адаптивного ИИ.

Фото: Adobe Stock

[1] Параджули, С., Рагхаван, А., и Чай, С. (2018). Обобщенное тернарное соединение: сквозное обучение и сжатие глубоких нейронных сетей без умножения. Препринт arXiv arXiv: 1811.04985.