Искусственный интеллект существует с 1950-х годов, когда ученые и математики пришли к выводу, что хотят посмотреть, смогут ли они заставить машины думать как человек. С момента появления идеи об искусственном интеллекте технологии развивались постепенно, но постепенно в течение последних 70 лет. От первых компьютеров и даже электронных видеоигр с простой механикой искусственного интеллекта до чего-то вроде электронного калькулятора — они показали, насколько эффективнее машины выполняют определенные повторяющиеся задачи. В 90-х годах, с коммерциализацией Интернета и ростом числа пользователей компьютеров на рынке, инновации в технологии обработки, возглавляемые Intel и их архитектурой x86 для процессоров, начали расти в геометрической прогрессии. Рынок мобильных телефонов начал формироваться в конце 90-х, а на рубеже тысячелетий, в 2000-х, портативные компьютеры, ноутбуки и КПК показали, что потребители хотят, чтобы технологии всегда были у них на ладони. Инновации в мобильных вычислениях росли, и они действительно получили толчок, когда Apple выпустила первый iPhone в 2007 году. Потребность в энергоэффективном ЦП привела к более широкому внедрению архитектуры ARM, основанной на RISC (вычисления с сокращенным набором инструкций) по сравнению с с использованием более энергоемкого процессора x86 от Intel, основанного на CISC (Complex Instruction Set Computing). У каждой архитектуры есть свои плюсы и минусы, но мы можем оставить это для другой статьи, посвященной сравнению архитектур.

Графические процессоры (графические процессоры) также улучшились благодаря инновациям, поскольку игровой рынок с оборотом в миллиарды долларов привел к прогрессу в этой архитектуре, которая оказывает непосредственное влияние на ИИ. В 2020 году Nvidia наметила планы по развитию искусственного интеллекта для графических процессоров и является одним из технологических лидеров, выводящих искусственный интеллект на новый уровень. С приобретением Nvidia ARM и их акцентом на ИИ будущее для серверных и мобильных решений выглядит очень многообещающе. По сути, спустя 70 лет после появления ИИ вычислительная мощность аппаратной платформы значительно увеличилась. Это понимание дает нам указание на то, что в следующие 30 лет, которые составят половину времени, которое потребовалось нам, чтобы добраться до этой точки, мы можем увидеть экспоненциальный рост приложений ИИ, основанных на аппаратной архитектуре от компаний, работающих с периферийными устройствами.

Nvidia Grace — процессор на базе ARM для ускорения ИИ в HPC (объявлено на GTC21)

Важность типов данных

Когда мы говорим об ИИ, помимо аппаратного обеспечения, необходимого для работы этих ИИ-приложений, важным фактором являются данные. Чтобы понять, почему периферийные устройства являются катализаторами ускорения ИИ, мы должны сначала изучить, какие типы данных собираются и как это повлияет на будущее ИИ. Не путать со структурированными и неструктурированными типами данных как частью качественного типа данных в машинном обучении. Типы данных, которые мы изучаем, напрямую связаны с тем, как мы, люди, общаемся друг с другом. Есть только несколько сегментов, по которым мы можем классифицировать данные.

Первый тип данных связан с тем, как мы общаемся на письменном языке. Этот тип данных состоит из букв и цифр. Буквы можно комбинировать для формирования слов и текста, а числа можно упорядочивать для формирования такой информации, как номера телефонов и почтовые индексы. Основа из букв и цифр может предоставлять данные временных рядов, а также категориальные данные, которые повышают эффективность моделей машинного обучения и глубокого обучения. Этот первый тип данных очень распространен и часто упоминается как метаданные, извлекаемые в Интернете из приложений, документов, изображений, видео и других носителей данных. Когда вы получаете рекомендации от Amazon, то есть с помощью модели ИИ, анализируя свои покупательские привычки и несколько миллионов других покупателей, чтобы найти общие темы, которые приводят к рекомендациям продуктов, основанных на схожих покупательских привычках или профилях. Буквы и цифры являются важным компонентом данных, потому что с помощью этого типа данных мы можем создавать символические ссылки на данные и результаты, которые они предоставляют, преобразовывая и оживляя данные по мере их перехода в ценную информацию.

Как люди, мы также общаемся через слуховые датчики, которые позволяют нам интерпретировать информацию, поступающую от окружающей нас среды и от других людей. Второй тип данных относится к звукам или данным звуковой спектрограммы. Машинное обучение и глубокое обучение могут обрабатывать слуховые данные и классифицировать шаблоны для получения значимых результатов. В конце 90-х программное обеспечение для диктовки начало обещать прослушивание и понимание речи с помощью таких программ, как Naturally Speaking от Dragon. Хотя это и не идеально, аудиомодели ИИ значительно улучшились благодаря коммерческим инициативам в службах распознавания речи, таких как Alexa, Google Assistant, Cortana и Siri. Обработка естественного языка или NPL выиграла от продуктов с лучшими микрофонами и динамиками, а также от внедрения этих услуг в коммерческой перспективе, которая открыла больше данных для доступа и уточнения. Аудиальные данные также показали значительное улучшение общественной безопасности благодаря приложениям машинного обучения, используемым для обнаружения выстрелов и агрессии со стороны людей. Благодаря глубокому обучению больше различий и вариаций в звуковых спектрограммах приводит к более конкретному звуковому профилю для уникальных паттернов, которые человеческое ухо не может различить. С другими слуховыми технологиями, такими как сонар, где звук используется для визуализации сцены, использование ИИ резко повышает эффективность сонара до высокой степени повторной визуализации сцены с большей детализацией.

Это приводит нас к последнему и окончательному типу данных, который имеет решающее значение для развития ИИ. Как люди, мы используем визуальные подсказки, чтобы анализировать, интерпретировать, реагировать и ориентироваться в окружающей среде в нашей повседневной жизни. Машины делают это с помощью изображений и видео. Машины, часто называемые компьютерным зрением, используют датчики для захвата данных со сцены и преобразования этих данных в визуальный формат. Многие люди сосредоточатся только на камере, ее объективе и датчике изображения, но для машин они могут визуализировать сцену большим количеством способов, чем человек. Визуальные датчики — не единственные данные, которые могут реконструировать сцену. Ранее мы упоминали о сонарных датчиках, использующих звук для реконструкции сцены. Существуют также тепловые датчики, радарные датчики, лидарные датчики, ИК (инфракрасные) датчики и беспроводные радиодатчики, и это лишь некоторые из них, которые могут собирать данные о сцене и реконструировать их для представления физического объекта в окружающей среде. Красивая картинка или видео, которые мы видим с наших камер, являются частью процесса кодирования, который выполняется с необработанными данными, чтобы представить их в виде информации, которую мы, люди, можем интерпретировать. Процесс кодирования необработанных данных фактически уничтожает данные для формирования нового набора данных, в результате чего получается красивое изображение, которое мы можем видеть, чтобы понять сцену. По этой причине файлы необработанных данных больше по размеру, чем сжатое изображение JPEG или видео H.264.

Само устройство имеет гораздо более широкий доступ к необработанным данным, которые предоставляют информацию о сцене, которая часто является более сложной, чем то, что мы можем понять. Хотя это может быть неочевидно, когда вы смотрите на видеоаналитику, которая не работает на 100% точно по сравнению с тем, что человек может определить в той же сцене, есть преимущества в том, что машина может делать лучше, чем человек, а затем есть сценарии. где люди будут работать лучше, чем машины. Каждое приложение по-своему уникально и специфично, и мы должны понимать, когда использовать ИИ, когда это уместно. Если мы возьмем, что устройства могут делать с компьютерным зрением, и добавим машинное обучение и все его подмножества глубокого обучения и нейронных сетей, результаты станут более точным представлением того, как мы, люди, классифицируем объекты на сцене. Корреляция данных компьютерного зрения с методами машинного обучения приводит к более символическому представлению данных в ценную информацию, которую могут извлекать и усваивать как компьютеры, так и люди.

Рост подключенных интеллектуальных периферийных устройств

Теперь, когда основные типы данных изучены и понимание того, насколько ценен каждый тип данных для структуры ИИ, периферийные устройства станут катализатором ускорения ИИ, поскольку они являются сборщиками этих типов данных в их самой чистой форме. до того, как данные будут изменены, модифицированы, уничтожены и сжаты. Поскольку многие устройства переходят из аналогового мира в цифровой мир, количество умных устройств в обществе увеличивается на миллиарды. Дни тупых датчиков уходят. В следующем десятилетии с 2020 по 2030 год мы увидим больше подключенных устройств, чем мы можем себе представить. Существует причина, по которой происходит переход от IPV4 к IPV6, и это связано с увеличением количества периферийных устройств, подключенных к сети. От интеллектуальных замков, освещения, выключателей, безрезервуарных водонагревателей, газовых и электрических счетчиков до любого электронного устройства, состоящего из процессора, памяти и сетевого подключения. Рост периферийных устройств станет ведущим фактором ускорения и внедрения ИИ.

Но не все периферийные устройства одинаковы. Некоторые периферийные устройства специально созданы для выполнения одной задачи, а у других будет дополнительный запас для выполнения большего количества задач или функций. Устройства с настраиваемой AISC (интегральной схемой для конкретных приложений) обеспечат преимущества на периферии по сравнению с использованием базового процессора, который широко доступен в продаже. Благодаря ИИ многие аппаратные архитектуры на периферии, реализующие дизайн ASIC для машинного обучения (ML) или глубокого обучения (DL), обеспечат более высокую производительность и эффективность. По мере того, как искусственный интеллект становится все более популярным, появляется множество проектов с открытым исходным кодом, которые стимулируют рост периферийной обработки, а также проприетарные технологии, которые предлагают явное преимущество для периферийных устройств. Tensor Processing Unit или TPU от Google — это ASIC-ускоритель ИИ, который был разработан специально для машинного обучения нейронных сетей в 2015 году. В 2018 году Google открыл доступ к лицензированию TPU для третьих сторон, чтобы еще больше ускорить внедрение ИИ на периферии. Их Edge TPU был разработан с учетом низкого энергопотребления 2 Вт по сравнению с их серверным TPU. Edge TPU в его текущем поколении может обрабатывать 4 триллиона операций в секунду и предлагает альтернативу машинному обучению с ускорением на GPU, которое для многих периферийных устройств было ограничено физическим размером и энергопотреблением устройств.

Доска для разработки Google Edge TPU.

Хотя такие компании, как Nvidia, рекламируют свои графические процессоры как отличные решения для ИИ, машинного обучения и глубокого обучения, это решение для ИИ поможет в обучении и построении моделей. Будущее аппаратного обеспечения с ускорением ИИ будет за архитектурой ASIC, особенно в коммерческой пограничной обработке, к которой относятся многие устройства. Хотя графические процессоры предлагают параллельную обработку с тысячами вычислительных блоков, которые могут выполнять различные алгоритмы по сравнению с процессором x86, архитектура ASIC может быть спроектирована так, чтобы делать что-то конкретное и очень хорошо, даже если она обрабатывает меньший набор вычислений. В случае ИИ умножение матриц является ключевым, и многие ASIC, разработанные для ИИ, такие как TPU Google, по сути являются ускорителями матричного умножения. Это было ясно продемонстрировано архитектурой Google TPU и тем, насколько она более эффективна при обработке моделей машинного обучения нейронных сетей по сравнению с графическим процессором. Сегодня многие графические процессоры Nvidia имеют встроенные тензорные ядра, чтобы разгрузить эти дополнительные вычислительные потребности. Наряду с усовершенствованием аппаратного обеспечения, фреймворки ИИ в программном обеспечении имеют различные варианты выбора. Наиболее распространенными платформами для ИИ являются TensorFlow, Torch, Keras и Caffe. Результаты использования этих различных сред ИИ вместе с компонентами ИИ с аппаратным ускорением будут различаться от модели к модели. Всегда существует баланс энергопотребления, производительности, совместимости программного обеспечения, форм-фактора, масштаба и стоимости. Производители устройств часто отдают приоритет этим факторам, поскольку многие из этих периферийных устройств работают круглосуточно и без выходных в течение многих лет, прежде чем их заменят. Типичный жизненный цикл 3–5+ лет.

Для многих производителей периферийных устройств баланс затрат и того, что конкретно можно сделать для повышения производительности с помощью ИИ на их устройствах, может привести к тому, что продукт будет готов сейчас, который соответствует бизнес-плану, или отложить выпуск продукта, чтобы обеспечить более высокую производительность и преимущества, когда аппаратное обеспечение может поддерживать программное обеспечение или приложение. Благодаря большому количеству вариантов в рамках ИИ, совместимость и эффективность являются ключевыми компонентами, которые производитель устройств будет оценивать в процессе принятия решения. Многие распространенные архитектуры ASIC могут обеспечить некоторую реализацию ИИ, но обычно более эффективными являются те, которые используют ASIC, специально предназначенный для различных сред ИИ, машинного обучения и глубокого обучения. ИИ требует больших вычислительных мощностей, и именно поэтому такие компании, как Google, Microsoft и Amazon, вкладывают средства в ресурсы, связанные с ИИ, как часть своих облачных сервисов. Их серверное облачное решение для искусственного интеллекта может обрабатывать больше данных в больших количествах, а благодаря своей вычислительной мощности они очень эффективны и предлагают платформу, способную справляться с разнообразным набором рабочих нагрузок для обучающих машин и моделей глубокого обучения. Nvidia не только повышает производительность облачных вычислений на базе серверов в корпоративном пространстве, но и объединяет облачные решения с тем, что можно сделать с помощью локального высокопроизводительного компьютера (HPC). Имея в продаже графические карты с тензорными ядрами, Nvidia предоставляет организациям более экономичный способ внедрения ИИ в качестве средства улучшения бизнес-операций и эффективности. Инвестиции Intel в несколько платформ FPGA (Field Programmable Gate Arrays), таких как их оптимизированная для ИИ Stratix 10 NX FPGA, возвращают платформу, которая уступила графическим процессорам и архитектурам ASIC в вычислениях ИИ.

Платформа Intel FPGA AI предоставляет разработчикам гибкость, позволяющую быстро настраивать, реконфигурировать и адаптироваться к изменениям в ускорении ИИ в зависимости от потребностей приложений, а также позволяет создавать очень дифференцированные устройства. Улучшения с малой задержкой и обработка изображений и видео в реальном времени являются дополнительным повышением производительности в дизайне этой платформы, оптимизированной для искусственного интеллекта. Intel также вложила средства в внедрение аппаратных платформ, оптимизированных для ИИ, на периферийных устройствах в своих процессорах Movidius Vision или VPU.

Пограничные устройства — это последнее звено, соединяющее данные на пути приема, оценки, организации, обработки и выполнения обещаний, которых может достичь ИИ. Стоимость периферийных устройств меньше, чем HPC, а вычислительные возможности растут экспоненциально из года в год. Производители периферийных устройств, которые тратят время на разработку аппаратной платформы, которая не только реализует свои собственные функции и сервисы, но и включает в себя элемент ИИ, смогут лучше использовать свое положение сборщика данных. В этот период трансформации ИИ важность периферийных устройств все еще формируется. Один из факторов, который становится очевидным для сообщества ИИ, заключается в том, что перенос определенных функций ИИ на периферию значительно сократит задержку и повысит производительность и точность. Благодаря тому, что многие периферийные устройства используют архитектуру ARM для обработки ЦП и ГП из-за ее низкого энергопотребления и экономической эффективности, многие элементы ИИ уже могут быть перенесены на ЦП или ГП в зависимости от их рабочих частот. ASIC, предназначенный только для ИИ, может иметь коэффициент до десяти по сравнению с использованием ЦП или графического процессора для запуска машины или модели глубокого обучения. Улучшения в использовании выделенной ASIC совершенно очевидны, и многие периферийные устройства используют подход к архитектуре ASIC.

Усовершенствованные методы глубокого обучения для ускорения обработки краев

Многие исследователи ИИ также доказали и внедрили специальные ускорители ИИ, ориентированные на функции CNN и RNN. Для визуальных данных CNN или сверточные нейронные сети являются ключевым методом улучшения обнаружения и классификации объектов. Комбинация компьютерного зрения и CNN дала отличные результаты в эффективности и прогнозировании объектов по изображениям и видео. RNN (рекуррентные нейронные сети) и LSTM (длинная кратковременная память) часто использовались в NPL для уточнения моделей прогнозирования речи и текста. Чтобы еще больше улучшить обработку краев, новые методологии объединения методов CNN и RNN в изображениях и видео доказали свою лучшую эффективность и прогнозы. Преимущества фактического отслеживания объекта могут быть улучшены с использованием методов RNN в сочетании с CNN для отслеживания объекта после его идентификации. Именно здесь ASIC, специально спроектированный как ускоритель ИИ, может ориентироваться на методы RNN, что приводит к лучшему обнаружению, идентификации и отслеживанию конкретного объекта в сцене по сравнению с моделью, которая просто использует CNN для обнаружения объектов. FPGA (программируемые вентильные матрицы) также обеспечивают ускорение искусственного интеллекта и дополнительную гибкость. Поскольку глубокое обучение все еще развивается вместе с методами нейронных сетей, аппаратное обеспечение на основе FPGA может учитывать изменения в структуре ИИ и часто облегчает развитие аппаратного обеспечения для адаптации к этим изменениям. Изменения в ускорении ИИ в RNN, как упоминалось ранее, можно изучить с помощью FPGA, чтобы сравнить результаты с другими архитектурами. Независимо от того, используют ли периферийные устройства FPGA, GPU или ASIC для ускорения ИИ, архитектура для периферийной обработки с каждым годом расширяется в геометрической прогрессии. Программная среда также играет огромную роль в использовании возможностей этих аппаратно-зависимых платформ искусственного интеллекта. Это может оказаться очень полезным, поскольку обнаружение, идентификация и классификация могут повлиять на производительность приложения ИИ. Многие приложения могут извлечь выгоду из сочетания периферийных, локальных и облачных сервисов в полном стеке ИИ. Распределение стоимости в гибридной модели может обеспечить будущую масштабируемость по мере развития технологии ИИ как в аппаратном, так и в программном обеспечении.

Еще одним фактором, который может значительно улучшить ИИ с периферийных устройств, являются метаданные, идентифицируемые на уровне датчиков. Часто называется «доступ к металлу». Это идентификация, классификация и кластеризация метаданных в необработанном виде до того, как данные будут закодированы или сжаты в окончательный формат для представления. Доступ к несжатым данным на периферии является привлекательным аспектом того, почему в стеке ИИ основное внимание уделяется периферийным устройствам. Для визуальных данных в компьютерном зрении это могут быть цвета объектов, формы и группы или кластеры объектов. Метаданные из визуальных типов данных могут быть получены моделью машинного обучения нейронной сети вместо закодированного сжатого изображения или видео, которое удаляет ценную информацию или детали. Метаданные предлагают более богатые функции, которые модель машинного обучения нейронной сети может идентифицировать и уменьшить задержку и время выполнения, поскольку набор данных является более точным. Для визуальных данных большинство машинных моделей или моделей глубокого обучения должны обрабатывать тысячи или миллионы изображений, чтобы определить классификацию или прогноз.

Не существует реального способа измерить качество данных, и доступ к данным, которые не были модифицированы или изменены, часто приводит к лучшим результатам. Это также хорошо перетекает в общую фразу в разработке программного обеспечения, которая также применима к ИИ и анализируемым данным. Фраза «мусор в мусоре наружу» относится к ИИ и данным, собираемым для машинного обучения, и всему его подмножеству. Всем нужно много данных, но какой в ​​этом смысл, если эти данные нельзя использовать. Для визуальных данных и любых других типов данных качество данных обеспечит гораздо лучшую производительность модели. Пригодные для использования изображения, аудио и данные датчиков будут иметь решающее значение в процессе машинного обучения и глубокого обучения. Поскольку люди собирают данные для построения модели машинного обучения, мы должны правильно оценивать данные, которые используем. Для визуальных данных четкий беспрепятственный обзор сцены с адекватным освещением важнее, чем изображение сцены с высоким разрешением, которое не предлагает контекста, если освещение плохое. Приглушенные аудиоданные с высоким битрейтом не являются отличной заменой четкому аудиоклипу с более низким битрейтом или частотой. Температурный датчик с запасом точности в 1 градус намного лучше, чем датчик с запасом точности в диапазоне 5–8 градусов. Все это важные факторы при работе с периферийными устройствами. Не все камеры, датчики температуры, химические датчики, радары, лидары, микрофоны и другие устройства можно сравнить с яблоками. Качественные периферийные устройства, как правило, обеспечивают более высокую эффективность и точность при сборе данных или выполнении логических выводов на периферии. Технические характеристики не соответствуют реальному использованию этих устройств. Тестирование и сравнение их в вашей собственной среде — лучший способ оценить, какое периферийное устройство будет работать на вашем уровне ожиданий.

Creative Chaos потребует стандартизации ИИ

Творческий хаос в периферийных устройствах приведет к доступу к большему количеству данных из-за экспоненциального роста этих устройств на рынке, но нам также нужно будет перемещаться по нерелевантным устройствам, которые не представляют ценности для собираемых данных из-за производительности. и вопросы качества. Несмотря на то, что периферийные устройства будут платными воротами для всех данных, собираемых с различных датчиков, в сообществе ИИ сохраняется более серьезная проблема. Эта проблема заключается в стандартизации структуры данных и в том, как наилучшим образом организовать наборы данных, чтобы каждый мог следовать и использовать их. Многие производители разработали свои собственные инструменты или API для доступа и обработки необработанных или сжатых данных. С такими группами, как NIST, которые создали рамки для кибербезопасности для организаций, или для консорциума WiFi, который устанавливает стандарты для использования и безопасности беспроводной сети, сообществу ИИ необходимо создать рабочую группу лидеров государственного и частного секторов для разработки глобального стандарта для ИИ. и как этично использовать эту технологию.

В нерегулируемой стране, такой как Китай, где нет законов о конфиденциальности, мы видим, что Китай лидирует в исследованиях и разработках в области ИИ, но то, как они этого добились, является тем, что многие страны не имеют юридической силы для выполнения. Чтобы заставить другие страны следовать правилам, потребуется большое количество частных компаний и государственных правительств, чтобы разработать глобальный стандарт, которому должны следовать все, кто хочет играть за столом ИИ со всеми остальными. Это то, что не произойдет в одночасье, но я видел значительный прогресс со Всемирным экономическим форумом и созданием группы для изучения этического использования ИИ. ИИ — это мощный технологический инструмент, а не решение, которое откроет новые возможности, которые повлияют на все сектора бизнеса, как частного, так и государственного. При правильном этичном использовании технологии она принесет много положительных результатов обществу и каждому отдельному человеку, которого она касается.

Мы не на том этапе, когда ИИ часто изображают в фильмах. Скайнет все еще далек от достижения. Современные достижения в области искусственного интеллекта могут показаться такими, как будто мы находимся на уровне Skynet, но на самом деле многие решения для искусственного интеллекта представляют собой узкие решения для искусственного интеллекта, которые действительно хорошо справляются только с определенными задачами. Успешное использование ИИ сегодня часто требует большого количества человеческих взаимодействий, чтобы заставить его работать. ИИ — это не то автономное живое существо, которое принимает собственные решения. Есть много факторов, которые будут способствовать революции ИИ вперед, но в эту золотую эру ИИ периферийные устройства будут играть одну из главных ролей в этом процессе, потому что это первый контакт с данными. Устройства на базе Edge — это острие копья, которое позволит ИИ прорваться так, как многие ученые и математики предполагали еще в 1950-х годах, когда зарождался ИИ.