Цикл хайпа Gartner в области искусственного интеллекта — Прошел срок… И вступаем ли мы в классическую зиму машинного обучения?

Цикл ажиотажа Gartner в отношении искусственного интеллекта уже давно прошел — и вступаем ли мы в классическую зиму машинного обучения?

Глядя на цикл хайпа искусственного интеллекта по версии Gartner в 2023 году, можно прийти только к одному выводу: сам цикл хайпа достиг своего «пика завышенных ожиданий» и уже давно прошел свой срок.

Те, кто меня знает, также знают, что я НЕ большой поклонник Gartner Hype Cycles. Или магические квадранты Gartner. Или Forrester Waves, если уж на то пошло…

Реальность такова, что в отслеживании «технологий» Gartner не хватает многих основополагающих, преобразующих технологий. То, что отслеживает Gartner, соотносится с экосистемой технологий поставщиков и решениями, которые покупают ИТ-организации.

Как заметил Том Гудвин, почти каждая по-настоящему преобразующая технология никогда не отслеживалась циклом хайпа. Вот несколько примеров: Wi-Fi, смартфон, чипы GPS, App Store, Web 2.0, API и т. д.

Почти ни одна технология на самом деле не следует по пути хайп-цикла.

В романе Эрнста Хемингуэя есть отрывок, в котором персонажа по имени Майк спрашивают, как он обанкротился. «Два пути», — отвечает он. «Постепенно, потом внезапно». Технологические изменения происходят примерно таким же образом. Это НИЧЕГО не похоже на кривую хайпа. То, что что-то разрекламировано, на самом деле ничего не значит.

Технологии, отслеживаемые с помощью цикла хайпа, как правило, отражают разрозненность ИТ сегодня, а также те группы населения, которые обслуживает Gartner. Во многом из-за этого в отчетах Gartner не видно лесов за деревьями.

Если мы посмотрим ниже на последний цикл хайпа в области искусственного интеллекта от Gartner, то сделаем вывод, что мы, например, на пике завышенных ожиданий от генеративного ИИ и базовых моделей не требуется многого. На самом деле, для этого не требуется ничего другого, кроме как посмотреть, например. Стоимость акций NVIDIA.

Я испытываю огромное уважение к NVIDIA и Дженсену Хуангу, но, как недавно заметил «декан оценки — Асват Дамодаран» –, даже если взглянуть на самые щедрые оценки размера рынка ИИ-чипов на 2033 год. (что составило бы 350 миллиардов долларов по сравнению с сегодняшними 25 миллиардами долларов) и обеспечив NVIDIA 100% долю рынка, он все равно не смог бы достичь цены акций NVIDIA до 400 долларов за десять лет (сегодняшняя цена акций составляет 485 долларов).

Таким образом, чтобы покупка акций NVIDIA имела смысл, вам придется оценить другой рынок, такой же большой, как рынок искусственного интеллекта, на который NVIDIA может выйти.

Нетрудно сделать вывод, что мы находимся на «пике завышенных ожиданий», когда дело касается генеративного ИИ и LLM (и, ИМХО, этот анализ не кажется очень интеллектуально стимулирующим).

Мы находимся в середине зимы «классического ML»?

Когда дело доходит до цикла ажиотажа в области искусственного интеллекта, который Gartner (естественно) вообще не обсуждает, это то, что мы переживаем классическую ML (без LLM/генеративного искусственного интеллекта) зиму. Как подчеркнул Альберто Ромеро Гарсиа, ChatGPT — это лучшее и худшее, что когда-либо случалось с ИИ. Он подтолкнул AI/ML к массам, дал более глубокое понимание лежащей в основе технологии, ее сильных и слабых сторон, доступ к моделям, конкуренции и т. д.: https://lnkd.in/dYWPBeDP

Однако, когда люди говорят о нынешних «беспрецедентных темпах прогресса ИИ», они путают то, что происходит на уровне производства, с исследованиями и разработками, которые почти остановились.

Как выразился Франсуа Шолле из Google (которого вряд ли можно обвинить в антихайпе): «Удивительно, что ограничения глубокого обучения остались прежними с 2017 года. Те же проблемы, те же способы сбоя, никакого прогресса».

Давайте иметь в виду, что не все связано с генеративным искусственным интеллектом или LLM. Цитирую Галину: Когда смотришь на LinkedIn, создается ощущение, что в ажиотажном цикле сейчас доминируют LLM.

Изображение ниже взято из недавней презентации Эндрю Нга (человека, который не расхваливает искусственный интеллект, но придерживается к нему прагматичного подхода, ориентированного на данные).

Темные внутренние круги представляют «сегодня», тогда как более светлые внешние круги представляют его прогнозы «через 3 года». Пока мы находимся в разгаре ажиотажа вокруг генеративного искусственного интеллекта и LLM, давайте не будем забывать старое доброе машинное обучение.

В 2018 году я участвовал в параллельном проекте, в котором мы сравнивали производительность XGBoost и глубоких нейронных сетей для сценариев использования прогнозного машинного обучения с табличными данными. Тогда XGBoost работал лучше, чем любой метод глубокого обучения, с более высокой эффективностью.

В статье от 22 июля 2019 года, в которой рассматривались 45 наборов данных среднего размера, было обнаружено, что древовидные модели (XGBoost и случайные леса) по-прежнему превосходят глубокие нейронные сети на табличных наборах данных. Найдите бумагу здесь.

Исследование 21 июня пришло к выводу, что, хотя в использовании моделей глубокого обучения для табличных данных был достигнут значительный прогресс, они все еще не превосходят XGBoost, и необходимы дальнейшие исследования. Во многих случаях модели глубокого обучения работают хуже с невидимыми наборами данных. Модель XGBoost в целом превзошла по производительности глубокие модели.

Несмотря на инновации в продуктах и ​​бизнес-моделях в области генеративного ИИ, большая часть реальной рентабельности инвестиций по-прежнему стабильно концентрируется вокруг прогнозного ИИ/МО, часто с использованием табличных наборов данных и древовидных методов, таких как XGBoost или Random Forest. Вы можете прочитать больше об этих методах, например. "здесь".

Правда в том, что не все сводится к созданию текста или изображений. Реальная правда заключается в том, что многие ценные AI/ML по-прежнему будут прогнозировать, используя наборы табличных данных. Как отмечает Томми, большинство сценариев использования искусственного интеллекта и машинного обучения в бизнесе выполняются с использованием собственных табличных бизнес-данных.

Александр Ратнер в начале этого года предсказал, что разрыв между генеративным и предиктивным AI/ML будет увеличиваться. Как подчеркнул Александр, достижение производительности, необходимой для развертывания прогнозного искусственного интеллекта и машинного обучения, требует маркировки (и повторной маркировки) обучающих данных для каждой задачи и настройки. Создание прогнозных моделей ИИ/МО на основе генеративных ИИ/фундаментальных моделей поможет, но не решит проблему: фундаменты — это всего лишь фундаменты: https://lnkd.in/db5Aq9WB

Из-за этого пробела в данных Александр предсказал, что прогнозирующий ИИ/МО, похоже, застрянет, в то время как генеративный ИИ ускорится в 2023 году. Большинство ценных ИИ по-прежнему будут прогнозирующими, поэтому возникнут серьезные разочарования по поводу рентабельности инвестиций в ИИ/МО.

Все дело в данных (и знаниях)

Сосредоточьтесь на качестве данных: именно здесь вы получите наиболее значительное преимущество. Это также верно, когда речь идет о базовых моделях и особенно LLM, а не только о «классическом машинном обучении».

Эндрю Нг начал выступать в защиту ИИ, ориентированного на данные, в начале 2021 года, но уже давно общеизвестным секретом является то, что данные, а не модель как таковая, являются секретным соусом, когда дело доходит до ИИ/МО, включая LLM.

Позвольте мне рассказать вам небольшую забавную историю о моделях большого языка, начавшуюся в 2007 году.

16 лет назад, в 2007 году, исследователи Google опубликовали статью о классе статистических языковых моделей, которые они назвали большими языковыми моделями, которые, по их словам, достигли нового уровня производительности. Они использовали очень стандартную модель и настолько простой алгоритм декодирования, что назвали его Глупый откат: https://lnkd.in/dnspsx2B

Ключевое отличие здесь? Они обучили его на 100-кратном объеме данных.

Более качественные данные почти всегда оказывают большее влияние, чем более сложные модели или алгоритмы в AI/ML… И тем не менее, разработка данных всегда, условно говоря, недостаточно поддерживалась. Google фактически опубликовал в 2021 году исследовательскую работу «Все хотят работать с моделями, а не с данными».

В статье команда Google пришла к выводу, что, как это ни парадоксально, данные являются наиболее недооцененным и обесславленным аспектом машинного обучения, рассматриваемым как «оперативный» по сравнению с превозносимой работой по созданию новых моделей и алгоритмов. Разработчики и инженеры искусственного интеллекта и машинного обучения понимают, что качество данных имеет значение, и часто тратят слишком много времени на задачи, связанные с данными, НО тем не менее большинству организаций не удается создать или удовлетворить какие-либо стандарты качества данных из-за недооценки работы с данными по сравнению с разработкой моделей.

Я написал в посте на Medium в начале 21 года (который вы можете найти здесь) следующее:

«Поскольку мы начали дистанцироваться от ажиотажа вокруг искусственного интеллекта, который достиг своего пика в конце 2010-х годов, современные компании понимают, что их модели машинного обучения никогда не были их интеллектуальной собственностью; это их данные и, следовательно, то, как они обеспечивают качество данных постоянно и в режиме реального времени. Один из самых сокровенных «секретов» повышения производительности моделей — это высококачественные данные».

Это по-прежнему справедливо для сегодняшних моделей Foundation и LLM. Как подчеркивается, например, Чад, LLM не сможет масштабироваться без инвестиций в базовую архитектуру и качество данных. Ни одна модель не может волшебным образом преодолеть многолетний технологический долг в своих обучающих данных.

Помещать ChatGPT поверх болота данных — ужасающая идея. LLM не могут волшебным образом извлечь контекст из ничего.

Базы данных, документации и знаний станут ключевым рвом и конкурентным преимуществом в эту новую эпоху. Базы знаний так же важны для прогресса ИИ, как базовые модели и LLM.

На рынке LLM прямо сейчас наблюдаются следующие динамики (среди многих других): прочный ров — это данные, а последняя миля создает реальную ценность.

Чтобы конкурировать, убедитесь, что ваша документация и базы знаний являются лучшими на планете. Когда дело доходит до знаний, вы хотите иметь возможность хранить их как можно больше и иметь возможность найти нужную часть знаний в нужное время. Например, LLM обычно делается с помощью базы данных векторов.

нам еще рано

Прежде всего, я не рассматриваю базовые модели/LLM и «классическое машинное обучение» как бинарный предмет. Большинство компаний успешно используют как подходы, так и архитектурные варианты в зависимости от сценариев использования.

Но бинарно то, что мы все еще находимся на ранних стадиях эффективного использования LLM, хотя базовая архитектура Transfomer существует уже почти 6 лет.

Как отметил Рафаэль Мансуи, продуманное проектирование и архитектура систем имеют решающее значение для создания надежных, безопасных и масштабируемых приложений LLM.

Как упоминалось в этом сообщении в блоге Unusual Ventures, часть процесса создания приложений на основе LLM включает в себя подачу в языковую модель соответствующего контекста (т. е. связанных документов, результатов поиска Google). Этот контекст особенно важен для предотвращения галлюцинаций LLM — предоставляя хороший контекст (т. е. данные и знания), модель будет извлекать правильную информацию из документов, а не выдумывать ее. По сути, это сводится к предоставлению LLM памяти — чего по умолчанию нет в моделях текущего поколения.‍

Один из наиболее эффективных способов найти соответствующий контекст — это поиск документов, семантически похожих на задачу, которую вы хотите решить. Важной особенностью LLM являются их возможности внедрения — плотные представления языка, содержащие семантическую информацию. Как упоминалось ранее, векторные базы данных стали (на данный момент) наиболее очевидным и эффективным способом поиска похожих документов за счет возможности поиска по сходству при внедрении LLM.

Но мы находимся на заре экспериментов с LLM. И начать работу с LLM в некоторой степени проще, чем начать с последней волны ML (при условии, что вы не создаете свою собственную языковую модель с несколькими миллиардами или триллионами параметров с нуля).

Так что же самое простое при создании приложений LLM? Чаще всего самая простая часть — это сама LLM.

Программы LLM привели тысячи инженеров-программистов в мир искусственного интеллекта и машинного обучения. Очень интересная тенденция, которая во многом коррелирует с растущей популярностью базовых моделей и программ LLM, — это появление инженеров-программистов как новой личности в сфере искусственного интеллекта и машинного обучения. Это происходит главным образом потому, что базовые модели снижают барьер для построения моделей ML и представляют собой более высокий уровень абстракции. Впоследствии мы впервые видим, как разработчики программного обеспечения становятся частью процесса разработки ML.

Вот забавная и интересная статья Джозефа Гонсалеса и Викрама Сикранти о стеке LLM и о том, почему так сложно создавать приложения LLM (подсказка: это не LLM).

Хорошие методы проектирования данных и программного обеспечения по-прежнему очень важны для предоставления экономичных и надежных услуг в больших масштабах — помимо некоторых прототипов, работающих на ноутбуке. И это очень верно для LLM (или любых приложений генеративного искусственного интеллекта), если уж на то пошло!

Изображение ниже взято из этой статьи Кристал Лю, в которой объясняется процесс обучения LLM, от предварительного обучения до тонкой настройки и RLHF, а также инструментов LLMOps (только для моделей):

НО самое главное: программы LLM или генеративный искусственный интеллект для бизнеса не будут работать, если базовые данные, которые они используют, не заслуживают доверия.

Последние мысли

Эрик Шварц недавно написал об опросе генеральных директоров IBM, который показал, что две трети из них испытывают давление со стороны своих советов с целью внедрения генеративного ИИ:

Почти столько же ощущали аналогичное давление со стороны инвесторов, и почти половина заявили, что клиенты спрашивали их об их планах.

Многое из этого взято из старого доброго FoMo, где, например. инвесторы и члены совета директоров вообще не думают о том, например. основы данных, качество данных, передовые методы проектирования данных, масштабируемая инфраструктура данных. Они просто хотят прыгнуть в поезд ради этого и упомянуть об этом в пресс-релизе, чтобы повысить уверенность рынка в том, что они «на вершине успеха». И это даже в том случае, когда с точки зрения краткосрочной выгоды организации, которые они представляют или в которые они инвестировали, должны больше сосредоточиться на передовых практиках обработки данных и использовать *Классическое машинное обучение* для наборов табличных данных, которыми они уже обладают. Не бросайте все остальное и просто сосредоточьтесь на генеративном искусственном интеллекте и магистратуре. Еще раз: это не двоично, вы можете сделать и то, и другое.

Если у вас есть только молоток, все выглядит как гвоздь — это сейчас хорошо видно с помощью генеративного ИИ.

В конце концов, сосредоточьтесь на данных, и ваши проекты AI/ML будут процветать, включая проекты LLM. Согласно последнему циклу хайпа вокруг искусственного интеллекта Gartner, у дата-центричного искусственного интеллекта появился «инновационный триггер». Я могу сказать это, имея почти десятилетний опыт работы в индустрии искусственного интеллекта и машинного обучения: это всегда было фактом, но по мере того, как модели машинного обучения становятся все более коммерциализированными (включая базовые модели и LLM), ориентированный на данные искусственный интеллект, возможно, приобрел «реальность». Курок'?

Самое сложное при создании или реализации приложений на основе LLM — это не сам LLM, а данные и «все остальное», например: развертывание его в облаке, доступ к нужным данным, отслеживание входных и выходных данных и т. д.! И во многих случаях использования *Классическое машинное обучение* по-прежнему остается подходящим вариантом, особенно для сценариев прогнозного использования с табличными данными.

Помните об этом, когда в следующий раз будете планировать свою стратегию AI/ML.

Когда дело доходит до цикла хайпа, давайте просто признаем, что все модели неверны (или, может быть, правильнее будет сказать, что «ни одна не идеальна») и ни одна не может идеально смоделировать будущее. Тем не менее, некоторые из них полезны, чего нельзя сказать о цикле хайпа Gartner. Это просто бесполезное, неправильное и бесполезное представление, которое не играет никакой значимой роли в современном технологическом ландшафте.

Лучший способ оценить технологию — подумать о проблемах, которые она решает, а также о возможности ее внедрения и масштабе ее воздействия.

Не шумиха или какие-либо циклы этого.