За последние десять лет совокупная угроза со стороны вновь прибывших разрушителей цифрового рынка оказалась достаточно серьезной, чтобы столкнуть с обрыва некоторых крупных игроков и привести к серьезным потерям доходов для многих других.

Перед крупными игроками стоит задача «сделай или умри», которая сейчас растет в геометрической прогрессии: воспроизвести секрет успеха этих маленьких врагов: маневренность и улучшенный ИИ Цифровые технологии.

Искусственный интеллект (ИИ) и его вундеркинд, Машинное обучение (МО), стали решающим фактором конкурентоспособности и актуальности во многих секторах рынка, масштабы которых постоянно расширяются. С ускорением государственных расходов на проекты ОД — для создания и продвижения интеллектуальных государственных услуг — мы теперь наблюдаем, как проекты ОД определяются и внедряются в государственном секторе ускоренными темпами.

Хотя статистика показывает, что почти 70 % организаций уже используют машинное обучение на том или ином уровне, а 97 % собираются использовать машинное обучение в течение следующих трех лет, примерно более 85 % проектов машинного обучения не завершаются или в конечном итоге приносить пользу, что приводит к финансовым потерям в десятки миллиардов долларов и миллионам потраченных впустую часов экспертов каждый год, и ожидается, что эта тенденция сохранится до 2022 года!

Есть много предсказуемых — и предотвратимых — ошибок, которые могут привести к провалу проектов машинного обучения. Это простые ошибки с высокой ценой, которые не только нанесут финансовый и моральный ущерб командам, но и помешают их усилиям по сохранению своего рыночного положения в чрезвычайно конкурентной среде, которую сильно бомбардируют цифровые новаторы.

Основываясь на своем опыте и наблюдении за проектами машинного обучения за последние несколько лет, я хотел бы поделиться следующими советами о том, как добиться успеха в проектах машинного обучения на корпоративном уровне:

1. Данные — это родословная, и с ними следует обращаться соответствующим образом

Есть известная цитата, приписываемая Наполеону, которая гласит: «Армия марширует на животе». Я хотел бы перенести эти цитаты в 21-й век, сказав: «A Проект машинного обучения движется по конвейеру данных!»

Ваш проект машинного обучения, а затем обслуживание вашей модели машинного обучения в производственной среде, должен иметь доступ к доступным, обильным, актуальным и качественным данным, и вам нужна должным образом структурированная стратегия данных, чтобы обеспечить ее бесперебойную работу.

Поскольку тело может быть здоровым настолько, насколько кровь течет по его венам, проект машинного обучения или продукт, находящийся в эксплуатации, отражает качество данных, с которыми оно обучается.

Данные могут иметь множество проблем, когда они поступают к вам на порог. Если качество данных низкое, это отнимет драгоценное время и бюджет у ваших команд машинного обучения, чтобы довести их до необходимого качества путем очистки, обогащения и форматирования.

Проблемы с данными также могут включать различные предвзятости из-за ряда проблем со сбором и выборкой, которые не только приведут к неточным результатам, но и будут незаконными в использовании.

Чтобы максимизировать ценность, получаемую от Данных, их следует демократизировать и предоставлять во всей организации, всем группам и командам на основе необходимых нормативных и нормативных требований предприятия, а также местных и международных органов управления. .

Когда дело доходит до создания конвейеров данных, организация должна сосредоточиться на нескольких горизонтах: данных, которые легко доступны сейчас (немедленно), которые могут быть сгенерированы или получены в течение короткие и разумные сроки (краткосрочные), какие данные потребуются в течение следующих нескольких месяцев (долгосрочные).

Я бы не рекомендовал заранее планировать более длительные окна, поскольку изменения на рынке вызовут слишком большой сдвиг во всей вашей настройке данных в сверхурочное время и сделают сегодняшние усилия менее актуальными и полезными в этот момент.

2. Используйте машинное обучение для решения реальных проблем рынка

Как бы привлекательно и технологично ни звучало наличие конвейера машинного обучения (даже создание собственных корпоративных MLOps), стоимость и постоянные усилия по поддержанию ваших моделей ML на уровне рыночного обслуживания и их поддержке будут быстро расти, и если вы не решая реальные проблемы ваших клиентов (или улучшая их опыт), оно скоро перестанет быть экономически оправданным.

Чтобы правильно установить причину использования ваших моделей ML в производственной среде и получить разумную рентабельность инвестиций, вам необходимо, чтобы ваши бизнес-эксперты тесно сотрудничали с вашими специалистами по данным, чтобы определить бизнес-проблемы, которые будут решаться. Помните, что не все проблемы требуют ответов машинного обучения.

Согласно приведенному выше совету, данные потребуются для подачи и управления вашим решением машинного обучения, поэтому доступность данных, их качество, интервал и стабильность являются важными решающими факторами при выборе подхода машинного обучения.

После того, как мы установили рентабельность инвестиций и выяснили источник данных, чтобы создать функциональную и эффективную команду машинного обучения, нам нужно выйти за рамки простого объединения бизнес-экспертов и специалистов по данным.

3. Сформируйте свои методы машинного обучения ARTs®

Scaled Agile Framework (SAFe®), которая является наиболее распространенной платформой Agile Scaling среди предприятий из списка Fortune 500 (уровень внедрения более 70%), использует высокоэффективный подход при формировании больших команд, которые обслуживают Разработка потоков создания ценности в организации.

Поток создания ценности разработки — это группа и последовательность людей (из всех команд и сегментов), процессов и инструментов, которые работают вместе для создания продуктов и услуг, которые будут продаваться клиентам, или инструментов, которые позволят команде продаж продайте их.

SAFe® называет эти большие команды Agile Release Trains (ARTs) и ставит их в центр каждой программы на предприятии. ARTs предназначены для объединения экспертов, которые могут состоять из нескольких подразделений, в машину для создания и доставки решений, которая может почти независимо проектировать, разрабатывать, тестировать, развертывать и даже выпускать свою работу в производство. .

Как я упоминал в начале этой статьи, гибкость предприятия является жизненно важным фактором для организаций в их усилиях по выживанию и процветанию в постоянно меняющемся рыночном ландшафте.

Организации не могут оставаться конкурентоспособными, если они не могут масштабировать свою гибкость до уровня корпоративного портфеля, на чем специализируется SAFe, позволяя совокупной мощности всех программ и их ART объединяться вверх для реализации стратегических планов и позволять стратегическим планам каскадировать на все программы и их АРТ для гибкого реагирования на рынок и повторного позиционирования.

4. Присоединяйтесь к руководству, чтобы отстаивать изменения

Машинное обучение приносит не только серьезный сдвиг в том, как организация думает о технологиях и представляет себе конечный продукт, но также и острая потребность в смене культурной парадигмы, которая затрагивает всю структуру предприятия, поскольку оно следует за людьми (бизнесом и технология), процессы и инструменты, используемые всеми, кто участвует в его создании, предоставлении услуг и обслуживании.

Руководству необходимо узнать о «Что и Почему?» машинного обучения до уровня, который позволил бы ему принимать обоснованные стратегические решения по этому поводу, а затем взять на себя обязательство защищать вопрос «Как?» во всех задействованных группах и разрозненных подразделениях. Нельзя ожидать, что они ответят на все вопросы, но возьмут на себя ответственность за координацию, необходимую для их поиска.

Машинное обучение требует вложений времени и денег, и единственный способ преодолеть кропотливый начальный период поиска того, что лучше всего соответствует рынку и как предоставить это клиентам, — это культура непрерывного исследования, обучения и обучения.

5. Прежде чем инвестировать в машинное обучение, инвестируйте в своих сотрудников

На рынке постоянная нехватка квалифицированных специалистов по машинному обучению. На самом деле довольно сложно и дорого найти и нанять специалистов во всех областях науки о данных, особенно в конвейере MLOps. Разумный способ подойти к этому — инвестировать внутренние средства, а также обучать и специализировать существующую команду новым навыкам, которые им необходимы для работы в рамках ИСКУССТВА машинного обучения.

Поскольку ART состоит из людей из всех групп, вовлеченных в ART, вам необходимо обучить всех — в зависимости от их будущей роли в конвейере ML — от экспертов по бизнесу (то есть в предметной области / предметной области) до технологий.

Некоторые крупные игроки, такие как Facebook, Google, Amazon и Alibaba, имеют свои собственные внутренние учебные академии и программы, которые преуспели в обучении существующего персонала и новых сотрудников.

При обучении организации рекомендуется начинать с руководства, а затем последовательно спускаться вниз по организационной схеме управления. Таким образом, у вас будут руководители ML-Savvy, управляющие культурной и технической сменой, с необходимыми полномочиями и бюджетными уровнями для облегчения работы.

6. Перейдите в облако или начните оттуда

Все основные поставщики облачных услуг имеют обширные, проверенные временем инструменты для каждого сегмента конвейера машинного обучения, от извлечения данных до предоставления и мониторинга услуг машинного обучения.

Их высокая масштабируемость, эластичность и доступность делают их лучшим выбором для максимизации охвата ваших бюджетов машинного обучения за счет динамического и прозрачного регулирования ресурсов, необходимых для запуска ваших MLOps.

Гибкость, полученная благодаря этой сервисной структуре, в сочетании с доступными облачными инструментами сократит необходимые усилия и время, которые ваши эксперты должны инвестировать в выполнение ваших проектов машинного обучения и обслуживание ваших продуктов машинного обучения. Это сэкономленное время, энергия и деньги могут позволить вашей организации инвестировать больше в исследовательское и маркетинговое тестирование, что, в свою очередь, поддержит ваши команды живой и своевременной обратной связью с рынком, которая будет использоваться для тонкой настройки вашего подхода к решению и переобучения. ваша модель машинного обучения, так как параметры и данные будут меняться с течением времени на рынке.

Низкая стоимость формирования временных конвейеров для экспериментов повысит творческий потенциал ваших команд и позволит избежать ненужных капитальных затрат на инфраструктуру.

Ваши команды всегда могут зафиксировать необходимую основную мощность для выполнения производственных моделей машинного обучения и их конвейеров данных, чтобы воспользоваться значительными скидками на зарезервированные ресурсы, оставаясь при этом в безопасности благодаря активным, оперативным и гибким ресурсам, которые автоматически увеличиваются в соответствии с требованиями. любые всплески спроса, с которыми может столкнуться ваш сервис.

Глобальный охват облачных сервисов также позволяет вашей организации сократить задержку обслуживания до беспрецедентно низкого уровня, предоставляя репликации ваших сервисов в ближайших возможных местах для ваших клиентов.

7. MLOps и DevSecOps должны сотрудничать и сосуществовать

DevSecOps — это бесконечный двойной цикл, в котором интегрировано и конвейеризировано управление жизненным циклом программного продукта со встроенными соображениями безопасности и реализациями на всех его этапах.

DevSecOps использует непрерывную интеграцию (CI) и непрерывную доставку (CD), которые позволяют вашему конвейеру поддерживать поток разработанного и протестированного кода, чтобы присоединиться к существующему коду и отправить его на сервер. производства, тем самым повышая вашу организационную гибкость в реагировании на изменения тенденций рынка и интересов клиентов.

Недавние усовершенствования инструментов DevSecOps позволили использовать возможности машинного обучения во многих аспектах этапов планирования, разработки, тестирования и развертывания. И DevSecOps, и MLOps могут извлечь выгоду из автоматизации в своем конвейере.

MLOps — это набор методов и процессов, отвечающих за управление жизненным циклом вашей модели машинного обучения, включая предоставление необходимых данных.

Принципы DevSecOps применяются к MLOps в том, что касается создания программного обеспечения, но между ними есть некоторые ключевые различия, которые не позволяют MLOps просто сливаться с DevSecOps:

· Непрерывное экспериментирование. Модели машинного обучения требуют многократных итераций выполнения и точной настройки, прежде чем точность и производительность модели станут приемлемыми для производственной среды. Это отличается от того, как работает DevSecOps, где требуется гораздо меньше повторного тестирования и настройки параметров. В результате непросто сформулировать, сколько времени потребуется новой модели ML, чтобы достичь уровня производительности услуг, необходимого для производственной среды.

DevSecOps предназначен для гибкости реагирования рынка за счет быстрого создания программных решений (или быстрого поэтапного обновления существующих), в то время как мы не можем заставить эксперименты в моделях машинного обучения выходить за рамки того, что могут обеспечить вычислительная мощность и автоматизация. Большая часть времени, необходимого для экспериментов, уходит на человеческую (ручную) работу над моделями.

· Непрерывный мониторинг. Поскольку модели машинного обучения обучаются на наборе данных, которые были подготовлены в определенный период времени в прошлом, их точность и производительность зависят от шаблона данных и диапазонов значений, чтобы оставаться согласованными в течение долгого времени. Хотя для некоторых приложений данные могут оставаться стабильными в течение длительных периодов времени, в большинстве случаев из-за текущих изменений на рынке и изменяющихся требований клиентов изменения данных влияют на точность модели ML и вызывают снижение производительности. Чтобы выявить и устранить эту проблему, необходимо постоянно отслеживать модели машинного обучения и устанавливать триггеры для выполнения переобучения модели с использованием свежего пакета данных с рынка.

DevSecOps осуществляет мониторинг производительности, но это необходимо только для того, чтобы убедиться, что установленные соглашения об уровне обслуживания по-прежнему действительны, а службы поддерживают необходимое время отклика. Обычно это не связано с опасениями по поводу снижения точности.

· Непрерывное обучение: непрерывный цикл мониторинга модели машинного обучения переходит в цикл повторного обучения модели машинного обучения всякий раз, когда новые данные показывают достаточное отклонение, которое оправдывает затраты на обработку повторного выполнения процесса обучения для машинного обучения. Модель. DevSecOps не имеет такого цикла в своем стандартном конвейере.

· Структура команды: для MLOps потребуется набор специализаций, отличный от того, что есть в ваших командах DevSecOps. Нам нужны специалисты по данным, инженеры по данным, специалисты по моделированию рисков, архитекторы машинного обучения и инженеры. Общим опытом между двумя операторами будет потребность в разработчиках программного обеспечения и инженерах по выпуску.

· Подход к тестированию: DevSecOps будет использовать дисциплины тестирования программного обеспечения (включая модульное тестирование, функциональное тестирование, интеграционное/регрессионное тестирование…), в то время как модели ML (в дополнение ко всем этим) потребуют проверки данных, оценки модели. и Валидация в процессе.

Потоки создания ценности (как мы упоминали ранее) — это среды совместной работы, в которых как DevSecOps, так и MLOps создают совокупную поставку ценности, поддерживая друг друга и усиливая мощь машинного обучения с помощью гибкой поддержки и прототипирования вспомогательных систем, необходимых для поддержания его работы и производительности. ожидал.

И DevSecOps, и MLOps придерживаются дисциплин CI и CD, и именно здесь они проявляют наибольшую способность к совместной работе. В то время как DevSecOps запускали свой код через CI/CD столько раз в минуту (как в случае с Tech Unicorns, такими как Amazon и Facebook), MLOps отправляли модели машинного обучения для интеграции в промежуточную, предварительную и, в конечном итоге, производственную конвейерную обработку. , время от времени, когда новая модель проверяется, и пришло время поместить ее в обучение с использованием данных и производственных сред для окончательной настройки и проверки. Кроме того, как только модель машинного обучения будет запущена в производство, оркестровка поддерживающего ее программного обеспечения должна работать бесперебойно и в соответствии с определенными необходимыми соглашениями об уровне обслуживания.

8. Млопам нужны специальные метрики на уровнях модели и конвейера

Код ML — это лишь малая часть (менее 5%) всего конвейера ML. Остальное состоит из конфигурации, сбора данных, извлечения функций, проверки данных, анализа, управления процессами, управления машинными ресурсами, обслуживания инфраструктуры и мониторинга.

Это означает, что при выборе показателей и попытке установить ключевые показатели эффективности нам необходимо учитывать все эти функции как часть нашей структуры измерения и отслеживания.

Для моделей машинного обучения также требуются собственные метрики, используемые для постоянного контроля их точности и производительности, необходимых в производственной среде. Это в дополнение к метрикам оценки, которые используются на этапе экспериментов, а затем на уровне проверки перед производством и производством.

К счастью, на рынке есть несколько проверенных временем существующих решений, из которых мы можем выбирать, настраивать, улучшать и должным образом вписывать в наш конвейер. Многие из этих инструментов уже предоставляются облачными платформами и служат многоуровневому покрытию, которое идет от уровня облачных сервисов до каждого живого выступления вашей модели машинного обучения.

DevSecOps разделяет некоторые показатели, связанные с производительностью конвейера и соглашениями об уровне обслуживания в производственной среде. В обоих случаях нам необходимо обеспечить привязку метрик к элементам действий, которые будут запущены после достижения определенного порога, чтобы требуемый персонал был предупрежден о растущей проблеме и по мере необходимости запускались соответствующие автоматические действия по ее устранению.

Заключение

Машинное обучение в настоящее время является большим конкурентным преимуществом для многих рыночных конкурентов и их растущих соперников, и мы можем ожидать, что размер рынка будет продолжать расти со скоростью 44% CAGR до 2025 года и превысит 100 миллиардов долларов.

Согласно McKinsey, искусственный интеллект может добавить около 13 триллионов долларов к мировому экономическому производству в 2030 году, и мы можем ожидать, что на машинное обучение будет приходиться львиная доля этого большого числа.

Сегодня потребности организаций в машинном обучении напоминают их потребность в программном обеспечении, а затем в веб-присутствии в 1990-х и 2000-х годах. Мы находимся в начале эры, когда без моделей машинного обучения ни один бизнес не может продолжать оставаться на рынке, а клиенты не будут покупать у поставщиков, которые не предоставляют им преимущества расширенных услуг машинного обучения. В то время как большинство проектов машинного обучения терпят неудачу из-за отсутствия должного понимания подводных камней и передового опыта.

Я надеюсь, что следование общим советам и рекомендациям поможет успешно внедрить ваши модели машинного обучения и предоставить их вашему клиенту.

Арман Камран

Лидер масштабной гибкой и облачной цифровой трансформации | Член Консультативного совета Harvard Business Review | Участник Gartner | Автор | Спикер | Профессор трансформационных технологий Техасского университета | Советник бизнес-школы Университета Джорджа Вашингтона