По мере расширения нашего конвейера обработки данных и корпоративного ИИ мы находимся в мире, где DevOps недостаточно.
По мере того, как компании, особенно крупные организации, расширяют свои модели в рамках построения общекорпоративного конвейера, возрастает потребность во внедрении процесса разработки моделей. Как и в случае с DevOps, модели необходимо разрабатывать, интегрировать, развертывать и отслеживать. Часто с инициативами корпоративного ИИ возникает множество вопросов управления, таких как целостность данных, управление изменениями, нормативные требования и т. Д.
Вы хотите иметь возможность подключить свой конвейер обработки данных к ИТ-организации. Вы хотите, чтобы ваша ИТ-организация поддерживала и обновляла конвейер обработки данных по мере необходимости.
Другими словами, вы хотите, чтобы ваш конвейер был полностью функциональным в вашей организации в режиме реального времени и в соответствии с правилами вашей отрасли.
По данным VentureBeat, 87% проектов в области науки о данных никогда не попадают в производство. Не позволяйте этому стать вашим проектом.
Критическая природа конвейеров обработки данных и корпоративного ИИ
Организации обычно вкладывают миллионы долларов в создание конвейеров обработки данных и алгоритмов искусственного интеллекта. Это связано с тем, что эти конвейеры и корпоративный ИИ будут приносить большую часть будущей прибыли. Они также отличают компанию от конкурентов на рынке. Они позволяют компании перейти от режима выживания к процветанию на рынке.
В то же время компании отходят от одной модели для решения каждой бизнес-задачи. Рынок динамичен. Многие компании в таких отраслях, как финансовая, используют множество моделей для учета рыночных условий для решения одной бизнес-проблемы. Важна необходимость динамического переключения моделей на лету.
По мере того, как наши системы становятся все более сложными, возникают две проблемы: данные и логика. Объяснимость моделей искусственного интеллекта - хороший пример нормативной озабоченности. Управление данными было критическим вопросом последнего десятилетия, поскольку интеллектуальный анализ данных во всех формах и формах стремится упростить для разных пользователей выполнение аналитики корпоративных данных без ущерба для безопасности. Соблюдение нормативных правил в определенных отраслях означает последовательность.
Информационные технологии построены на концепции согласованности. Когда дело доходит до инноваций, разработчиков и специалистов по обработке данных часто хвалят, но если системы не производятся, они все равно что металлолом. Гражданские специалисты по данным (наука о данных, управляемая пользователями) могут дать хорошие результаты, но эти модели не повлияют на чистую прибыль, если они не могут быть воспроизведены и масштабированы.
Производство систем, включающих полномасштабный конвейер обработки данных и искусственный интеллект корпоративного уровня, означает последовательную обработку интеграции, тестирования, изменений, развертывания и мониторинга.
Красота ModelOps
Model Ops - это новая дисциплина, которая изменит повседневное взаимодействие между командами по анализу данных, командами разработки приложений, командами информационных технологий и командами бизнес-единиц. Подобно тому, как DevOps изменил разработку и позволил программистам сосредоточиться на разработке программного обеспечения, модельные операции позволят специалистам по данным, инженерам-программистам и даже пользователям бизнес-подразделений сосредоточиться на своей повседневной работе, связанной с проектом в области науки о данных.
Проекты в области науки о данных не похожи на проекты разработки программного обеспечения, которые могут быть более разрозненными. Проекты в области науки о данных часто являются междисциплинарными. Часто это общеорганизационные инициативы, охватывающие несколько команд. Это также относится к корпоративным инициативам в области искусственного интеллекта. Инициативы корпоративного ИИ не только являются общекорпоративными, они часто меняют бизнес и его рабочие процессы.
ModelOps - это процесс, который связывает DataOps и DevOps, чтобы помочь организации интегрировать свою инициативу в области науки о данных в свою организацию посредством упрощенной интеграции, развертывания, безопасности, мониторинга и т. Д.
Такие компании, как SAS, ModelOp, RapidMiner и IBM, делают упор на ModelOps, потому что он обеспечивает синхронизацию между DevOps, DataOps и ModelOps. Это означает, что разные команды могут лучше управлять частями разработки, данных и модели.
Это также означает, что существует оптимизированный процесс, часто в сочетании с множеством инструментов для выполнения следующих действий:
- Построение модели
- Тестирование модели
- Модельный инвентарь
- Модельное обучение
- Модель интеграции
- Развертывание модели
- Модель безопасности
- Управление изменениями модели
- Мониторинг модели
Возможности совместной работы
Обладая оптимизированным способом управления вашими моделями, можно создать гораздо больше возможностей для совместной работы, чтобы полностью использовать все ваши ресурсы для создания гораздо более интеллектуальных систем.
- Специалисты по обработке данных (из бизнес-единиц) могут работать с специалистами по данным, чтобы находить реальные бизнес-проблемы и решения. Эти гражданские специалисты по анализу данных обладают деловой смекалкой. В то же время специалисты по обработке данных могут преодолеть разрыв между созданием модели с использованием инструмента и масштабированием этой модели в производственной среде. Специалист по анализу данных может работать с ModelOps и разработчиками приложений, чтобы интегрировать модель и использовать ее в полной мере.
- Ваши менеджеры по продуктам для конкретных приложений могут работать с бизнес-подразделениями и дизайнерами продуктов, чтобы выяснить, как обрабатывать конкретные варианты использования в функциях приложения, которые усложняются более интеллектуальной логикой внутри моделей. Менеджеры по продукту могут работать с ModelOps и разработчиками приложений, чтобы преодолеть разрыв связи между обработкой входных данных модели, данных и функций приложения.
- Ваши инженеры по тестированию приложений могут работать с ModelOps, DevOps и DataOps, чтобы убедиться, что определены правильные сценарии использования тестирования, чтобы можно было легко обрабатывать изменения между интеграцией и производством.
- Ваша команда ITSM сможет круглосуточно контролировать производство моделей. Как мы знаем, данные могут усложнять модели в производственной среде. Тесное сотрудничество DataOps с ModelOps предоставит DevOps гораздо больше информации для исследования проблем.
По мере того, как наши системы становятся более интеллектуальными в эпоху инноваций, мы не можем упускать из виду критический путь от разработки к производству, особенно когда речь идет о наших моделях. Организации, которые тратят столько же времени на внедрение процессов ModelOps, действительно смогут извлечь выгоду из создания конвейера обработки данных или корпоративной инициативы AI.
Использованная литература:
Руководящие принципы по внедрению машинного обучения и искусственного интеллекта
