Узнайте, как использовать осмысленный цикл обратной связи в пайплайнах MLOps.
В этих сериях о MLOps я буду освещать в каждом сообщении в блоге этап конвейера MLOps и глубоко погружаться в него. Сегодня вы узнаете о непрерывном обучении и непрерывном развертывании 🚀
Если вы хотите узнать больше о рекомендациях MLOps, то вы попали по адресу! В этой статье я расскажу о следующих моментах:
– Жизненный цикл MLOps
– Непрерывное обучение и его проблемы
– Непрерывное развертывание
– Зачем настраивать цикл обратной связи?
– Мониторинг и важность настройки оповещений
Жизненный цикл MLOps
Мне нравится разделять жизненный цикл MLOps на две фазы: обучение и обслуживание. Цикл обратной связи — это точка соединения между этими двумя этапами.
Этап обучения состоит из двух основных блоков:
- Эксперимент/разработка. Включает обработку данных, обучение модели, построение конвейера обучения и развертывание.
- Непрерывное обучение (CT): включает в себя включение производственных данных в набор данных для обучения и повторное обучение модели с его помощью.
Этап обслуживания состоит из двух основных компонентов:
- Непрерывное развертывание (CD): включает в себя создание службы прогнозирования и постоянное развертывание модели, полученной в результате непрерывного обучения, в целевой среде.
- Непрерывный мониторинг. Включает в себя мониторинг развернутых моделей, чтобы убедиться, что они работают должным образом.
В моей предыдущей статье уровни и жизненные циклы MLOps были подробно представлены, поэтому не стесняйтесь проверить это здесь👇
Непрерывное обучение
Непрерывное обучение — это процесс операций машинного обучения, который автоматически и непрерывно переобучает модели машинного обучения для адаптации к изменениям в данных.
- Со временем производительность модели может ухудшиться из-за расхождения данных, расхождения концепций и т. д.
- Использование данных, собранных в рабочей среде, гарантирует, что модель повторно обучается с фактическими данными, чтобы быть актуальными.
Проблемы непрерывного обучения
- Если ее не контролировать, это может привести к тому, что новая модель будет давать худшие прогнозы, чем исходная модель. Контролируемый означает человек в курсе, потому что важно обеспечить качество и точность данных, используемых для непрерывного обучения нашей модели.
- Это может привести к незапланированным затратам на инфраструктуру, особенно если вы выполняете настройку гиперпараметров.
- Непрерывное обучение может быть дорогим и ресурсоемким, поэтому рекомендуется начинать его с осторожностью и в зависимости от доступного бюджета и вычислительных ресурсов.
Непрерывное развертывание и его различные режимы
Непрерывное развертывание — это процесс операций машинного обучения, который автоматически и непрерывно развертывает повторно обученные модели, полученные в результате CT, в рабочую среду.
Существует три режима непрерывного развертывания:
- Автоматическое развертывание
- Развертывание вручную
- Развертывание Canary
- Теневое развертывание
Автоматизированные конвейеры MLOps
После знакомства с различными строительными блоками конвейеров MLOps пришло время увидеть более широкую картину и то, как соединить разные части вместе для создания автоматизированного конвейера MLOps, как показано на рисунке ниже.
Соединительная часть цикла, которая еще не была рассмотрена, — это Цикл обратной связи, так что давайте посмотрим, как он работает👇
Цикл обратной связи
Значимая петля обратной связи является ключом к успешному непрерывному обучению, что приводит к созданию более эффективных моделей. По этой причине очень важно быть избирательным в отношении качества производственных данных, которые подаются на вход КТ.
Зачем нужна петля обратной связи?
- Производственные данные могут отличаться от данных для обучения, что означает, что производительность вашей модели со временем может ухудшиться.
- Чтобы предотвратить это, рекомендуется обогащать набор обучающих данных данными, поступающими из производства, чтобы поддерживать модели в актуальном состоянии.
Когда настраивать цикл обратной связи и как он работает?
- После запросов на вывод прогнозы должны быть проверены человеком.
- После проверки прогнозы отправляются в цикл обратной связи и объединяются с исходным набором обучающих данных.
Но петля обратной связи не будет иметь смысла без мониторинга!!
Непрерывный мониторинг
«Недостаточно отслеживать производительность МОДЕЛЕЙ, также важен мониторинг ДАННЫХ»
Как вы обеспечиваете, чтобы ваши модели продолжали работать наилучшим образом? Планируя и внедряя систему мониторинга, которая поддерживает повторение и улучшение ваших моделей.
На самом деле данные со временем меняются, и почти неизбежно, что обучающие данные со временем устаревают, а ваши рабочие модели начинают страдать от невидимых данных. Некоторые из последствий этого:
- CT и CD ориентированы на данные. Таким образом, если для мониторинга установлены правильные показатели, снижение производительности модели будет обнаружено на ранней стадии, а также отклонение данных и концепций.
- Мониторинг проверяется человеком.
Важность установки правильных оповещений
Настройка предупреждений помогает предотвратить снижение производительности и является отличным показателем запуска новой модели в производство, что приведет к устранению недостатков, обнаруженных на этапе мониторинга.
Нет правильных или неправильных метрик, для которых можно настроить оповещения, но это всегда зависит от метрик, которые определяют успех службы прогнозирования и сохраняют ценность для бизнеса (например, задержка в задачах, которые требуют реакции в реальном времени, точности, аккуратности и т. д.)
«Мониторинг модели можно реализовать, отслеживая точность, полноту и оценку F1 предсказания модели вместе со временем. Снижение точности, отзыва и F1-оценки запускает переобучение модели, что приводит к ее восстановлению».
Заключение
В целом, лучший способ улучшить модели — повысить качество данных, используя содержательный цикл обратной связи. Именно здесь мониторинг вступает в игру, чтобы указать вам, как повысить качество ваших наборов данных, и предупредить вас о том, чего не хватает для достижения удовлетворительного уровня эффективности модели.
Теперь, когда мы рассмотрели наиболее важные аспекты MLOps, вы должны знать о методах, которые могут гарантировать, что производительность вашей модели со временем улучшится.
Ресурсы
Спасибо за чтение 🙏 до следующего раза 👋
