По сравнению с программированием приложений общего назначения машинное обучение является относительно новой областью изучения. Крупные инициативы в области машинного обучения теперь поддерживаются как аппаратным, так и программным обеспечением, что позволяет предприятиям принимать более взвешенные решения, а инструменты и решения для машинного обучения охватывают весь технологический ландшафт. MLOps — это новое поле, появившееся в результате этого.
В первой части этой статьи мы обсуждали, что такое MLOps, а теперь обсудим различные инструменты MLOps.
Инструменты MLOps
Когда вы ищете решение, которое будет соответствовать вашим целям и поможет вам реализовать MLOps, вы увидите, что существует множество возможностей. Вам нужно будет рассмотреть открытое и проприетарное программное обеспечение, а также SaaS или локальные решения.
Проприетарные инструменты MLOps с открытым исходным кодом.Пользователи программного обеспечения с открытым исходным кодом могут свободно читать, изменять и распространять исходный код в своих целях. Исходный код проприетарного программного обеспечения недоступен для широкой публики. Только фирмы, которые производят это программное обеспечение, имеют возможность его изменить.
SaaS и локальные инструменты MLOps –доступ к программам предоставляется через программное обеспечение как услугу (SaaS). Через Интернет пользователи взаимодействуют с программным интерфейсом. Внутренний хостинг используется для локальных программных решений. Обычно это более безопасно, но затраты на администрирование и обслуживание необходимой инфраструктуры выше.
MLOps имеют доступ ко всем этим возможностям. Ваше решение должно основываться на ваших индивидуальных целях, внутренних знаниях и финансовых ограничениях.
6 лучших инструментов MLOps:
Ниже приведены инструменты, которые широко используются для поддержки проектов машинного обучения:
Comet ML автоматизирует отслеживание наборов данных, изменений кода, истории экспериментов и производственных моделей для групп специалистов по обработке и анализу данных, что обеспечивает эффективность, прозрачность и воспроизводимость. Все ваши эксперименты можно увидеть и сравнить в одном месте. Он работает с любой библиотекой машинного обучения и для любой задачи машинного обучения, независимо от того, где вы выполняете свой код. Всем, кто хочет, чтобы эксперименты было проще увидеть, а также чтобы было легче работать и выполнять тесты.
Функции
→ Разнообразные функции для совместной работы в команде или группе
→ Совместимость с существующими библиотеками машинного обучения
→ Занимается управлением пользователями.
→ Сравнивает эксперименты с точки зрения кода, гиперпараметров, метрик, прогнозов, зависимостей, системных метрик и многого другого.
→ Благодаря отдельным модулям для визуализации, звука, текста и табличных данных вы можете отображать образцы.
→ Он поставляется с рядом интеграций, которые упрощают его связывание с другими инструментами.
Это платформа машинного обучения, которая позволяет создавать, обучать, управлять и развертывать модели машинного обучения в готовых к работе условиях. Благодаря специально разработанным инструментам, таким как маркировка, подготовка данных, обучение, настройка, мониторинг хостинга и многое другое, он ускоряет ваши исследования. Он устраняет все препятствия, которые возникают у разработчиков при попытке использовать машинное обучение.
Amazon SageMaker имеет около 17 встроенных сервисов машинного обучения, и в ближайшие годы их станет больше. Убедитесь, что вы понимаете основы AWS, потому что вы никогда не знаете, сколько будет стоить вам каждый час выделения этих серверов.
Возможности:
→ Он включает в себя ряд алгоритмов машинного обучения для обучения ваших данных (больших наборов данных). Это помогает улучшить точность, масштаб и скорость вашей модели.
→ Линейная регрессия, XGBoost, кластеризация и сегментация клиентов входят в число контролируемых и неконтролируемых методов машинного обучения, включенных в Sagemaker.
→ Моделирование, маркировка и развертывание ускоряются благодаря комплексной платформе машинного обучения. На основе ваших данных функции AutoML автоматически создадут, обучат и настроят оптимальную модель машинного обучения.
→ Он позволяет интегрировать API и SDK, упрощая настройку и предоставляя доступ к алгоритмам машинного обучения из любого места.
→ Он включает в себя более 150 готовых решений, которые вы можете использовать прямо сейчас. Это руководство поможет вам начать работу с Sagemaker.
Машинное обучение Azure — это служба, предоставляемая корпорацией Майкрософт. Это облачная платформа для обучения, развертывания, автоматизации, управления и отслеживания моделей машинного обучения. Его можно использовать для любого типа машинного обучения, от классического до глубокого обучения, а также для контролируемого и неконтролируемого обучения.
Возможности:
→ Используя автоматизированное машинное обучение, платформа Azure ML поддерживает Python, R, Jupyter Lab и R studios.
→ Функция перетаскивания создает среду машинного обучения, свободную от кода, что позволяет специалистам по данным взаимодействовать с большей легкостью.
→ Вы можете обучить свою модель на своем компьютере или в облачной рабочей области машинного обучения Azure.
→ Tensorflow, Scikit-learn, ONNX и Pytorch входят в число инструментов с открытым исходным кодом, поддерживаемых машинным обучением Azure. У него есть собственная платформа MLOps с открытым исходным кодом (Microsoft MLOps).
→ Блокноты для совместной работы, AutoML, маркировка данных, MLOps, гибридная среда и поддержка нескольких облаков — это лишь некоторые из основных функций.
→ Надежные функции MLOps позволяют создавать и развертывать. Отслеживать эксперименты по машинному обучению и управлять ими очень просто.
Централизация знаний означает возможность воспроизводить, экстраполировать и адаптировать эксперименты. Узнайте, как крупные компании, такие как Uber, делятся внутренними знаниями.
4. Облачная платформа искусственного интеллекта Google
Это полностью управляемая платформа для машинного обучения и обработки данных. Он имеет возможности, которые упрощают и упрощают управление услугами. Разработчики, ученые и инженеры данных могут извлечь выгоду из своей методологии машинного обучения. Платформа имеет ряд функций, помогающих управлять жизненным циклом машинного обучения. Он предлагает расширенные услуги машинного обучения, включая предварительно обученные модели и службу генерации моделей.
Возможности:
→ Облачное хранилище и большие запросы помогают подготовить и сохранить наборы данных. Затем вы можете использовать встроенную функцию для маркировки ваших данных.
→ Вы можете выполнять свою задачу без написания кода, используя функцию Auto ML с простым в использовании пользовательским интерфейсом. Вы можете использовать Google Colab, где вы можете бесплатно запустить свой ноутбук.
→ Google Cloud Platform поддерживает многие платформы с открытым исходным кодом, такие как KubeFlow, записные книжки Google Colab, TensorFlow, образы виртуальных машин, обученные модели и технические руководства.
→ Развертывание может быть выполнено с помощью функций Auto ML, и оно может выполнять действия с вашей моделью в реальном времени.
→ Управляйте и контролируйте свою модель и сквозной рабочий процесс с помощью конвейеров. Вы можете проверить свою модель с помощью объяснения ИИ и инструмента «Что, если», который поможет вам узнать выходные данные вашей модели, ее поведение и способы улучшения вашей модели и данных.
5. Метапоток
Это модуль Python, который помогает специалистам по данным и инженерам в разработке и управлении реальными проектами. Это система рабочего пространства, предназначенная для управления жизненными циклами машинного обучения. Он был создан Netflix, чтобы помочь ученым работать более эффективно.
Возможности:
→Netflix и Amazon Web Services (AWS) выпустили Metaflow в 2019 году, который может взаимодействовать с SageMaker, Python и библиотеками на основе глубокого обучения.
→ Он предоставляет единый API для стека, который необходим для выполнения проектов по науке о данных от прототипа до производства.
→ Хранилище данных, которое может быть локальным файлом или базой данных, используется для доступа к данным.
→ Metaflow — это графический пользовательский интерфейс, который поможет вам создать направленную ациклическую сеть для вашей рабочей среды (D-A-G).
→ Вы отслеживаете все свои эксперименты, версии и данные после их развертывания в рабочей среде.
Gradient — это платформа машинного обучения, разработанная Paperspace, которую можно использовать для всего, от исследований до производства. Он позволяет создавать, отслеживать и совместно работать над моделями машинного обучения. Для обработки всех ваших экспериментов с машинным обучением он предлагает облачный дизайн. Поскольку большая часть рабочего процесса основана на NVIDIA GRID, вы можете ожидать сильных и быстрых результатов.
Возможности:
→ Почти все фреймворки и библиотеки, которые вы используете или планируете использовать, поддерживаются Paperspace Gradient.
→ Все ваши эксперименты и ресурсы можно обучать, отслеживать и контролировать на одной платформе.
→ Функциональность GradientCI GitHub, поддерживаемая блокнотами Jupyter, позволяет объединить проект машинного обучения с репозиторием GitHub.
→ Вы получите бесплатные мощные графические процессоры, которые можно запустить одним щелчком мыши.
→ Создавайте конвейеры машинного обучения, используя современные детерминированные методы. Оптимизируйте управление версиями, тегами и жизненным циклом.
→ Ваши предыдущие эксперименты можно легко преобразовать в платформу глубокого обучения.
→ У них есть NVIDIA M4000, недорогая карта, и NVIDIA P5000, которая позволяет оптимизировать тяжелые и высокопроизводительные рабочие процессы машинного обучения. Они намерены интегрировать AMD для улучшения рабочего процесса машинного обучения.
Как правильно выбрать инструмент для своего проекта?
Ваше решение зависит от потребностей, зрелости и масштаба развертывания вашего проекта. Ваш проект должен быть хорошо организован (Cookie Cutter — хороший инструмент структурирования проекта, который поможет вам в этом). Прежде чем выбрать какое-либо решение MLOps, задайте себе следующие вопросы:
- Он должен быть удобным для специалистов по обработке и анализу данных, а не заставлять ваши группы специалистов по обработке и анализу данных использовать определенные инструменты и фреймворки.
- Он должен быть легко установлен, настроен и персонализирован.
- Это должно быть легко интегрироваться с вашей текущей платформой.
- Он должен иметь возможность повторять результаты, независимо от того, работаете ли вы с командой, отлаживаете производственный сбой или итерируете существующую модель, воспроизводимость имеет решающее значение.
- Он должен быть масштабируемым, выберите платформу, которая удовлетворяет вашим текущим требованиям и может масштабироваться в будущем как для рабочих нагрузок в реальном времени, так и для пакетных рабочих нагрузок, обеспечивая сценарии с высокой пропускной способностью, автоматически расширяясь при увеличении трафика, простой контроль затрат и безопасные процессы развертывания и выпуска. .
Заключение
Эта статья представляет собой просто набросок концепции MLOps, лучших инструментов MLOps и их функций. Хотя конвейер MLOps каждой команды может различаться с точки зрения ситуаций применения и отраслей, основные концепции остаются неизменными: инвестируйте время и деньги на острие ножа.
Развертывание моделей машинного обучения и внедрение процессов MLOps может быть затруднено. Однако в современном мире, управляемом данными, избежать этих трудностей невозможно. Приобретение компетенций в области MLOps — это не только коммерческая ценность, обеспечиваемая вашим текущим проектом ML, — оно будет многократно окупаться по мере того, как ваша фирма будет создавать все больше и больше моделей.
Помните, что вы можете начать работу с Comet бесплатно уже сегодня!
Примечание редактора. Heartbeat — это интернет-издание и сообщество, созданное участниками и посвященное предоставлению лучших образовательных ресурсов для специалистов по науке о данных, машинному обучению и глубокому обучению. Мы стремимся поддерживать и вдохновлять разработчиков и инженеров из всех слоев общества.
Независимая от редакции, Heartbeat спонсируется и публикуется Comet, платформой MLOps, которая позволяет специалистам по данным и командам машинного обучения отслеживать, сравнивать, объяснять и оптимизировать свои эксперименты. Мы платим нашим авторам и не продаем рекламу.
Если вы хотите внести свой вклад, перейдите к нашему призыву к участию. Вы также можете подписаться на получение наших еженедельных информационных бюллетеней (Еженедельник глубокого обучения и Информационный бюллетень Comet), присоединиться к нам в Slack и следить за Comet в Twitter и LinkedIn, чтобы получать ресурсы, события и многое другое, что поможет вам быстрее создавать лучшие модели машинного обучения.
