Самостоятельные инструменты для разработки прикладных программ глубокого обучения
Всего через месяц после того, как мы присоединились к Square, мы рады объявить о запуске открытого исходного кода Atlas, нашей платформы для разработки прикладных проектов глубокого обучения.
Что такое Атлас?
Атлас помогает практикам машинного обучения быстро принимать проекты от 0 до 100, с функциями, которые позволяют легко запускать, оценивать и развертывать тысячи экспериментов одновременно. Сначала мы создали Атлас для себя, когда существовало несколько инструментов для решения некоторых из более серьезных проблем, связанных с глубоким обучением:
- Успешные проекты глубокого обучения требуют масштабных экспериментов. Без правильных инструментов точно отслеживать эксперименты отнимает много времени и сложно.
- Отсутствие инструментов для управления экспериментом означало, что большая часть этой работы выполнялась специально, что затрудняло совместную работу и воспроизведение результатов модели.
- Для глубокого обучения требуется много вычислений, и мы обнаружили, что тратим много времени на настройку правильной инфраструктуры - драгоценное время, которое можно было бы потратить на эксперименты!
Эти проблемы помешали нам получить полное влияние, которое, как мы знали, могут иметь наши проекты глубокого обучения, и мы были уверены, что другие практики сталкиваются с такими же препятствиями.
В июле прошлого года мы опубликовали первую версию Атласа, которую с тех пор скачали тысячи специалистов по машинному обучению. Открыв исходный код кода, мы рады предложить пользователям внести свой вклад в превращение Атласа в инструмент, позволяющий быстрее добиваться результатов за счет глубокого обучения.
Функции
Atlas является частью Foundations, нашей комплексной платформы для разработки и производства прикладных технологий глубокого обучения. Это гибкий инструмент машинного обучения, который состоит из Python SDK, интерфейса командной строки, графического интерфейса пользователя и планировщика.
SDK:
CLI:
GUI:
- Планирование заданий. Планировщик заданий Атласа управляет экспериментами за вас, выполняя тысячи экспериментов одновременно и асинхронно.
- Управление и отслеживание экспериментов. Помечайте эксперименты и легко отслеживайте гиперпараметры, показатели и артефакты, такие как изображения, GIF-файлы и аудиоклипы, на веб-панели управления.
- Воспроизводимость. Каждое выполнение задания записывается и отслеживается с использованием уникального идентификатора задания, что упрощает воспроизведение и публикацию любого эксперимента.
- SDK Python: простой в использовании SDK делает Atlas совместимым с любой библиотекой или платформой машинного обучения. SDK также позволяет программно выполнять оптимизацию гиперпараметров.
- Встроенная интеграция Tensorboard: Прямое сравнение нескольких запусков заданий на Tensorboard в графическом интерфейсе Atlas.
- Интеграция Keycloak: легко настройте сервер аутентификации и управляйте доступом к кластеру DL с помощью встроенной интеграции Keycloak Atlas.
- Самостоятельное размещение: запустите Атлас на одном узле, например ваш ноутбук или многоузловой кластер, например локальные серверы или облачные кластеры (AWS / GCP и т. д.)
Начать
Найдите репозиторий Atlas на Github и прочтите документацию, чтобы установить его на свой локальный компьютер. Мы также включили Учебное пособие по сегментации изображений, чтобы облегчить начало работы.
Способствовать
Теперь, когда Atlas имеет открытый исходный код, мы очень рады, что сообщество внесет свой вклад в наш код! Если вы хотите создать пулреквест, следуйте инструкциям на Github здесь.
Связаться
У вас есть вопрос об Atlas или вы хотите поболтать о том, как внести свой вклад? Мы будем рады поболтать! Присоединяйтесь к нашему сообществу Slack и свяжитесь напрямую с нашей командой инженеров по машинному обучению.
