Представляем улучшенную поддержку Lightning Logger для Weight & Biases + Neptune.ai

PyTorch Lightning v1.5 знаменует собой значительный скачок в надежности для поддержки все более сложных требований ведущих организаций ИИ и престижных исследовательских лабораторий, которые полагаются на Lightning для разработки и развертывания ИИ в масштабе.

Чтобы лучше поддерживать наше быстро растущее сообщество, PyTorch Lightning стремится стать самой простой и гибкой платформой для ускорения любых исследований глубокого обучения в производство.

С этой целью команда Lightning тесно сотрудничала с командами Neptune.ai и Weight & Biases, чтобы обеспечить лучший опыт с точки зрения ведения журналов и отслеживания экспериментов.

Продолжайте читать, чтобы узнать о новых интересных функциях.

Веса и отклонения

В Lightning 1.5 к WandbLogger добавлены новые методы, которые помогут вам расширить возможности ведения журналов внутри PL, предоставляя вам возможность отслеживать вес вашей модели и предоставляя вам функциональные возможности для регистрации других артефактов, таких как текст, таблицы, изображения и модели контрольных точек.

Вот как вы можете использовать WandbLogger непосредственно в Lightning.

Используя методы watch и unwatch, вы можете отслеживать градиенты, гистограмму параметров и топологию вашей модели.

Если вы хотите сохранить все контрольные точки вашей модели в W&B, просто выполните:

WandbLogger теперь поддерживает log_text следующим образом:

И его можно использовать непосредственно в вашем LightningModule.

Кроме того, WandbLogger поддерживает log_image.

Но самая захватывающая функция — это поддержка log_table напрямую через WandbLogger.

Ниже приведен пример того, как можно использовать таблицы W&B для предоставления информативных отчетов.

Ознакомьтесь с документацией WandbLogger, чтобы узнать больше.

Мы хотели бы поблагодарить Бориса Дайму за интеграцию этих новых функций в WandbLoggerи Скотта Кондрона за координацию усилий.

Нептун

В выпуске v1.5 NeptuneLogger переработан и использует новый улучшенный neptune-client.

Чтобы использовать NeptuneLogger с Lightning, просто сделайте следующее:

Вы можете добавить в NeptuneLogger дополнительные метаданные, чтобы лучше организовать свои эксперименты.

Используя NeptuneLogger, вы можете регистрировать изображения, тексты и артефакты.

Используя log_model_checkpoints, вы можете точно контролировать контрольные точки, загруженные в Neptune.

А с помощью метода log_model_summary вы можете отслеживать сводку параметров ваших моделей.

Узнайте больше из Документации NeptuneLogger.

Мы хотели бы поблагодарить Jakub Kuszneruk за обновление NeptuneLogger до их последней версии клиента и добавление поддержки новых функций.

Следующие шаги

Команда Lightning более чем когда-либо стремится предоставить наилучшие возможности для всех, кто занимается оптимизацией с помощью PyTorch, поскольку PyTorch Lightning API уже стабилен, критические изменения будут минимальными.

Если вы заинтересованы в том, чтобы помочь с этими усилиями, найдите нас в Slack!

Позвольте представить вам Grid.ai, созданный создателями PyTorch Lightning. Наша платформа позволяет масштабировать обучение модели, не беспокоясь об инфраструктуре, подобно тому, как Lightning автоматизирует обучение.

Вы можете начать работу с Grid.ai бесплатно, имея только учетную запись GitHub или Google.