📚 Возможно, кто-то знает, что я веду Книжный клуб DS/ML, где мы читаем по одной книге в месяц. В этом месяце мы читаем Машинное обучение Q и AI уважаемого Себастьяна Рашки. Он известен своим опытом в области ML/AI и является одним из самых технических авторов, которых я когда-либо встречал.

Книга охватывает 30 важных вопросов по машинному обучению/ИИ, предлагая глубокое понимание сложных технических концепций, не углубляясь в реализацию кода. Лично я должен признать, что эта книга стала одной из моих самых любимых книг по ML/AI. Я рекомендую его всем, кто работает в сфере ML/AI; это обязательно к прочтению.

В этом сообщении в блоге я хотел бы поделиться очень проницательным интервью, которое у нас было с автором, и моими заметками о прочтении для тех, кто интересуется этой книгой.

🔗 Ссылка на книгу: https://leanpub.com/machine-learning-q-and-ai

Интервью с автором

Наш книжный клуб DS/ML прекрасно провел время, беседуя с Себастьяном об этой книге. Вот некоторые моменты нашего обсуждения:

  • Гипотеза лотерейного билета: как небольшая, редко связанная подсеть в более крупной нейронной сети достигает сопоставимой производительности.
  • Параллелизм в глубоком обучении. Мы обсудили различные типы параллелизма в глубоком обучении, такие как параллелизм данных, параллелизм моделей, тензорный параллелизм, конвейерный параллелизм и параллелизм последовательностей. Кроме того, мы узнали, как библиотека Fabric может помочь легко масштабировать модели PyTorch.
  • Точная настройка LLM. Наше обсуждение касалось методов тонкой настройки для больших языковых моделей, включая популярные методы, такие как LoRA и QLoRA, а также практичность методов адаптера. Мы также сравнили обучение с подкреплением с обратной связью с человеком (RLHF) с обычным обучением под наблюдением.
  • Актуальность XGBoost. Себастьян поделился своим мнением о том, остается ли XGBoost актуальным в эпоху глубокого обучения, особенно в качестве надежной основы для табличных данных.
  • Трансформеры. Мы изучили механизмы внимания, модели Трансформеров и прояснили роли «кодировщика» и «декодера» в Трансформерах.
  • Методы квантования. Мы обсудили…