📚 Возможно, кто-то знает, что я веду Книжный клуб DS/ML, где мы читаем по одной книге в месяц. В этом месяце мы читаем Машинное обучение Q и AI уважаемого Себастьяна Рашки. Он известен своим опытом в области ML/AI и является одним из самых технических авторов, которых я когда-либо встречал.
Книга охватывает 30 важных вопросов по машинному обучению/ИИ, предлагая глубокое понимание сложных технических концепций, не углубляясь в реализацию кода. Лично я должен признать, что эта книга стала одной из моих самых любимых книг по ML/AI. Я рекомендую его всем, кто работает в сфере ML/AI; это обязательно к прочтению.
В этом сообщении в блоге я хотел бы поделиться очень проницательным интервью, которое у нас было с автором, и моими заметками о прочтении для тех, кто интересуется этой книгой.
🔗 Ссылка на книгу: https://leanpub.com/machine-learning-q-and-ai
Интервью с автором
Наш книжный клуб DS/ML прекрасно провел время, беседуя с Себастьяном об этой книге. Вот некоторые моменты нашего обсуждения:
- Гипотеза лотерейного билета: как небольшая, редко связанная подсеть в более крупной нейронной сети достигает сопоставимой производительности.
- Параллелизм в глубоком обучении. Мы обсудили различные типы параллелизма в глубоком обучении, такие как параллелизм данных, параллелизм моделей, тензорный параллелизм, конвейерный параллелизм и параллелизм последовательностей. Кроме того, мы узнали, как библиотека Fabric может помочь легко масштабировать модели PyTorch.
- Точная настройка LLM. Наше обсуждение касалось методов тонкой настройки для больших языковых моделей, включая популярные методы, такие как LoRA и QLoRA, а также практичность методов адаптера. Мы также сравнили обучение с подкреплением с обратной связью с человеком (RLHF) с обычным обучением под наблюдением.
- Актуальность XGBoost. Себастьян поделился своим мнением о том, остается ли XGBoost актуальным в эпоху глубокого обучения, особенно в качестве надежной основы для табличных данных.
- Трансформеры. Мы изучили механизмы внимания, модели Трансформеров и прояснили роли «кодировщика» и «декодера» в Трансформерах.
- Методы квантования. Мы обсудили…