Представляем технику оптимизации без дополнительных гиперпараметров! Фон На недавней конференции CVPR 2023 в Ванкувере мне выпала честь познакомиться с передовыми исследованиями в области трансферного обучения . Трансферное обучение применимо к нескольким областям, таким как компьютерное зрение, обработка естественного языка и молекулярное моделирование . Среди выдающихся работ, с которыми я столкнулся, одна выделялась инновационным подходом к тонкой настройке и потенциалом..

В рамках недавнего исследовательского проекта в нашем университете у нас была прекрасная возможность погрузиться в мир больших языковых моделей. В частности, мы сосредоточили наши усилия на модели LLaMA Meta AI , инициативе с открытым исходным кодом, которая может произвести революцию в области обработки естественного языка. Вооружившись мощной инфраструктурой DGX нашего университета, включающей 8 графических процессоров NVIDIA V100 с 32 ГБ памяти каждый, мы отправились в приключение,..