Публикации по теме 'knowledge-distillation'


Получение знаний в нейронной сети
Учимся лучше учиться с меньшей моделью В традиционном машинном обучении для достижения современной производительности (SOTA) мы часто обучаем серию ансамблевых моделей для борьбы со слабыми сторонами одной модели. Однако достижение производительности SOTA часто связано с большими вычислениями с использованием больших моделей с миллионами параметров. Модели SOTA, такие как VGG16 / 19, ResNet50, имеют 138+ миллионов и 23+ миллионов параметров соответственно. Развертывание этих моделей на..