Публикации по теме 'model-compression'
Сжатие моделей в сетях машинного зрения (часть 1)
Сжатие CNN с использованием обрезки и квантования смешанной точности
Эта статья является первой половиной обзора 4 научных статей, прочитанных в рамках курса Практическая производительность систем глубокого обучения (COMSE6998) в Колумбийском университете осенью 2022 года под руководством профессора Париджата Дубе. В этом блоге я резюмирую две из этих статей, а вторую половину вы можете найти в статье Рии.
Введение
Крупномасштабные CNN (сверточные нейронные сети) являются самой..
Сжатие модели — что, почему и как.
В этой статье мы рассмотрим, что, почему и как происходит сжатие модели.
Что такое сжатие модели?
Сжатие модели — это, по сути, любой метод, который можно использовать для уменьшения размера, требуемых вычислений и общей занимаемой площади модели при сохранении ее производительности. Как правило, все они предназначены для тестового этапа, а для обучения мы можем взять любой объем вычислений.
Зачем нужно сжатие модели?
В последнее время наметилась тенденция разработки больших, плохих..
Получение знаний в нейронной сети
Учимся лучше учиться с меньшей моделью
В традиционном машинном обучении для достижения современной производительности (SOTA) мы часто обучаем серию ансамблевых моделей для борьбы со слабыми сторонами одной модели. Однако достижение производительности SOTA часто связано с большими вычислениями с использованием больших моделей с миллионами параметров. Модели SOTA, такие как VGG16 / 19, ResNet50, имеют 138+ миллионов и 23+ миллионов параметров соответственно. Развертывание этих моделей на..