Публикации по теме 'model-quantization'


Перемалывание чисел: как квантование делает большие модели размером в байт
Введение Агенты, управляемые LLM, могут помочь нам более эффективно выполнять любое количество задач, будь то проверка кода, написание электронных писем и т. д. Некоторые задачи, которые мы хотим, чтобы они выполняли, требуют больше знаний и опыта в предметной области, чем другие, поэтому мы можем захотеть уточнить настроить нашу собственную модель (подробнее об этом). В настоящее время существует 40 миллиардов моделей параметров с открытым исходным кодом , так почему бы не настроить их..

Сжатие моделей в сетях машинного зрения (часть 1)
Сжатие CNN с использованием обрезки и квантования смешанной точности Эта статья является первой половиной обзора 4 научных статей, прочитанных в рамках курса Практическая производительность систем глубокого обучения (COMSE6998) в Колумбийском университете осенью 2022 года под руководством профессора Париджата Дубе. В этом блоге я резюмирую две из этих статей, а вторую половину вы можете найти в статье Рии. Введение Крупномасштабные CNN (сверточные нейронные сети) являются самой..