Число с плавающей запятой против числа с фиксированной запятой: скорость на процессоре Intel I5

Резюме: современное оборудование FPU трудно превзойти с фиксированной точкой, даже если у вас в два раза больше элементов на вектор.

Современные библиотеки BLAS, как правило, очень хорошо настроены для производительности кеша (с блокировкой кеша / мозаикой цикла), а также для пропускной способности инструкций. Поэтому их очень трудно превзойти. В частности, в DGEMM есть много возможностей для такой оптимизации, потому что он выполняет O (N ^ 3) работу с данными O (N ^ 2), поэтому стоит транспонировать только кусок одного ввода размером с кеш и тому подобное.

Что может помочь, так это сокращение узких мест в памяти за счет сохранения ваших чисел с плавающей запятой в 16-битном формате half-float. Аппаратной поддержки для математических вычислений в этом формате нет, есть пара инструкций для преобразования между этим форматом и обычными 32-битными векторами с плавающей запятой при загрузке / хранении: VCVTPH2PS (__m256 _mm256_cvtph_ps(__m128i)) и VCVTPS2PH (__m128i _mm256_cvtps_ph(__m256 m1, const int imm8_rounding_control). Эти две инструкции составляют расширение F16C, впервые поддерживаемое AMD Bulldozer и Intel IvyBridge.

IDK, если какие-либо библиотеки BLAS поддерживают этот формат.

Фиксированная точка:

SSE / AVX не имеет инструкций по целочисленному делению. Однако, если вы делите только на константы, вам может не понадобиться настоящая инструкция div. Так что это главный камень преткновения для фиксированной точки.

Еще одним большим недостатком фиксированной точки является дополнительная стоимость смещения для исправления положения десятичной (двоичной?) Точки после умножения. Это съест любой выигрыш, который вы могли бы получить от вдвое большего количества элементов на вектор с 16-битной фиксированной точкой.

SSE / AVX на самом деле имеет неплохой набор упакованных 16-битных умножений (лучше, чем для любого другого размера элемента). Есть упакованное умножение, производящее младшую половину, высокую половину (со знаком или без знака), и даже такое, которое берет 16 бит из 2 бит ниже верха, с округлением (PMULHRSW.html). Skylake запускает их по два за такт с задержкой в ​​5 циклов. Существуют также целочисленные инструкции умножения-сложения, но они выполняют горизонтальное сложение между парами результатов умножения. (См. таблицы insn Агнера Фога, а также класс x86 тег wiki для ссылок на производительность.) Haswell и предыдущие не имеют такого большого числа операций сложения и умножения целочисленных векторов единицы. Часто узкие места кода связаны с общей пропускной способностью uop, а не с конкретным портом выполнения. (Но в хорошей библиотеке BLAS может даже быть настроенный вручную ассемблер.)

Если ваши входные и выходные данные являются целыми числами, часто быстрее работать с целочисленными векторами вместо преобразования в числа с плавающей запятой. (например, см. мой ответ на Масштабирование байтовых значений пикселей (y = ax + b) с SSE2 (как числа с плавающей запятой)?, где я использовал 16-битную фиксированную точку для работы с 8-битными целыми числами).

Но если вы действительно работаете с числами с плавающей запятой и вам нужно много умножать и делить, просто используйте аппаратные FPU. Они невероятно мощны в современных процессорах и сделали фиксированную точку устаревшей для многих задач. Как указывает @Iwill, инструкции FMA - еще одно большое увеличение пропускной способности FP (а иногда и задержки).

Целочисленные инструкции сложения / вычитания / сравнения (но не умножения) также имеют меньшую задержку, чем их аналоги FP.