Ключевое различие между Ethernet и Infiniband, которое делает Infiniband быстрее, заключается в RDMA (удаленный прямой доступ к памяти). DMA (в сети) — это операция, при которой доступ к памяти осуществляется напрямую из NIC (контроллера сетевого интерфейса), без участия ЦП. RDMA — это та же идея, но прямой доступ к памяти осуществляется с удаленной машины.

Еще отличия:

1. Связь осуществляется между QP (парами очереди) вместо каналов.
2. Данные передаются в/из пользовательского пространства прямо в/из аппаратного обеспечения, а не через стек ядра.

Базовый поток RDMA между запросчиком и ответчиком будет состоять из:

1. Рукопожатие — обмен данными между запрашивающей и отвечающей сторонами (в основном это выделенные адреса памяти и ключи доступа).
2. Создайте запрос READ/WRITE/ATOMIC на стороне запрашивающей стороны.
3. Отправьте запрос ответчику.
4. Прямой доступ к памяти на стороне ответчика.
5. Если READ/ATOMIC — отправить считанные данные из памяти ответчика обратно запросчику.

Основные преимущества:

1. Нет доступа к ЦП на стороне ответчика — пропускная способность ограничена только аппаратным обеспечением (сетевой адаптер и PCI).
2. На стороне отвечающей стороны не работает ПО, что обеспечивает гораздо меньшую задержку (примерно в 10 раз меньше, чем типичная задержка TCP/UDP).
3. Поддерживает режим опроса для завершения на стороне запрашивающей стороны, что означает, что ПО сразу узнает, как только аппаратное обеспечение закончило передачу. Обеспечивает меньшую задержку и более высокую пропускную способность за счет высокой загрузки ЦП.

Для получения дополнительной информации см. спецификацию Infiniband (извините, она очень длинная ).

Связанные протоколы трафика:

• RoCE (RDMA по конвергентному Ethernet), который реализует фабрику RDMA по Ethernet, заключая пакеты Infiniband в заголовки L2/L3/L4 Ethernet.

• IPoIB (IP через Infiniband), который реализует обычную сеть (через стек ядра) через фабрику Infiniband, заключая пакеты L3/L4 в заголовки Infiniband.

Надеюсь это поможет.

Чтобы изучить основы InfiniBand, я предлагаю вам посетить веб-сайт Mellanox Academy и после регистрации пройти курс InfiniBand Essentials или Основы InfiniBand (в разделе Технологии).

На мой взгляд, «архитектура на основе коммутаторов» означает, что коммутаторы являются частью структуры (см. рисунок ниже, где я показал коммутатор синим цветом).

Сквозное управление потоком, также известное как управление потоком на уровне сообщений, — это функция (возможность) для надежных соединений. Ответчик может использовать это для оптимизации использования своих ресурсов приема. По сути, запросчик не может отправить сообщение запроса, если у него нет для этого соответствующих кредитов. Подробности см. в спецификации InfiniBand.

Техническая информация

Также говорится, что InfiniBand имеет сквозное управление потоком.

Поток трафика внутри фабрики контролируется демоном, называемым Subnet Manager (часто называемым просто SM). Хорошо известная реализация с открытым исходным кодом (opensm) в настоящее время поддерживает 9 различных алгоритмов маршрутизации (Min Hop , UPDN, DNUP, Fat Tree, Torus-2QoS и др.). Об этих алгоритмах и их различных подходах к управлению потоком можно было бы написать много страниц.

Означает ли это, что нет (необходимости) какого-либо другого (промежуточного) управления потоком? Почему?

Для потока трафика между фабриками обычно требуется протокол, который также может маршрутизироваться из сетей InfiniBand и других типов сетей. LNet является примером протокола, который может это сделать.

Главная Информация

Кто-нибудь может объяснить, что такое InfiniBand?

Этот вопрос очень широк, поэтому я попытаюсь добавить более общую информацию в дополнение к существующим ответам.

Дорожная карта будущего

В настоящее время существует несколько поколений Infiniband (QDR, FDR, EDR), и мы надеемся, что HDR выйдет в какой-то момент в 2018 или 2019 году. Да, это может быстро устареть, поэтому актуальную информацию можно найти в дорожной карте. Предстоящие поколения называются NDR и XDR, но в текущей дорожной карте даже нет предварительных дат.

Ключевые организации

К важным организациям относятся Торговая ассоциация Infiniband (IBTA) и Альянс Open Fabrics (OFA). Обратитесь к их веб-сайтам за большим количеством полезной информации Infiniband.