Скачать или смотреть Кластер Strix Halo с низкой задержкой, поддержкой RDMA (RoCE/Intel E810) и vLLM, настольные платы...

В этом видео я выхожу за рамки Ethernet и llama.cpp и демонстрирую кластер Strix Halo из 2 узлов, использующий RDMA и тензорный параллелизм vLLM. В конфигурации используются две материнские платы Framework Desktop с 128 ГБ унифицированной памяти каждая, напрямую подключенные через карты Intel E810, настроенные для RoCE.

Я рассматриваю важные для этой сборки аппаратные детали: прямое подключение RDMA, кастомное охлаждение для E810 и почему использование сетевой карты x16 в слоте PCIe x4 не является реальной проблемой для инференса. Я также сравниваю задержку RDMA со стандартным Ethernet и объясняю, почему низкая задержка является ключевым фактором для тензорного параллелизма в данном случае.

Что касается программного обеспечения, я рассматриваю vLLM вместе с Рэем и основную проблему, с которой я столкнулся: отсутствие поддержки RCCL для gfx1151 в исходном коде ROCm. Я объясняю, что сломалось, как я внес изменения в RCCL, чтобы обеспечить работу многоузлового параллелизма тензоров на Strix Halo, и как воспроизвести эту конфигурацию с помощью моих инструментальных пакетов.

Временные метки
00:00 – Введение
01:14 – Аппаратное обеспечение
02:09 – Сетевая карта RDMA / RoCE
03:28 – Пользовательское охлаждение для Intel E810
06:22 – Особенности линий PCIe (с x16 на x4)
08:32 – Поддержка ROCm / RCCL для gfx1151
10:31 – Руководство по настройке
13:06 – Бенчмарки
14:03 – Заключение

Ссылки и ресурсы
Инструменты и руководства Strix Halo: https://strix-halo-toolboxes
Инструменты vLLM Strix Halo (с исправленным RCCL): https://github.com/kyuz0/amd-strix-ha...
Бенчмарки vLLM: https://kyuz0.github.io/amd-strix-hal...
Параллелизм тензоров vLLM: https://developers.redhat.com/article...