Скачать или смотреть Sokovan: совместимый с Kubernetes контейнерный движок ИИ, ориентированный на ускорение — Джунги К...

Не пропустите! Присоединяйтесь к нам на следующем саммите Open Source Summit в Сеуле, Южная Корея (4–5 ноября). Присоединяйтесь к нам на ведущей конференции по открытому исходному коду, не зависящей от поставщика, где разработчики и специалисты по технологиям объединяются для совместной работы, обмена знаниями и изучения последних инноваций и достижений в области технологий с открытым исходным кодом. Узнайте больше на сайте https://events.linuxfoundation.org/

Sokovan: движок для контейнеров ИИ, совместимый с Kubernetes и ориентированный на ускорение — Джунги Ким, Lablup Inc.

В этом докладе представлен Sokovan — автономный движок для оркестровки контейнеров ИИ с открытым исходным кодом, адаптированный как для физических платформ, так и для конфигураций на базе Kubernetes. K8s предоставляет базовую платформу для управления контейнерами и кластерными ресурсами, а Sokovan обрабатывает рабочие нагрузки ИИ с помощью прямого управления аппаратным ускорением. В 2022 году компания Sokovan стала пионером в создании первого в мире кластера ИИ на базе контейнеров с поддержкой GDS, достигнув пропускной способности более 120 Гбит/с при многоузловых рабочих нагрузках на графических процессорах и более 150 Гбит/с в режиме RDMA. Наша поэтапная миграция показывает, как запускать оба оркестратора параллельно, переключая рабочие нагрузки с сохранением пиковой производительности.
Мы продемонстрируем архитектуру, в которой K8s предоставляет площадку для выполнения задач, а Sokovan обеспечивает оптимизированное для ИИ планирование, дробное масштабирование графических процессоров и ускорение хранения с учётом особенностей поставщика. В рамках сессии будут рассмотрены вопросы развертывания в изолированных средах и сравнение производительности, показывающее, почему это подразделение превосходит решения на базе K8S. Участники изучат стратегии работы с двумя оркестраторами: K8s управляет инфраструктурой, а Sokovan управляет ускорением ИИ, что позволяет достичь высокой производительности вычислений без ущерба для сильных сторон обеих систем.