Скачать или смотреть Monarch: движок распределённого выполнения для PyTorch — Колин Тейлор и Закари ДеВито, Meta

Monarch: движок распределённого выполнения для PyTorch — Колин Тейлор и Закари ДеВито, Meta

В этом докладе мы представляем Monarch, распределённый обучающий стек для PyTorch. Наша цель, следуя философии PyTorch, — предоставить набор компонуемых примитивов, с помощью которых пользователи смогут легко создавать оркестровку в больших масштабах на разнородных вычислительных ресурсах и жизненных циклах.

Традиционный распределённый PyTorch использует многоконтроллерный подход: вы запускаете несколько копий одного и того же скрипта на разных машинах, и эти независимые процессы координируются посредством коллективных операций. Каждый процесс запускает свою копию обучающего цикла.

Monarch — это одноконтроллерная система: один скрипт напрямую управляет всеми распределёнными ресурсами, практически как если бы они были локальными. Вместо того, чтобы создавать несколько независимо управляемых процессов, вы пишете одну программу, которая обрабатывает весь кластер как единую, унифицированную систему.

Этот архитектурный сдвиг упрощает программирование: больше не нужно думать о рангах процессов, барьерах синхронизации или шаблонах коллективного взаимодействия. Ваш код выглядит и работает как одномашинный PyTorch, но масштабируется на тысячи графических процессоров, и вы можете напрямую использовать обычные программные конструкции — классы, функции, циклы, задачи, фьючерсы — для выражения распределенных алгоритмов.