Скачать или смотреть Lightning Talk: Large-Scale Distributed Training with Dynamo and... - Yeounoh Chung & Jiewen Tan

Lightning Talk: Large-Scale Distributed Training with Dynamo and... - Yeounoh Chung & Jiewen Tan

Скачать Lightning Talk: Large-Scale Distributed Training with Dynamo and... - Yeounoh Chung & Jiewen Tan бесплатно в качестве 4к (2к / 1080p)

У нас вы можете скачать бесплатно Lightning Talk: Large-Scale Distributed Training with Dynamo and... - Yeounoh Chung & Jiewen Tan или посмотреть видео с ютуба в максимальном доступном качестве.

Для скачивания выберите вариант из формы ниже:

Информация по загрузке:

Cкачать музыку Lightning Talk: Large-Scale Distributed Training with Dynamo and... - Yeounoh Chung & Jiewen Tan бесплатно в формате MP3:

Если иконки загрузки не отобразились, ПОЖАЛУЙСТА, НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если у вас возникли трудности с загрузкой, пожалуйста, свяжитесь с нами по контактам, указанным в нижней части страницы.
Спасибо за использование сервиса video2dn.com

Описание к видео Lightning Talk: Large-Scale Distributed Training with Dynamo and... - Yeounoh Chung & Jiewen Tan

Lightning Talk: Large-Scale Distributed Training with Dynamo and PyTorch/XLA SPMD - Yeounoh Chung & Jiewen Tan, Google

In this talk we cover PyTorch/XLA distributed API in relation with Torch.Dynamo. Specifically, we discuss the new PyTorch/XLA SPMD API for automatic parallelization and our latest LLaMA2 training results. PyTorch/XLA SPMD makes it simple for PyTorch developers to distribute their ML workloads (e.g., training & inference with Dynamo) with easy-to-use API, and uses XLA GSPMD, high-performance automatic parallelization system. Under the hood, it transforms the user single-device program into a partitioned one. We will share how we enabled advanced 2D sharding strategies for LLaMA2 using PyTorch/XLA SPMD.

Комментарии

Информация по комментариям в разработке