Скачать или смотреть vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024

vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024

vllmfp8neural magicanyscale

Скачать vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024 бесплатно в качестве 4к (2к / 1080p)

У нас вы можете скачать бесплатно vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024 или посмотреть видео с ютуба в максимальном доступном качестве.

Для скачивания выберите вариант из формы ниже:

Информация по загрузке:

Cкачать музыку vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024 бесплатно в формате MP3:

Если иконки загрузки не отобразились, ПОЖАЛУЙСТА, НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если у вас возникли трудности с загрузкой, пожалуйста, свяжитесь с нами по контактам, указанным в нижней части страницы.
Спасибо за использование сервиса video2dn.com

Описание к видео vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024

In this session, we brought on vLLM Committers from Anyscale to give an in-depth dive into FP8 quantization. They discussed why FP8 is important, how to get started with FP8 in vLLM, and shared quality and performance results of FP8 quantization.

We also covered the latest updates in vLLM v0.5.1, including pipeline parallelism and model support for Gemma 2, Jamba, and DeepSeek-V2.

For more details, check out the session slides here: https://docs.google.com/presentation/...

Join our bi-weekly vLLM office hours to stay current with vLLM, ask questions, meet the community, and give feedback: https://hubs.li/Q02Y5Pbh0

Комментарии

Информация по комментариям в разработке