Скачать или смотреть vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024

vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024

nvidia cutlasscutlass vllmvllmquantizationai performance

Скачать vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024 бесплатно в качестве 4к (2к / 1080p)

У нас вы можете скачать бесплатно vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024 или посмотреть видео с ютуба в максимальном доступном качестве.

Для скачивания выберите вариант из формы ниже:

Информация по загрузке:

Cкачать музыку vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024 бесплатно в формате MP3:

Если иконки загрузки не отобразились, ПОЖАЛУЙСТА, НАЖМИТЕ ЗДЕСЬ или обновите страницу
Если у вас возникли трудности с загрузкой, пожалуйста, свяжитесь с нами по контактам, указанным в нижней части страницы.
Спасибо за использование сервиса video2dn.com

Описание к видео vLLM Office Hours - Using NVIDIA CUTLASS for High-Performance Inference - September 05, 2024

In this session, we explored the exciting updates in the vLLM v0.6.0 release, including significant system changes that led to a 2.7x throughput increase and a 5x latency improvement. We then dove into how you can leverage NVIDIA CUTLASS to optimize high-performance inference with INT8 and FP8 kernels in vLLM.

During the Q&A, we tackled a variety of audience questions around hardware diversity, different quantization methods, pros and cons of using torch.compile in vLLM, deployment strategies for multiple copies of vLLM using a custom Docker entrypoint script, and more.

Session slides: https://docs.google.com/presentation/...

Explore and join our bi-weekly vLLM office hours: https://hubs.li/Q02Y5Pbh0

Комментарии

Информация по комментариям в разработке