Скачать или смотреть Руководство по развертыванию Modal LLM: развертывание доработанных моделей с помощью vLLM и LoRA.

В этом видео мы развернем в продакшене доработанную большую языковую модель с помощью Modal — бессерверной платформы на базе графических процессоров, которая делает развертывание LLM простым, масштабируемым и экономически эффективным.

Вы узнаете, как взять доработанную модель Hugging Face, запустить ее с помощью vLLM, включить адаптеры LoRA и предоставить доступ к нескольким HTTP-конечным точкам для вывода и потоковой передачи — и все это без ручного управления серверами или графическими процессорами.

Что вы узнаете из этого видео:

Стратегии развертывания LLM в локальной среде и бессерверной среде

Настройка секретов и переменных среды в Modal

Развертывание vLLM с адаптерами LoRA с использованием Python

Создание нескольких конечных точек вывода (базовая, LoRA, потоковая)

Отправка запросов через Postman или клиенты Python

Понимание масштабирования, тайм-аутов простоя и одновременных запросов

Сравнение пользовательской логики vLLM с серверами vLLM, совместимыми с OpenAI

Временные метки:
0:00 - Обзор подходов к развертыванию LLM
1:03 - Введение в Modal и его бессерверную модель GPU
2:00 - Настройка секретов и токенов Hugging Face
3:01 - Развертывание vLLM с LoRA с использованием Python
6:05 - Создание рабочих HTTP-конечных точек для вывода
7:30 - Отправка запросов с помощью Postman (базовая, LoRA и потоковая)
9:32 - Альтернативное развертывание с использованием vLLM serve
11:18 - Автомасштабирование, тайм-аут простоя и контроль затрат в Modal

Это видео идеально подходит, если вы разрабатываете готовые к использованию в производстве API LLM, развертываете тонко настроенные модели для клиентов или изучаете, как эффективно внедрять LLM без управления инфраструктурой.

Это видео является частью программы сертификации LLM Engineering and Deployment от Ready Tensor.

Зарегистрируйтесь сейчас:
https://app.readytensor.ai/certificat...

О Ready Tensor:
Ready Tensor помогает специалистам в области ИИ и машинного обучения проектировать, развертывать и оценивать интеллектуальные системы посредством сертификации, конкурсов и публикаций реальных проектов в области ИИ.

Узнайте больше:
https://www.readytensor.ai/

Понравилось видео? Подпишитесь, чтобы получать больше практических руководств по развертыванию LLM, оптимизации вывода и производственным системам ИИ.