047. Как запустить LLM (generative AI) на AWS

Хотите понять, как работать с большими языковыми моделями в облаке AWS? В этом выпуске мы пригласили Рустема (Rustem Feyzkhanov) - специалиста по машинному обучению и AWS Hero. Мы подробно разобрали разные варианты деплоя LLM:
 
•Amazon Bedrock - сервис для быстрого запуска популярных моделей
•Amazon SageMaker JumpStart - кастомные модели в пару кликов
•Hugging Face Estimator - доступ к библиотеке моделей Hugging Face
•Развертывание в контейнерах ECS и на GPU-инстансах EC2
•AWS Lambda - какие особенности надо учесть при таком запуске
 
С чего начать, что выбрать под свой кейс, как оптимизировать затраты - ответы в подкасте.
 
Слушайте, пробуйте!
 
Ссылки упомянутые во время подкаста:
 


• Слайды с Реинвента https://www.dropbox.com/scl/fi/m72mos...


• Пример Mistral 7B на SageMaker JumpStart https://aws.amazon.com/blogs/machine-...


• Использование HuggingFace для деплоя моделей на SageMaker https://huggingface.co/docs/sagemaker...


• Использование AWS Lambda для хостинга Mistral 7B https://aws.plainenglish.io/serverles...


• Использование ECS Fargate для хостинга LLAMA 2 https://aws.plainenglish.io/guide-for...


• Hugging face Inferentia 2 https://huggingface.co/blog/inferenti...