Подробный разбор дообучения (fine-tuning) LLaMa (на примере задачи генерации заголовков к новостям)

#llama #transformers #искусственныйинтеллект #ai
Jupyter-ноутбуки из видео: https://t.me/LLMCourseBot?start=llama...
Больше материалов по NLP: https://t.me/+Ml16EbQoepcwMGNi
Разработка AI-решений на заказ: https://t.me/pine_forest_ai_support

00:00 - Сравнение исходной и дообученной LLaMa
01:08 - Установка зависимостей, import модулей
02:20 - Инициализация токенизатора и модели
03:16 - Как обучить LLaMa в int4
03:45 - Тип float4
04:52 - Сравнение потребления VRAM для различных конфигураций
05:28 - Загрузка и предобработка данных
05:42 - Составляем prompt
06:56 - Токенизация
08:43 - LoRA адаптеры
10:28 - Задаем гиперпараметры
11:27 - Запускаем обучение
11:33 - Где скачать обученную LLaMa?
11:43 - Как запустить обученную LLaMa?
12:26 - Гиперпараметры генерации
13:24 - Примеры генерации