ТСП: Твой личный AI. Как и зачем создаются offline LLM.

Описание к видео ТСП: Твой личный AI. Как и зачем создаются offline LLM.

Символично, что 2025-й год начался в среду! А значит, пора сделать особенной и среду 15 января и посвятить ее тонкостям создания собственной LLM!

Приглашаем всех, кому интересно развитие AI, на стрим Третьей Среды Программиста в 19:00 (часовой пояс).
Наш спикер – Алексей Дебой, Fullstack Developer SoftTeco. Он расскажет, с какими задачами и вызовами придется столкнуться в работе над open-source LLM-моделями, и сравнит их производительность и затраты с решениями от Google и Microsoft.


Тезисно:

🔹 OpenLLM и лучшие open-source модели

🔹Файнтюнинг

🔹Токены: cчитаем прибыль.

🔹Системные требования для запуска LLM

🔹Безопасность в работе с данными

Таймкоды:

00:00 - Приветствие

2:33 - Что такое Self Hosted LLM

4:37 - Code Lama для SQL

6:27 - Почему локальные LLM стали популярны только сейчас

7:58 - Причины перехода на собственную нейросеть

12:42 - Личный опыт

14:02 - Бенчмарки

15:28 - Квантизация

19:53 - Подбираем модель квантования

23:04 - Связь битности и скорости

24:09 - Параметны против битности

26:07 - Сказки для детей

31:23 - Проекты на основе локальных LLM

37:07 - Считаем выгоду

43:50 - Вопросы от зрителей

Комментарии

Информация по комментариям в разработке