GigaChain. Как загрузить документы, чтобы ИИ отвечал по ним?

После каждого ролика мне приходят вопросы о том, как "скормить" разные файлы большой языковой модели. В прошлом туториале мы уже рассмотрели общую структуру RAG - вопросно-ответных систем, где ответы формируются на основе данных из внешних источников.

В этот раз мы подробно поговорим о формировании такого источника из различных файлов. В библиотеках GigaChain/LangChain для этого есть специальные инструменты под названием загрузчики. Мы разберем, как настроить загрузчики и интегрировать их в вашу систему для получения хорошего результата.

В этом видео в качестве документов для базы знаний использовались статья https://cyberleninka.ru/article/n/asp...
и файл с сайта Росстата https://rosstat.gov.ru/labour_costs

Блокнот из ролика можно взять из репозитория: https://github.com/trashchenkov/gigac...

Мой канал в Telegram: https://t.me/gigatrash