Реализация RAG на основе GigaChat. Как искать и генерировать ответы по базе знаний?

Большие языковые модели могут генерировать тексты, содержащие ложную информацию. Это явление называют "галлюцинациями". Кроме того, знания модели ограничены тем корпусом текстов, на котором она обучалась. Чтобы преодолеть эти ограничения принято прибегать к созданию RAG (Retrieval Augmented Generation) - вопросно-ответных систем, где ответы опираются на внешний источник знаний. Обычно в роли такого источника выступает векторная база данных.

В этом туториале мы рассмотрим, как работает RAG, а также создадим свою RAG-систему на основе GigaChat API и GigaChain.

В этом видео в качестве текстов для базы знаний использовались статьи с сайта N+1: https://nplus1.ru/search?tags=871

Блокнот из ролика можно взять из репозитория: https://github.com/trashchenkov/gigac...

Мой канал в Telegram: https://t.me/gigatrash