Скачать или смотреть ПЛОТНЫЕ + РАЗРЯЖЕННЫЕ ВЕКТОРА = HYBRID SEARCH RAG

раскрываю самую запрашиваемую тему — гибридный поиск в RAG-системах через N8N. Показываю, как объединить обычные плотные векторы (семантический поиск) с разряженными векторами (поиск по ключевым словам) в Quadrant. Да, это требует серьезных костылей, кастомных нод и танцев с бубном, но результат того стоит! Полный workflow от загрузки документа до тестирования гибридного поиска.

Таймкоды:
00:00 - Самая мистифицированная тема: гибридный поиск
00:14 - Что такое гибридный поиск и зачем он нужен
00:43 - Спойлер: никакой магии нет
00:51 - Обзор workflow и костыли в N8N
01:05 - Workflow из двух частей: загрузка и тестирование
01:39 - Демонстрация работы workflow
01:58 - Загрузка документа через форму
02:09 - Извлечение названия документа через Haiku
02:23 - Разбивка на 40 чанков через ноду Code
02:48 - Контекстуализация по методике Anthropic
03:24 - Начало "свистопляски" с разряженными векторами
03:49 - Проблемы с ресурсами тестового стенда N8N
04:08 - Обходной путь через HTTP request вместо Code
04:30 - Создание собственного Flask API на localhost
05:13 - Использование ngrok для публичного доступа
05:46 - Результат: получение разряженных векторов
06:15 - Предупреждение о рисках использования Code ноды
07:01 - Ограничения стандартной ноды Quadrant
07:43 - Создание кастомной ноды с LangChain кодом
08:17 - Как работает AI-блок в N8N изнутри
09:01 - Код кастомной ноды для Quadrant
09:25 - Необходимость установки quadrant-js-client
10:05 - Установка библиотек через Execute Command
10:42 - Настройка переменных среды для внешних библиотек
11:02 - Создание коллекции с поддержкой BM42
11:49 - Что такое BM42 и документация Quadrant
12:07 - Код для создания правильной коллекции
12:55 - Пререквизиты для работы кастомной ноды
13:24 - Загрузка данных с плотными и разряженными векторами
14:18 - Проверка структуры данных в Quadrant
15:07 - Переход к тестированию гибридного поиска
15:38 - Кастомный ретривер для поиска по двум типам векторов
16:45 - Как работает поиск внутри кастомной ноды
17:29 - Использование Cohere для плотных векторов
18:01 - Workflow для разряженных векторов запроса
19:01 - Анализ результатов и логов поиска
19:23 - Когда гибридный поиск действительно полезен
19:51 - Выводы: лучше использовать Python
20:41 - Ограничения N8N при работе с тяжелыми моделями
21:05 - Анализ execution отдельного workflow
21:28 - Заключение и планы по sharing workflow

Этот подход подходит для сложных корпоративных RAG-систем, где важна максимальная точность поиска. Комбинация семантического поиска и поиска по ключевым словам действительно может улучшить результаты, но требует серьезных технических знаний и ресурсов.