Скачать или смотреть Neon Postgres: как включить расширение pgvector для систем RAG (хранилище векторов)

Хотите превратить базу данных Postgres в хранилище векторных данных?

Описание:
В этом руководстве вы узнаете, как включить расширение pgvector для преобразования базы данных Neon Postgres в векторную базу данных. Это позволяет хранить и искать векторные эмбеддинги, которые являются необходимыми компонентами при построении систем дополненной генерации (RAG). В руководстве для всех необходимых шагов используется редактор Neon SQL.

Хранилище векторных данных:
База данных или таблица, в которой хранятся ваши эмбеддинги и метаданные.

Эмбеддинги:
Числовое представление текста, изображения или аудиоконтента.

Система RAG:
Процесс, который ищет в хранилище векторных данных соответствующие эмбеддинги и затем передает их в LLM для получения выходных данных.

pgvector:
Расширение Postgres, позволяющее Postgres хранить эмбеддинги/векторы.

В этом руководстве вы узнаете:
👉 Редактор SQL
👉 Сохранение SQL-запросов
👉 Включение расширения pgvector
👉 Проверка pgvector
👉 Создание таблицы для хранения векторных представлений
👉 Добавление индекса вектора
👉 Вставка тестовых строк данных
👉 Поиск по схожести

1. Регистрация учётной записи Neon:
https://neon.com

2. Расширение pgvector (документация Neon):
https://neon.com/docs/extensions/pgve...

3. Руководство по созданию базы данных Postgres в Neon:
   • How to Create A PostgreSQL on Neon: A Step...  

——————
✅ Главы:
00:00 Введение: О руководстве
00:32 Что вы изучите
00:52 Предварительные требования
01:11 Руководство: Настройка базы данных Neon
01:24 Шаг 1: Открытие редактора SQL
01:35 Войти на Neon.com
01:49 Открытие панели проектов
01:58 Открытие редактора SQL
02:07 Выбор базы данных
02:29 Шаг 2: Включение pgvector
02:41 Документация Neon (pgvector)
03:02 IF NOT EXISTS
03:49 Редактор SQL: Включение pgvector
04:22 Команда RUN
04:42 Шаг 3: Проверка включения pgvector
04:50 Основы редактора SQL
05:15 Добавление комментариев в редакторе SQL
05:53 Как выполнять команды
06:13 Шаг 4: Создание таблицы вложений
06:42 Обзор кода создания таблицы
07:27 Вектор вложений (измерение)
08:05 Модели вложений LLM
08:55 Подтверждение вставки таблицы
09:14 Сохранить запрос
09:55 Шаг 5: Добавление индекса вектора
10:42 Ivfflat: небольшое предупреждение о дате
10:58 Шаг 6: Вставка тестовой строки
11:41 Внедрение вектора (4) для демонстрации
12:19 Таблица Documents_Demo
12:33 Внедрение измерения в заголовок
12:59 Создание нового запроса
13:33 Подтверждение тестовой строки данных
13:50 Поиск по схожести
14:15 Как работает RAG
15:39 Тест поиска по схожести

——————

🪜 Как включить расширение PGVECTOR в базе данных Neon Postgres:

1. Войдите на https://neon.com
2. Откройте редактор SQL
3. Войдите в панель управления Neon
4. Выберите свою организацию
5. Нажмите «Проекты», откройте свой проект
6. Нажмите «Редактор SQL» и выберите нужную базу данных
7. Скопируйте/вставьте CREATE EXTENSION vector (IF NOT EXISTS) в редактор SQL. 8. Нажмите «Запустить», чтобы включить pgvector.
9. Проверьте расширение, чтобы убедиться, что расширение pgvector успешно включено.
10. Создайте таблицу хранилища векторов (документы).
11. Убедитесь, что номер измерения встраиваемого вектора (например, 1536) соответствует размерности, используемой в выбранной вами модели большого языка.
12. Добавьте векторный индекс: скопируйте и запустите фрагмент кода, чтобы добавить векторный индекс в новую таблицу, что ускорит поиск сходства.
13. Проверьте функциональность: вставьте тестовую строку с образцом данных.
Выполните запрос на поиск сходства, чтобы убедиться, что база данных может правильно сопоставлять текст и векторы. ——————Ресурсы———————
➜ Оборудование, которое я использую: https://mikemurphy.co/resources
➜ Adobe After Effects: https://mikemurphy.co/adobe
➜ Terrapin Textures: https://terrapintextures.com
➜ Курс Adobe Audition (Domestika): https://mikemurphy.co/domestika

➜ Магазин Amazon Influencer: https://www.amazon.com/shop/mikemurphyco
➜ Посмотреть всё моё оборудование: https://www.mikemurphy.co/podgear
➜ Adobe Creative Cloud: https://mikemurphy.co/adobe
➜ Screenflow: https://mikemurphy.co/screenflow

➜ Сайт: https://mikemurphy.co
➜ Подкаст: https://mikemurphy.co/mmu
➜ Instagram:   / mikeunplugged  
➜ X: http://x.com/mikeunplugged
➜ YouTube: https://mikemurphy.co/youtube

Информация о программе Amazon Associates:
Майк Мерфи является участником программы Amazon Services LLC Associates, партнерской рекламной программы, разработанной для предоставления сайтам возможности зарабатывать на рекламе и размещении ссылок на Amazon.com.