Скачать или смотреть Начните работу с многооборотными оценками LangSmith

Как только вы получите четкое представление об основных шаблонах использования, с которыми работает ваш агент, вы можете начать анализировать эффективность каждого полного диалога. Многооборотные оценки помогают оценить, достиг ли ваш агент цели пользователя на протяжении всего взаимодействия. Большинство других платформ оценки оценивают только на уровне следа. Вы можете делать это и в LangSmith, но теперь вы можете оценить и взаимодействие в целом.

Многооборотные оценки — это онлайн-оценки, которые позволяют измерять такие параметры, как:

Семантическое намерение: что пользователь фактически пытался сделать.
Семантические результаты: была ли выполнена задача (и если нет, то почему).
Траектория агента: как развивалось взаимодействие, включая вызовы инструментов и принятые решения.

В LangSmith мы представляем эти многооборотные обмены между пользователями и агентами в виде потоков. Если вы уже используете потоки, начать будет просто. Многоходовые оценочные тесты запускаются автоматически после завершения обсуждения, и вы определяете запрос LLM-as-a-judge для управления процессом оценки.

Многоходовые оценочные тесты доступны уже сегодня для всех пользователей LangSmith.

Чтобы начать, посетите нашу документацию: https://bit.ly/3J93oZa