Скачать или смотреть Как измерить AI | Бенчмарки, тестирование и обучение LLM | Podlodka Podcast

Когда-то для оценки AI мы использовали только тест Тьюринга – человек общался с собеседником через чат, а потом пытался определить, кожаным или кремниевым был его собеседник. Сегодня мы видим, что оценка качества работы LLM – гораздо более сложная задача. Вместе с Пашей Чижовым из PleIAs мы закопались в то, как вообще сегодня оценивается AI, и обсудили все виды бенчмарков, арен, метрик, их врожденные недостатки, а заодно и как быть, когда по капоту вашего КАМАЗа ползет черт.

Полезные ссылки:
— Бенчмарки
https://huggingface.co/datasets/cais/...
https://huggingface.co/datasets/MMMU/...
https://huggingface.co/datasets/allen...
https://huggingface.co/datasets/Rowan...
https://huggingface.co/datasets/allen...
https://huggingface.co/datasets/Idavi...
https://lastexam.ai/
https://www.swebench.com/
https://arcprize.org/arc-agi
https://github.com/t3dotgg/SnitchBench

— Арена
https://lmarena.ai/

— Фреймворк для эвалов
https://github.com/EleutherAI/lm-eval...

— Бумаги
https://arxiv.org/abs/2504.07825
https://arxiv.org/abs/2311.12022
https://arxiv.org/abs/2406.12045

— Тех репорты с таблицами
https://www.anthropic.com/news/claude-4
https://ai.meta.com/blog/llama-4-mult...
https://blog.google/technology/google...
https://openai.com/index/introducing-...


❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: https://t.me/podlodka
📰 Не любишь чаты, но хочешь оставаться в курсе дел и прокачивать свой IT кругозор? Подписывайся на наш Telegram-канал: там публикуются анонсы новых выпусков, а в комментах идут ценные и горячие обсуждения! 5 тысяч опытных IT-специалистов уже с нами: https://t.me/podlodkanews
👉Предложить себя в подкаст https://forms.gle/NtmaZmeDAa3MHSra7

Тайм-коды:
00:00 О чем выпуск
05:15 Зачем и кому нужны бенчмарки
11:48 Подходы к оценке качества моделей
16:53 Популярные бенчмарки
19:24 Оценка бенчмарков
27:12 Оценка моделей
35:34 Открытость задач в бенчмарках
39:09 Проблема доступности данных в интернете
58:12 Безопасность моделей
01:03:00 Актуальность теста Тьюринга
01:05:30 Технические аспекты оценки моделей
01:10:56 Проблемы при оценке моделей
01:15:55 В чём суть арен
01:24:10 Реальные результаты моделей
01:27:20 Создание собственного бенчмарка
01:31:35 Критерии хорошего бенчмарка
01:38:30 Будущее LLM
01:43:40 Заключение