Скачать или смотреть Масштабирование LLM упёрлось в предел: исследование MIT

В этом видео разбираю крутое исследование - призер NeurlIPS(топ-1 конференция в мире по нейросетям и AI) от коллектива из MIT, которое вскрывает фундаментальное ограничение современных LLM: проблему не в архитектуре или данных, а в низкой размерности эмбеддингов. Когда векторное пространство недостаточно велико, семантические представления разных слов начинают перекрываться — возникают коллизии, которые искажают понимание модели. Именно это ограничение, а не нехватка параметров или данных, ставит жёсткий предел масштабированию: дальше просто добавлять параметры бессмысленно — модель будет «путать» понятия на уровне представлений. Показываю, почему индустрия упирается в математический барьер и какие пути обхода предлагает исследование.

Статья: https://arxiv.org/pdf/2505.10465
Статья от Anthropic: https://arxiv.org/pdf/2209.10652

🤓Интерактивная база вопросов с собесов - https://botayinterview.site

💻Больше полезного в моем телеграм канале - https://t.me/Ai_bolno_ml

💐Консультация, подготовка к собеседованию - https://filonov.site

ТАЙМКОДЫ:
00:00 - Старт
00:41 - Сколько стоит самому запустить LLM
01:50 - Сколько стоит ChatGPT-5
02:14 - Затраты больших AI-компаний
02:42 - Законы масштабирования
03:04 - Формула OpenAI
03:58 - Ошибка OpenAI и Chinchilla
04:46 - Статья MIT - призер NeurlIPS
05:38 - Новая проблема - размеры векторов
06:01 - Что такое текстовые эмбединги
07:05 - Проблема размерности
07:34 - Слова просто перекрываются
08:05 - Основная суть исследования
10:07 - Бонус