Скачать или смотреть Почему большие контекстные окна не работают — и как рекурсивные языковые модели навсегда меняют и...

На протяжении многих лет гонка ИИ была сосредоточена на одном показателе: увеличении контекстных окон.
От моделей с 8K до 32K, 100K и теперь уже до миллионов токенов, обещание было простым — поместить всё в подсказку и позволить модели самой всё выяснить.
Но в реальности этот подход терпит неудачу.
По мере роста входных данных ответы становятся расплывчатыми, рассуждения рушатся, затраты резко возрастают, а модели страдают от того, что исследователи называют «разложением контекста». Даже передовые системы, такие как GPT-5, теряют связность задолго до достижения своих жестких контекстных ограничений — особенно в задачах, требующих синтеза, агрегирования или сложных рассуждений на основе больших входных данных.
В этом видео рассматривается радикальная альтернатива, предложенная MIT и Prime Intellect: рекурсивные языковые модели (RLM).
RLM отказываются от идеи, что ИИ должен прочитать всё сразу. Вместо этого они рассматривают огромные подсказки как внешний мир, который модель может исследовать. Искусственный интеллект выборочно осуществляет поиск, анализ, делает заметки, делегирует подзадачи более мелким вспомогательным моделям и рекурсивно уточняет свои знания — подобно человеку, перелистывающему страницы, выделяющему ключевые разделы и запрашивающему у помощника краткие резюме.

Искусственный интеллект избирательно ищет, анализирует, делает заметки, делегирует подзадачи более мелким вспомогательным моделям и рекурсивно уточняет свои знания — подобно человеку, перелистывающему страницы, выделяющему ключевые разделы и запрашивающему у помощника краткие изложения. В этом видео вы узнаете:
Почему большие контекстные окна на самом деле не решают задачи рассуждений с длинным входным сигналом
Что такое «разложение контекста» и почему оно ухудшает производительность в сложных задачах
Как RLM-модели отделяют рассуждения от хранения, выгружая контекст во внешнее рабочее пространство
Почему точность GPT-5 падает на таких бенчмарках, как Oolong Pairs, и как RLM-модели это исправляют
Как RLM-модели обрабатывают миллионы токенов с меньшими затратами, чем перебор вариантов
Почему простое перемещение контекста за пределы модели уже обеспечивает огромный прирост производительности
Как рекурсивные вызовы, вспомогательные модели и пошаговое исследование обеспечивают надежный синтез
Что это значит для агентов ИИ, работающих с огромными кодовыми базами, исследовательскими корпусами, логами и графами знаний
Ключевая идея очень важна:
Будущее ИИ заключается не в том, сколько он может запомнить, а в том, насколько интеллектуально он может ориентироваться в информации, которую он не хранит в памяти.

Рекурсивные языковые модели представляют собой один из важнейших прорывов в области вывода информации, указывающий на будущее, где системы ИИ будут рассуждать больше как инженеры, а не как перегруженные попугаи.
Если вас интересует настоящий следующий шаг после законов масштабирования, то это он.