Скачать или смотреть [DeepSeek ENGRAM] Масштабирование больших языковых моделей. Делаем модели LLM умнее и мощнее: ENG...

Мы масштабируем большие языковые модели, добавляя всё больше «экспертов» с помощью метода «смешивания экспертов» (Mixture-of-Experts, MoE). Мы сосредоточились на «условных вычислениях» — используя только необходимые нам части мозга.

Но мы игнорировали вопиющую неэффективность. Энграммы DeepSeek.

Зачем мы используем самые передовые нейронные слои для восстановления элементарных фактов, таких как «Париж — столица Франции» или «импорт numpy как np»? Это всё равно что нанять учёного НАСА в качестве «живой телефонной книги». Это работает, но это пустая трата блестящего ума.

Сегодня мы разберём прорыв DeepSeek AI и Пекинского университета, который представляет собой «третий столп» масштабирования ИИ: условную память.

Добро пожаловать в эру энграмм.
Энграмма — это не просто ещё один слой; это фундаментальный структурный сдвиг. Это позволяет нам отказаться от «имитации» памяти с помощью дорогостоящих вычислений и перейти к собственному механизму поиска со сложностью O(1).

Модернизируя классические N-граммовые встраивания и интегрируя их в архитектуру Transformer, Engram предоставляет моделям «шпаргалку» для статических лингвистических шаблонов. Вместо того чтобы вычислять следующий токен с нуля, модель может просто «взять» его из огромного банка памяти.