Скачать или смотреть Миниатюрная рекурсивная модель действительно работает | Теория + Реализация с нуля

В наши дни у нас есть LLM-модели, способные решать сложные задачи. Эти задачи могут быть самыми разными: от написания стихов до математических вычислений, придумывания шуток, сложных рассуждений и работы с символами.

Эти LLM-модели имеют миллиарды параметров и огромны по размеру. Они не помещаются на нашем компьютере, и для запуска этих моделей приходится использовать графические процессоры.

Эти LLM-архитектуры основаны на блоке Transformer, который был изобретён в 2017 году. С тех пор эта архитектура стала шаблоном для доработки LLM-моделей, их улучшения и повышения их эффективности как на этапе предобучения, так и на этапе постобучения.

Однако никто не задумывался, оптимизированы ли эти сложные архитектуры для всех видов задач, с которыми мы сталкиваемся? Например, для задач программирования может быть оптимальной другая архитектура, а для решения сложных судоку — ещё более простая. Исследователи настолько зациклены на использовании традиционной LLM-архитектуры, что мы перестали думать о фундаментальных основах.

Вот почему, когда я наткнулся на эту статью, мне очень понравился сам процесс переосмысления архитектуры, который позволяет нам перейти от входа к выходу с нуля, не полагаясь на то, что работало в прошлом.

Это видео объясняет теорию и реализацию с нуля, идеально подходит для новичков: