Скачать или смотреть InfLLM-V2: Переключаемое внимание для длинных LLM

В этом выпуске обзора исследований ИИ Алекс обсуждает статью:
«InfLLM-V2: Переключаемое внимание с плотной на разреженную память для плавной адаптации с коротких на длинные (2509.24663v1)»
Авторы представляют InfLLM-V2 — обучаемую структуру разреженной памяти, которая повторно использует параметры плотной памяти с помощью архитектурной модификации без параметров, сохраняя стандартный рабочий процесс «предобучение — короткие, тонкая настройка — длинные». Она использует плотную память для коротких входных данных и плавно переключается на разреженную память для длинных последовательностей, обеспечивая эффективность при любой длине. Оптимизированная реализация дополнительно снижает накладные расходы, обеспечивая практическое ускорение. Эксперименты показывают до 4 раз более высокую скорость обработки при сохранении 98,1% производительности в задачах понимания длинного контекста и 99,7% в задачах на цепочку мыслей. URL статьи: https://arxiv.org/pdf/2509.24663

#ИИ #МашинноеОбучение #ГлубокоеОбучение #LLM #Трансформатор #SparseAttention #ДлинныйКонтекст