Скачать или смотреть [Подкаст] NeurIPS 2025: Премия за лучшую статью: простое решение для ИИ

В представленных документах описываются важные исследования, касающиеся реализации и эффективности механизмов стробирования внимания в рамках больших языковых моделей (LLM). Эта работа, отмеченная устным докладом на конференции NeurIPS 2025, всесторонне изучает различные варианты стробирования для усовершенствования стандартной архитектуры преобразователя. Основной вывод показывает, что применение простого, специфичного для головы сигмоидального стробирования сразу после выхода масштабированного скалярного произведения внимания (SDPA) даёт наиболее существенные преимущества. Эта модификация вносит существенную нелинейность и разреженность, зависящую от входных данных, которые принципиально повышают стабильность обучения за счёт сглаживания пиков потерь. Что наиболее важно, разреженное стробирование эффективно устраняет давний феномен снижения внимания, что обеспечивает превосходную производительность и генерализацию в длительном контексте. Подробности реализации и конфигурации модели опубликованы на GitHub, что отражает фактическое применение механизма в таких моделях, как Qwen3-Next.

https://openreview.net/pdf?id=1b7whO4SfY
https://github.com/qiuzh20/gated_atte...

#ai #attention #largelanguagemodels #research