Скачать или смотреть mHC: Гиперсвязи, ограниченные многообразием

mHC: Гиперсвязи с ограничениями на многообразии

Чжэнда Се, Исюань Вэй, Хуаньци Цао, Чэнган Чжао, Чэнци Дэн, Цзяши Ли, Дамай Дай, Хуацзо Гао, Цзян Чан, Лян Чжао, Шанъянь Чжоу, Чжэань Сюй, Чжэнъянь Чжан, Вандин Цзэн, Шэндин Ху, Юцин Ван, Цзинъян Юань, Лин Ван, Вэньфэн Лян

В последнее время исследования, иллюстрируемые гиперсвязями (HC), расширили повсеместно распространенную парадигму остаточных связей, разработанную за последнее десятилетие, за счет увеличения ширины остаточного потока и диверсификации моделей связности. Хотя это дает существенное повышение производительности, такая диверсификация принципиально нарушает свойство отображения идентичности, присущее остаточным связям, что приводит к серьезной нестабильности обучения и ограничению масштабируемости, а также влечет за собой значительные накладные расходы на доступ к памяти. Для решения этих задач мы предлагаем гиперсвязи с ограничениями на многообразии (mHC) — общую структуру, которая проецирует остаточное пространство связей HC на конкретное многообразие для восстановления свойства тождественного отображения, одновременно обеспечивая строгую оптимизацию инфраструктуры для повышения эффективности. Эмпирические эксперименты показывают, что mHC эффективен для обучения в больших масштабах, предлагая ощутимое повышение производительности и превосходную масштабируемость. Мы предполагаем, что mHC, как гибкое и практичное расширение HC, будет способствовать более глубокому пониманию проектирования топологической архитектуры и предложит перспективные направления для развития фундаментальных моделей.

https://arxiv.org/abs/2512.24880