Скачать или смотреть OSDI '25 — PipeThreader: программно-определяемый конвейер для эффективного выполнения DNN

PipeThreader: Программно-определяемый конвейер для эффективного выполнения глубоких нейронных сетей

Юй Чэн, Лэй Ван и Инин Ши, Факультет компьютерных наук Пекинского университета; Юйцин Ся, Линсяо Ма, Цзилун Сюэ и Ян Ван, Microsoft Research; Чживэнь Мо, Имперский колледж Лондона и Microsoft Research; Фэйян Чэнь, Шанхайский университет Цзяотун и Microsoft Research; Фань Ян и Мао Ян, Microsoft Research; Чжи Ян, Факультет компьютерных наук Пекинского университета

Для эффективного использования разнородных специализированных аппаратных компонентов в современных графических процессорах, таких как тензорные ядра и тензорные ускорители памяти, в данной статье представлен PipeThreader, новый компилятор глубоких нейронных сетей. PipeThreader предлагает перенести функции планирования с аппаратного на программное обеспечение, чтобы обеспечить более эффективную и сложную конвейеризацию вычислений с минимальными ручными усилиями. Это достигается благодаря sTask-graph, новой абстракции вычислений DNN, иерархической аппаратной абстракции, которая охватывает возможности специализированных устройств, и новым примитивам планирования. В результате PipeThreader может находить эффективное конвейерное планирование для хорошо изученных архитектур DNN, таких как FlashAttention, достигая сопоставимой или даже превосходящей производительности. Кроме того, он может находить новые схемы конвейеров для развивающихся моделей, таких как Mamba2, обеспечивая значительно более высокую производительность по сравнению с современными реализациями, разработанными вручную. Код доступен по адресу https://github.com/tile-ai/tilelang.

Полная программа OSDI '25 доступна по адресу https://www.usenix.org/conference/osd...