Скачать или смотреть Ускоряем синтез: от TensorRt до CUDA - Salute Al Day 14.12.2022

Когда TensorRt недостаточно: ускоряем синтез на CUDA.
Спикер - Артём Хорошев, Senior C++ developer в группе разработки синтеза речи
Ведущий - Фёдор Минькин, руководитель SaluteSpeech

При миграции сервиса синтеза речи с CPU нод на ноды с GPU ускорителями встретились с проблемой, что одна из важных компонент синтеза на GPU с использованием TensorRT стала работать ощутимо медленнее.

Так происходит из-за того, что наша архитектура нейронной сети рекурентная – нам надо успевать отработать 240 последовательных итераций за 10мс (~42 микросекунды на один вызов). TensorRT не дает сделать полноценный fusion (склеивание) большого количества итераций в одну, из-за чего существенно теряет в производительности.

Мы взяли низкоуровневый инструмент (CUDA), и написали решение, которое опережает по производительности TensorRT в несколько раз.

Поговорим о том, какие особенности архитектуры GPU и решаемой задачи являются определяющими и как мы справились с проблемой, написав низкоуровневое решение. Поделится деталями разработки решения и ответит на вопросы участников.

Salute AI Day
Неформальные онлайн-встречи по средам с командами разработки и исследований SberDevices. Присоединяйтесь https://t.me/SaluteTechGroup