Александр Шалимов — Методы ускорения инференса нейронных сетей на примере видеоаналитики

Подробнее о конференции VideoTech: https://jrg.su/1c4Boc
— —
Скачать презентацию с сайта VideoTech — https://jrg.su/PQMDPE

Спикер освещает актуальные вопросы применения и оптимизации нейронных сетей в реальных условиях. На примере задачи обработки видео с камер дорожного наблюдения и обнаружения транспортных средств он демонстрирует, как методы оптимизации могут значительно улучшить производительность нейронных сетей, применяемых в видеоаналитике.

Цель – продемонстрировать эффективность применения методов оптимизации, таких как квантизация и использование аппаратно-ориентированных библиотек. Александр показывает, что техники и подходы, которые они используют, можно обобщить и применить в любой области, где используются нейронные сети.

Погружаемся в детали проблемы низкой эффективности многих современных нейронных сетей при переносе их в реальные условия и рассматриваем конкретные решения, которые помогли команде преодолеть эти проблемы. Особое внимание уделяем сравнению производительности инференса, написанного на Python и на С++, роли правильного выбора языка программирования, а также оптимизации работы с памятью при ускорении нейронных сетей.

Результатом работы над оптимизацией стало значительное увеличение производительности – с 8 FPS до 30 FPS на конечном устройстве Jetson NX без существенного ухудшения метрик. Это подтверждает, что с правильными методами и подходами даже самые сложные и требовательные к ресурсам модели могут быть оптимизированы для эффективного использования в реальных условиях.

Доклад будет полезен специалистам по машинному обучению, разработчикам в области видеоаналитики и всем, кто заинтересован в повышении эффективности нейронных сетей.

#videoanalytics #neuralnetworks