Семинар 22. Анализ методов сегментации изображений на основе запросов

Семинар 22. Анализ методов сегментации изображений на основе запросов & Применение адаптеров к трансформерам в задаче мультиклассовой сегментации

Использование запросов для повышения качества сегментации изображений - актуальная задача для воплощенного искусственного интеллекта (Embodied AI). На семинаре будет представлен анализ современных нейросетевых методов, использующих текстовые запросы и запросы категорий для предсказания масок запрашиваемых объектов. Также будут рассмотрены методы, в которых действия интеллектуального агента направлены на улучшение качества сегментации (активная сегментация), и наборы данных для управляемой сегментации.

Отдельно будет рассмотрено применение адаптеров к трансформерам в задаче мультиклассовой сегментации. Добавление эмбеддингов задачи и адаптеров в трансформерные сети позволяет генерировать бинарные маски отдельно для каждого класса. Такой подход позволяет строить универсальные модели, которые удобно расширять на произвольное количество категорий без изменения архитектуры нейронной сети.

Презентация:

Подписывайтесь на каналы нашего Центра, чтобы следить за новостями о стажировках, магистратуре, аспирантуре и других интересных событиях:
ВК — https://vk.com/cogmodel
Телеграм — https://t.me/cogmodel
Магистратура и аспирантра — https://cogmodel.mipt.ru/applicants