Введение в Vision Transformer. Лекция 11. Глубокое обучение

В рамках лекции мы рассматриваем важную архитектуру – Vision Transformer (ViT).
ViT показал выдающиеся результаты на многих датасетах, при этом сама архитектура почти без изменений заимствована из NLP. Трансформер не использует ни свертки, ни рекуррентность, а полностью полагается на механизм внимания,

Это первая из двух лекций на эту тему. В рамках лекции рассмотрены основные строительные блоки ViT:
- Layer Normalization;
- Scaled Dot-Product Attention (SDPA);
- Multi-Head Attention (MHA);
- Feed-Forward Layer.

На следующей лекции мы их этих блоков соберём архитектуру ViT :)


Евгений Разинков -- к.ф.-м.н., директор по науке компании Pr3vision Technologies, основатель парфюмерного AI-проекта http://scented.ai, руководитель отдела машинного обучения и компьютерного зрения Группы компаний FIX.

Tailor-made AI solutions for unique challenges:
https://pr3vision.com

Информация о лекциях:
https://razinkov.ai

Телеграм-канал с анонсами лекций и материалами по машинному обучению:
https://t.me/razinkov_ai