Transformer e Meccanismi di Attenzione: modelli che rivoluzionano l'AI - Vincenzo Maritati

Transformer e Meccanismi di Attenzione: modelli che stanno rivoluzionando l'Intelligenza Artificiale - PyCon Italia 2022

Analizziamo le caratteristiche che permettono alle architetture di reti neurali artificiali basate sui Transformer di diventare i nuovi modelli SotA in tutti i domini applicativi. Descriveremo dalle tecniche seq-2-seq ai meccanismi di attenzione, dai vettori posizionali al Perceiver-IO.
Le architetture di rete neurale artificiale basate sui Transformer stanno rivoluzionando il mondo del Deep Learning, permettendo ai relativi nuovi modelli di surclassare tutte le precedenti soluzioni allo stato dell'arte.
Oltre che in ambito Natural Language Processing, dove i Transformer sono nati e sono stati fatti evolvere, oggi possiamo sfruttare lo stesso approccio in qualsiasi altro ambito, come in Computer Vision o per l'analisi di segnali industriali.
Lo scopo del talk è di spiegare in maniera comprensibile il funzionamento dei principali componenti di queste architetture per scoprirne i segreti e capirne il funzionamento.
Slide:


Speaker: Vincenzo Maritati