¡Cómo programar un Transformer desde CERO! (From Scratch!)

Описание к видео ¡Cómo programar un Transformer desde CERO! (From Scratch!)

Código del video:
https://github.com/JACantoral/DL_fund...

Videos previos acerca de Transformers
Parte 1 -    • Transformers - Attention is all you n...  
Parte 2 -    • Transformers - ¡Attention is all you ...  
Parte 3 -    • Transformers - ¡Attention is all you ...  

Embeddings
Desde cero -    • ¿Cómo entrenar embeddings desde cero?  
Teoria -    • ¿Qué son Word EMBEDDINGS? ¡Explorando...  

Cómo codificar un Transformer original de "Attention is All You Need" desde cero usando PyTorch

En este tutorial, explico cómo implementar desde cero el famoso modelo de Transformer presentado en el artículo "Attention is All You Need". Utilizando PyTorch, cubriremos todos los aspectos fundamentales del Transformer, incluyendo encoder, decoder, las capas de multi head attention, y posicional encoding.

Комментарии

Информация по комментариям в разработке