¡Atención! (Sequence to sequence with attention): ¡Traductor Inglés a Español! (Parte 2)

Video previo modelos Secuencia a Secuencia:
   • Sequence to Sequence (Seq2Seq): ¡Trad...  


Este video se centra en uno de los avances más fascinantes en el campo del Procesamiento del Lenguaje Natural (PLN): el modelo Secuencia a Secuencia (Seq2Seq) con mecanismo de Atención, utilizando como ejemplo un traductor de inglés a español.

Introducción al mecanismo de Atención: qué es, cómo funciona, y por qué representa un gran avance para los modelos Seq2Seq.
Cómo el mecanismo de Atención mejora la capacidad de los modelos Seq2Seq, especialmente en tareas de traducción automática.
Un vistazo a cómo el mecanismo de Atención permite al modelo "enfocarse" en partes relevantes de la entrada al generar la salida.

Este video presenta las bases teóricas necesarias para entender cómo funcionan estos modelos avanzados y preparará el escenario para nuestro próximo video, donde abordaremos la implementación práctica de estos conceptos mediante código, seguido de la teoría detrás de un transformador.

Paper original que presenta esta idea:
Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. 3rd International Conference on Learning Representations, ICLR 2015 - Conference Track Proceedings.