Problema que aborda
Las RNN procesan en secuencia, lo que limita el paralelismo y las dependencias largas.
Aportación principal
El Transformer: solo atención multi-cabeza y capas feed-forward, con codificación posicional.
Arquitectura
Encoder–decoder de 6 + 6 capas, d_model = 512, 8 cabezas en el modelo base.
Relevancia histórica
La arquitectura de BERT, GPT y prácticamente todos los LLM.
Implementaciones
torch.nn.Transformer
Experimenta con la idea en el laboratorio relacionado.
Referencia
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, I. Polosukhin (2017). «Attention Is All You Need». NeurIPS 2017.