Problema que aborda
Los modelos de lenguaje preentrenados solo miraban el contexto en una dirección.
Aportación principal
Encoder bidireccional preentrenado con modelado de lenguaje enmascarado y predicción de la siguiente frase.
Arquitectura
Encoder Transformer (base: 12 capas; large: 24).
Relevancia histórica
Revolucionó la comprensión del lenguaje y los buscadores.
Implementaciones
transformers.BertModel
Referencia
J. Devlin, M.-W. Chang, K. Lee, K. Toutanova (2019). «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding». NAACL 2019.