Problema que aborda
Aprovechar texto sin etiquetar para mejorar tareas de lenguaje con pocos datos.
Aportación principal
Preentrenamiento generativo con un decoder Transformer seguido de fine-tuning supervisado.
Arquitectura
Decoder Transformer de 12 capas.
Relevancia histórica
Origen de la familia GPT.
Implementaciones
transformers.OpenAIGPTModel
Referencia
A. Radford, K. Narasimhan, T. Salimans, I. Sutskever (2018). «Improving Language Understanding by Generative Pre-Training». Informe técnico de OpenAI.