Problema que aborda
Cada tarea necesitaba su propio fine-tuning con datos etiquetados.
Aportación principal
GPT-3, de 175.000 millones de parámetros, resuelve tareas nuevas con unos pocos ejemplos en el prompt (in-context learning).
Arquitectura
Decoder Transformer de 96 capas.
Relevancia histórica
Demostró el efecto de la escala e inauguró la era de los LLM.
Implementaciones
—
Referencia
T. B. Brown et al. (2020). «Language Models are Few-Shot Learners». NeurIPS 2020.