Problema que aborda
Ajustar todos los parámetros de un modelo enorme es carísimo.
Aportación principal
Congelar los pesos y aprender actualizaciones de bajo rango ΔW = B·A en las capas de atención.
Arquitectura
Adaptadores de bajo rango.
Relevancia histórica
La forma estándar de hacer fine-tuning de LLM con poco hardware.
Implementaciones
peft.LoraConfig
Referencia
E. J. Hu et al. (2022). «LoRA: Low-Rank Adaptation of Large Language Models». ICLR 2022.