Papers fundamentales
17 trabajos que definieron el campo, ordenados por año. Cada ficha resume el problema, la aportación, la arquitectura y dónde está implementado hoy. Solo se incluyen referencias reales y verificables.
1986Learning representations by back-propagating errorsD. E. Rumelhart, G. E. Hinton, R. J. Williams · Nature 323, 533–536Redes neuronales
- Problema
- Cómo entrenar redes con capas ocultas, cuyos pesos no tienen un valor objetivo directo.
- Aportación
- Popularizó la retropropagación del error: la regla de la cadena para calcular el gradiente de todos los pesos.
- Arquitectura
- Redes multicapa con activaciones sigmoides.
- Relevancia
- Es el algoritmo con el que se entrenan prácticamente todas las redes neuronales actuales.
- Implementación
loss.backward() en PyTorch· laboratorio relacionado
1997Long Short-Term MemoryS. Hochreiter, J. Schmidhuber · Neural Computation 9(8), 1735–1780RNN
- Problema
- Las RNN no aprendían dependencias largas porque el gradiente se desvanecía o explotaba.
- Aportación
- Una celda con memoria y puertas multiplicativas que mantienen el flujo de error constante.
- Arquitectura
- Celda LSTM (en la versión original, puertas de entrada y salida; la puerta de olvido se añadió después).
- Relevancia
- Dominó traducción, voz y series temporales hasta la llegada del Transformer.
- Implementación
torch.nn.LSTM
1998Gradient-based learning applied to document recognitionY. LeCun, L. Bottou, Y. Bengio, P. Haffner · Proceedings of the IEEE 86(11), 2278–2324CNN
- Problema
- Reconocer caracteres manuscritos sin diseñar las características a mano.
- Aportación
- Redes convolucionales entrenadas de extremo a extremo (LeNet-5) y el dataset MNIST.
- Arquitectura
- Convoluciones, submuestreo y capas totalmente conectadas.
- Relevancia
- Estableció la receta de las CNN que luego escaló a ImageNet.
- Implementación
torch.nn.Conv2d
2001Random ForestsL. Breiman · Machine Learning 45(1), 5–32Ensembles
- Problema
- Los árboles de decisión individuales son inestables y sobreajustan.
- Aportación
- Combinar árboles decorrelacionados mediante bootstrap y selección aleatoria de variables en cada nodo; error out-of-bag.
- Arquitectura
- Conjunto de árboles CART no podados que votan.
- Relevancia
- Uno de los algoritmos más usados en datos tabulares por su robustez.
- Implementación
sklearn.ensemble.RandomForestClassifier· laboratorio relacionado
2012ImageNet Classification with Deep Convolutional Neural NetworksA. Krizhevsky, I. Sutskever, G. E. Hinton · NeurIPS 2012Visión artificial
- Problema
- Clasificar 1,2 millones de imágenes de ImageNet en 1.000 categorías.
- Aportación
- Una CNN profunda entrenada en GPU con ReLU y dropout que redujo drásticamente el error en ILSVRC-2012.
- Arquitectura
- AlexNet: 5 capas convolucionales y 3 totalmente conectadas.
- Relevancia
- Marcó el inicio de la era moderna del deep learning.
- Implementación
torchvision.models.alexnet
2014Dropout: A Simple Way to Prevent Neural Networks from OverfittingN. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov · JMLR 15, 1929–1958Regularización
- Problema
- Las redes grandes sobreajustan con facilidad.
- Aportación
- Apagar neuronas al azar durante el entrenamiento, lo que equivale a promediar muchas subredes.
- Arquitectura
- Aplicable a cualquier capa.
- Relevancia
- Técnica de regularización estándar en redes profundas.
- Implementación
torch.nn.Dropout· laboratorio relacionado
2015Adam: A Method for Stochastic OptimizationD. P. Kingma, J. Ba · ICLR 2015Optimización
- Problema
- Elegir una tasa de aprendizaje que funcione para todos los parámetros.
- Aportación
- Pasos adaptativos por parámetro con estimaciones de primer y segundo momento del gradiente y corrección de sesgo.
- Arquitectura
- Optimizador.
- Relevancia
- El optimizador por defecto en la mayoría de redes profundas.
- Implementación
torch.optim.Adam· laboratorio relacionado
2015Human-level control through deep reinforcement learningV. Mnih et al. · Nature 518, 529–533Aprendizaje por refuerzo
- Problema
- Aprender a jugar a partir de los píxeles de la pantalla y la puntuación.
- Aportación
- Deep Q-Network: Q-learning con una CNN, experience replay y red objetivo; nivel humano en muchos juegos de Atari 2600.
- Arquitectura
- CNN que estima el valor Q de cada acción.
- Relevancia
- Punto de partida del deep reinforcement learning.
- Implementación
Stable-Baselines3 DQN
2016Deep Residual Learning for Image RecognitionK. He, X. Zhang, S. Ren, J. Sun · CVPR 2016Visión artificial
- Problema
- Las redes muy profundas eran más difíciles de optimizar que las menos profundas.
- Aportación
- Conexiones residuales: cada bloque aprende una corrección que se suma a su entrada.
- Arquitectura
- ResNet, con variantes de hasta 152 capas en ImageNet.
- Relevancia
- Las conexiones residuales están en casi toda arquitectura moderna, incluido el Transformer.
- Implementación
torchvision.models.resnet50
2016XGBoost: A Scalable Tree Boosting SystemT. Chen, C. Guestrin · KDD 2016Ensembles
- Problema
- Hacer gradient boosting de árboles rápido y escalable.
- Aportación
- Objetivo regularizado, algoritmo consciente de la dispersión de los datos y optimizaciones de sistema.
- Arquitectura
- Árboles de boosting.
- Relevancia
- Referente en competiciones y en la industria con datos tabulares.
- Implementación
xgboost.XGBClassifier
2017Attention Is All You NeedA. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, Ł. Kaiser, I. Polosukhin · NeurIPS 2017Transformers
- Problema
- Las RNN procesan en secuencia, lo que limita el paralelismo y las dependencias largas.
- Aportación
- El Transformer: solo atención multi-cabeza y capas feed-forward, con codificación posicional.
- Arquitectura
- Encoder–decoder de 6 + 6 capas, d_model = 512, 8 cabezas en el modelo base.
- Relevancia
- La arquitectura de BERT, GPT y prácticamente todos los LLM.
- Implementación
torch.nn.Transformer· laboratorio relacionado
2018Improving Language Understanding by Generative Pre-TrainingA. Radford, K. Narasimhan, T. Salimans, I. Sutskever · Informe técnico de OpenAIGPT
- Problema
- Aprovechar texto sin etiquetar para mejorar tareas de lenguaje con pocos datos.
- Aportación
- Preentrenamiento generativo con un decoder Transformer seguido de fine-tuning supervisado.
- Arquitectura
- Decoder Transformer de 12 capas.
- Relevancia
- Origen de la familia GPT.
- Implementación
transformers.OpenAIGPTModel
2019BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingJ. Devlin, M.-W. Chang, K. Lee, K. Toutanova · NAACL 2019BERT
- Problema
- Los modelos de lenguaje preentrenados solo miraban el contexto en una dirección.
- Aportación
- Encoder bidireccional preentrenado con modelado de lenguaje enmascarado y predicción de la siguiente frase.
- Arquitectura
- Encoder Transformer (base: 12 capas; large: 24).
- Relevancia
- Revolucionó la comprensión del lenguaje y los buscadores.
- Implementación
transformers.BertModel
2020Language Models are Few-Shot LearnersT. B. Brown et al. · NeurIPS 2020GPT
- Problema
- Cada tarea necesitaba su propio fine-tuning con datos etiquetados.
- Aportación
- GPT-3, de 175.000 millones de parámetros, resuelve tareas nuevas con unos pocos ejemplos en el prompt (in-context learning).
- Arquitectura
- Decoder Transformer de 96 capas.
- Relevancia
- Demostró el efecto de la escala e inauguró la era de los LLM.
- Implementación
—
2020Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksP. Lewis et al. · NeurIPS 2020RAG
- Problema
- El conocimiento guardado en los parámetros es difícil de actualizar y de citar.
- Aportación
- Combinar un recuperador denso de documentos con un generador seq2seq entrenados conjuntamente.
- Arquitectura
- Recuperador DPR + generador BART.
- Relevancia
- Dio nombre y forma a los sistemas RAG actuales.
- Implementación
LangChain, LlamaIndex, pgvector
2021Learning Transferable Visual Models From Natural Language SupervisionA. Radford et al. · ICML 2021Multimodal
- Problema
- Los modelos de visión necesitaban etiquetas fijas y costosas.
- Aportación
- CLIP: entrenar imagen y texto en un espacio común con aprendizaje contrastivo sobre pares imagen–texto de internet.
- Arquitectura
- Encoder de imagen (ResNet o ViT) + encoder de texto Transformer.
- Relevancia
- Base de muchos modelos multimodales y generadores de imágenes.
- Implementación
open_clip
2022LoRA: Low-Rank Adaptation of Large Language ModelsE. J. Hu et al. · ICLR 2022Fine-tuning
- Problema
- Ajustar todos los parámetros de un modelo enorme es carísimo.
- Aportación
- Congelar los pesos y aprender actualizaciones de bajo rango ΔW = B·A en las capas de atención.
- Arquitectura
- Adaptadores de bajo rango.
- Relevancia
- La forma estándar de hacer fine-tuning de LLM con poco hardware.
- Implementación
peft.LoraConfig