Problema que aborda
Cómo entrenar redes con capas ocultas, cuyos pesos no tienen un valor objetivo directo.
Aportación principal
Popularizó la retropropagación del error: la regla de la cadena para calcular el gradiente de todos los pesos.
Arquitectura
Redes multicapa con activaciones sigmoides.
Relevancia histórica
Es el algoritmo con el que se entrenan prácticamente todas las redes neuronales actuales.
Implementaciones
loss.backward() en PyTorch
Experimenta con la idea en el laboratorio relacionado.
Referencia
D. E. Rumelhart, G. E. Hinton, R. J. Williams (1986). «Learning representations by back-propagating errors». Nature 323, 533–536.