Problema que aborda
Elegir una tasa de aprendizaje que funcione para todos los parámetros.
Aportación principal
Pasos adaptativos por parámetro con estimaciones de primer y segundo momento del gradiente y corrección de sesgo.
Arquitectura
Optimizador.
Relevancia histórica
El optimizador por defecto en la mayoría de redes profundas.
Implementaciones
torch.optim.Adam
Experimenta con la idea en el laboratorio relacionado.
Referencia
D. P. Kingma, J. Ba (2015). «Adam: A Method for Stochastic Optimization». ICLR 2015.