ML/AIMLE·AIMachine Learning Engineering
Paper · RNN · 1997

Long Short-Term Memory

S. Hochreiter, J. Schmidhuber

Neural Computation 9(8), 1735–1780

Problema que aborda

Las RNN no aprendían dependencias largas porque el gradiente se desvanecía o explotaba.

Aportación principal

Una celda con memoria y puertas multiplicativas que mantienen el flujo de error constante.

Arquitectura

Celda LSTM (en la versión original, puertas de entrada y salida; la puerta de olvido se añadió después).

Relevancia histórica

Dominó traducción, voz y series temporales hasta la llegada del Transformer.

Implementaciones

torch.nn.LSTM

Referencia

S. Hochreiter, J. Schmidhuber (1997). «Long Short-Term Memory». Neural Computation 9(8), 1735–1780.

← Volver a la biblioteca