σ(w·z + b)
derivada σ′
zona saturada (σ′ < 10 % del máximo)
tanh
ReLU
σ(z) = 1 / (1 + e−z) convierte cualquier número real en un valor entre 0 y 1. El punto recorre la curva y muestra en cada momento el valor de salida, la pendiente (su derivada) y dónde se «satura». Arrastra sobre la gráfica para moverlo tú, o cambia el peso y el sesgo para deformar la curva.
La pendiente se calcula con la propia salida, sin volver a exponenciar. Por eso es tan barata en backpropagation.
La pendiente nunca pasa de 0.25 (en u = 0). En una red de 10 capas el gradiente puede quedar multiplicado por 0.25¹⁰ ≈ 0.000001: es el desvanecimiento del gradiente.
Como su salida está entre 0 y 1, se usa en la última capa para clasificación binaria. Softmax es su generalización a varias clases.