Una red neuronal aprende a separar puntos naranjas de azules en un plano. El fondo muestra lo que la red predice en cada zona, y cada neurona de la red enseña en miniatura qué parte del plano «le enciende». Cambia los datos, la arquitectura y las activaciones mientras entrena.
Activar x₁² y x₂² es «ingeniería de características»: le das a la red información que ya no tiene que descubrir.
Entropía cruzada binaria. Si la línea de test se separa hacia arriba de la de entrenamiento, la red está memorizando.
Círculo con 0 capas ocultas. Sin capas ocultas la red es una regresión logística: solo puede trazar una recta. Ahora activa x₁² y x₂²: lo resuelve sin capas.
XOR con 1 capa de 1 neurona, luego 2, luego 4. Cada neurona aporta un corte recto; la capa siguiente los combina.
Espiral con 4 capas de 8 y ReLU. Mira las miniaturas: la primera capa ve rectas, las siguientes forman figuras cada vez más complejas.
Activación lineal con 4 capas. Por muchas capas que pongas, la frontera sigue siendo una recta: sin no-linealidad, apilar capas no sirve.
Ruido 50 %, 10 % de datos para entrenar, 4×8 neuronas. La frontera se retuerce alrededor de puntos sueltos y la pérdida de test sube: sobreajuste. Sube la regularización L2.