Lasso contra Ridge

Regularizar es añadir a la pérdida un castigo por tener pesos grandes. L2 (Ridge) castiga su cuadrado y los encoge todos poco a poco. L1 (Lasso) castiga su valor absoluto y pone algunos exactamente a cero, así que además elige qué variables usar. Mueve λ y compara los dos.

0.30
1 · La geometría con dos pesos

Por qué L1 produce ceros

curvas de nivel de la pérdida rombo L1 y su camino círculo L2 y su camino ✕ mínimo sin regularizar
2 · Un modelo real con 8 variables

Precio de una vivienda

Regresión lineal entrenada con solo 30 viviendas simuladas (y evaluada con 400 nuevas) con variables estandarizadas. Solo 4 influyen de verdad en el precio; «habitaciones» está muy correlacionada con los m², y el portal y la letra de la puerta son ruido puro. La raya negra de cada fila es el coeficiente real.

Coeficientes a 0 (L1)—
Coeficientes a 0 (L2)—
Error en test (L1)—
Error en test (L2)—
coeficiente con L1coeficiente con L2valor real

Camino de regularización

Valor de cada coeficiente según λ (eje horizontal logarítmico). La línea vertical es la λ actual.

L1 · Lasso

L2 · Ridge

Qué probar

1

Pulsa «Barrer λ» y mira la geometría. El camino naranja llega al eje horizontal y se queda pegado a él: w₂ = 0. El azul se acerca al origen en curva sin tocar nunca un eje.

2

Mira los caminos de las 8 variables. En Lasso las líneas van muriendo una a una en cero. En Ridge todas bajan juntas hacia cero pero ninguna llega.

3

Pon λ ≈ 1. Lasso anula justo las cuatro variables que no influyen (habitaciones, planta, portal y letra) y conserva las cuatro buenas: selección de variables automática.

4

Fíjate en m² y habitaciones. Ridge reparte el peso entre las dos variables correlacionadas; Lasso se queda con una y anula la otra.

5

Curva de error en test. Con tan pocos datos, λ = 0 sobreajusta. Lasso baja su error en test cerca de un 20 % hacia λ ≈ 1.5; pasado ese punto, el castigo es tan fuerte que el modelo deja de aprender.

← MLE·AI