Descenso de gradiente
SGD, Momentum, RMSProp y Adam compiten sobre cuatro superficies de pérdida. Cambia la tasa de aprendizaje, el punto inicial y el ruido.
Teoría rigurosa, código que se ejecuta y simulaciones que se pueden tocar. Desde el álgebra lineal hasta cómo un Transformer elige la siguiente palabra.
SGD, Momentum, RMSProp y Adam compiten sobre cuatro superficies de pérdida. Cambia la tasa de aprendizaje, el punto inicial y el ruido.
Sube el grado del polinomio y observa cómo el error de validación forma una U. Regularización L2 incluida.
La geometría del rombo L1 y el círculo L2, y los caminos de regularización de un modelo de 8 variables.
El árbol crece corte a corte buscando la menor impureza de Gini. Compáralo con un bosque de 25 árboles.
Asignar y actualizar hasta converger. Inicialización aleatoria contra k-means++ y método del codo.
La activación, su derivada y la saturación. Comparación con tanh y ReLU.
Self-attention en NumPy verificada contra PyTorch, un mini-GPT de 248.064 parámetros entrenado en CPU y el recuento exacto de los 124.439.808 parámetros de GPT-2 small.
Leer artículo → Deep Learning · artículo completoUn perceptrón multicapa escrito a mano en NumPy reconoce dígitos con un 97,3 % de acierto; su gradiente coincide con el numérico en 10 decimales.
Leer artículo → Machine Learning · artículo completoBoosting desde cero en 15 líneas, frente a scikit-learn y XGBoost: R² de 0,936 en un problema no lineal, y un caso real donde no supera a la regresión lineal.
Leer artículo →Predecir fallos de máquina con el dataset AI4I 2020 para programar mantenimiento antes de la avería.
Ver el proyecto →