Redes neuronales
Composición de capas lineales y activaciones no lineales entrenada con descenso de gradiente.
Deep Learning
Modelos formados por capas de neuronas que aprenden representaciones jerárquicas: visión, audio, texto.
Laboratorios de esta área
Perceptrón
La neurona original de Rosenblatt: suma ponderada y umbral. Solo separa clases linealmente separables.
MLP
Perceptrón multicapa: capas ocultas totalmente conectadas capaces de aproximar funciones no lineales.
Backpropagation
La regla de la cadena aplicada de la salida hacia la entrada para obtener el gradiente de cada peso.
Descenso de gradiente
Actualizar los pesos un paso en contra del gradiente de la pérdida; variantes SGD, Momentum, Adam.
CNN
Redes convolucionales: filtros compartidos que recorren la imagen y detectan bordes, texturas y objetos.
Artículo en preparación
RNN
Redes recurrentes que procesan secuencias manteniendo un estado oculto paso a paso.
Artículo en preparación
LSTM
RNN con puertas que controlan qué recordar y qué olvidar, para dependencias largas.
Artículo en preparación
Attention
Cada elemento de una secuencia combina información de los demás ponderada por relevancia.
Transformers
Arquitectura basada solo en atención y capas feed-forward; base de los LLM actuales.
Embeddings
Vectores densos que representan palabras, imágenes o usuarios de forma que la cercanía refleja similitud.
Artículo en preparación
Fine-tuning
Continuar el entrenamiento de un modelo preentrenado con datos de una tarea concreta.
Artículo en preparación
LoRA / QLoRA
Fine-tuning eficiente: se congelan los pesos y se entrenan matrices de bajo rango; QLoRA además cuantiza a 4 bits.
Artículo en preparación