Arquitectura Transformer
Bloques de atención multi-cabeza y feed-forward con conexiones residuales y normalización.
LLM
Cómo funcionan los modelos de lenguaje grandes, de la tokenización a los agentes.
Laboratorios de esta área
Tokenización
Partir el texto en unidades (a menudo subpalabras BPE) y asignar a cada una un id.
Embeddings
Cada token id se convierte en un vector aprendido de dimensión d_model.
Self-Attention
Cada token calcula cuánto atender a los demás de la misma secuencia.
Q, K y V
Proyecciones de cada token: qué busca (Query), qué ofrece (Key) y qué transmite (Value).
Multi-Head Attention
Varias atenciones en paralelo, cada una en su subespacio, concatenadas al final.
Positional Encoding
Información de posición sumada a los embeddings, porque la atención por sí sola no conoce el orden.
Pretraining
Entrenar con enormes cantidades de texto a predecir el siguiente token.
Artículo en preparación
Fine-tuning
Adaptar el modelo preentrenado a instrucciones o dominios con datos supervisados o preferencias.
Artículo en preparación
RAG
Recuperar documentos relevantes con búsqueda vectorial e incluirlos en el prompt para responder con datos propios.
Artículo en preparación
Agentes IA
LLM que planifican y usan herramientas (APIs, código, búsqueda) en un bucle para completar tareas.
Artículo en preparación
Modelos locales
Ejecutar LLM abiertos en tu propio hardware, normalmente cuantizados (GGUF, llama.cpp, Ollama).
Artículo en preparación
Inferencia
Generar tokens uno a uno: KV cache, batching, cuantización y estrategias de muestreo.