La atención es la pieza que hizo posibles los modelos de lenguaje como ChatGPT o Claude. Cada palabra lanza una pregunta (Query), cada palabra ofrece una etiqueta (Key) y un contenido (Value). Si la pregunta de una palabra encaja con la etiqueta de otra, la primera absorbe el contenido de la segunda. Así «cansado» descubre que habla del gato, y «ancha», de la calle.
Toca una palabra de la izquierda. El grosor de cada línea es el peso de atención que le da a cada palabra de la derecha.
Cada fila es una palabra que pregunta; cada columna, una palabra consultada. Cada fila suma 100 %. Toca una fila para elegirla.
Se divide por √dk para que, con vectores largos, los productos escalares no se hagan enormes y el softmax no se sature (el mismo problema que la sigmoide en sus extremos). Un transformer real repite esto con 12 a 128 cabezas en paralelo por capa, cada una aprendiendo su propio patrón, y apila decenas de capas.
Aquí los rasgos de cada palabra y las matrices WQ, WK se han elegido a mano con significados legibles (ser vivo, lugar, acción…) para que puedas seguir las cuentas. En un modelo real los embeddings tienen miles de dimensiones sin nombre y las matrices se aprenden con descenso de gradiente y backpropagation, pero la mecánica es exactamente esta.
Cambia entre «…estaba cansado» y «…era demasiado ancha». La frase es casi idéntica, pero la última palabra mira a un sitio distinto: «cansado» busca un ser vivo y «ancha» busca un lugar.
Elige «cruzó». Un verbo pregunta por quién hace la acción y sobre qué: reparte su atención entre «gato» y «calle».
Elige un artículo como «la». No pregunta nada concreto, así que su atención queda repartida casi por igual.
Cabeza 2. Esta cabeza no mira el significado sino la posición: cada palabra atiende sobre todo a la anterior. Los modelos reales combinan muchas cabezas así.
Activa la máscara causal. Cada palabra solo puede mirar hacia atrás, como en GPT o Claude, que escriben palabra a palabra. La matriz se vuelve triangular.