Del texto al siguiente token
Un Transformer decoder real y entrenado, de una capa (dmodel = 8, 2 cabezas, dff = 16), que se ejecuta en tu navegador. Escribe una frase y recorre las 13 etapas: en cada una verás la forma de los tensores, la ecuación, los números y el código PyTorch equivalente.
Es un modelo diminuto pero entrenado de verdad: sus 832 parámetros se ajustaron con PyTorch sobre 30.000 frases sintéticas con estas 37 palabras. Por eso completa «el gato come» con «pescado» o «el sol sale por la» con «mañana», pero no sabe nada fuera de su pequeño mundo. Las operaciones, las formas y los números son los mismos que en un modelo grande.