Problema que aborda
Los modelos de visión necesitaban etiquetas fijas y costosas.
Aportación principal
CLIP: entrenar imagen y texto en un espacio común con aprendizaje contrastivo sobre pares imagen–texto de internet.
Arquitectura
Encoder de imagen (ResNet o ViT) + encoder de texto Transformer.
Relevancia histórica
Base de muchos modelos multimodales y generadores de imágenes.
Implementaciones
open_clip
Referencia
A. Radford et al. (2021). «Learning Transferable Visual Models From Natural Language Supervision». ICML 2021.