
Los Transformers son un tipo de arquitectura de red neuronal, es decir, una forma de organizar una red de Deep Learning, que se ha convertido en la base de la IA generativa actual. ChatGPT, Claude, Gemini y casi todos los modelos de lenguaje grandes son Transformers. De hecho, la «T» de GPT significa Transformer.
Su gran idea es la atención: la capacidad de fijarse, en cada palabra, en qué otras palabras del texto son más importantes para entenderla.
En esta página
- ¿Qué son los Transformers?
- ¿Cómo funcionan?
- ¿Por qué cambiaron la IA?
- ¿Dónde se usan?
- Limitaciones
- Preguntas frecuentes
¿Qué son los Transformers?
Fueron presentados en 2017 por un equipo de investigadores de Google en el artículo «Attention Is All You Need» («La atención es todo lo que necesitas»). Se diseñaron para traducir textos, pero resultaron tan eficaces que hoy se usan para escribir, programar, resumir, analizar imágenes, generar audio y mucho más.
Nada que ver con los robots de las películas: el nombre viene de que «transforman» una secuencia de entrada en otra de salida.
¿Cómo funcionan?
- El texto se divide en fragmentos llamados tokens, y cada uno se convierte en un embedding: una lista de números que representa su significado.
- Se añade la posición de cada token, para que el modelo sepa el orden de las palabras.
- La atención entra en juego: para cada palabra, el modelo calcula cuánto debe fijarse en cada una de las demás. En «El banco estaba lleno porque era día de pago», la atención relaciona «banco» con «pago» y entiende que se trata de una entidad financiera, no de un asiento.
- Muchas capas repiten el proceso, refinando la comprensión en cada paso.
- El modelo produce la salida: en un modelo de lenguaje, la siguiente palabra más probable. Repitiéndolo, escribe textos completos.
¿Por qué cambiaron la IA?
Antes de los Transformers, los modelos de lenguaje leían el texto palabra por palabra, en orden, y olvidaban lo que había al principio de una frase larga. Los Transformers aportaron dos ventajas decisivas:
- Ven todo el texto a la vez, así que captan relaciones entre palabras muy alejadas.
- Se pueden entrenar en paralelo con miles de chips a la vez, lo que permitió crear modelos enormes con cantidades gigantescas de datos.
Esa combinación hizo posibles los modelos de lenguaje grandes y la explosión de la IA generativa desde 2022.
¿Dónde se usan?
- Asistentes y chatbots: ChatGPT, Claude, Gemini, Copilot.
- Traductores automáticos.
- Buscadores: para entender mejor lo que buscas.
- Visión artificial: analizar imágenes con los llamados Vision Transformers.
- Generación de imágenes, audio y video, combinados con otras técnicas.
- Ciencia: AlphaFold, de DeepMind, usa atención para predecir la forma de las proteínas, un logro reconocido con el Premio Nobel de Química en 2024.
Limitaciones
- Consumen muchos recursos: el cálculo de la atención crece mucho cuando el texto es muy largo.
- Necesitan enormes cantidades de datos y energía para entrenarse.
- No saben si algo es verdad: predicen lo probable, por eso pueden tener alucinaciones.
Preguntas frecuentes
¿Qué significa GPT?
Generative Pre-trained Transformer: un Transformer generativo, preentrenado con enormes cantidades de texto. Es el nombre de los modelos de OpenAI que usa ChatGPT.
¿Qué es el mecanismo de atención?
Es la técnica que permite al modelo decidir, para cada palabra, en qué otras palabras fijarse para entenderla. Es la pieza central de los Transformers.
¿Hay alternativas a los Transformers?
Sí. Se investigan otras arquitecturas que procesan textos muy largos con menos recursos, y algunos modelos combinan varias. Pero hoy los Transformers siguen siendo la base de los modelos más usados.
