Cuando escribes una pregunta en un chat y el modelo responde en segundos, detrás hay una de las arquitecturas de software más complejas que existen. Los modelos de lenguaje grande (LLM, por sus siglas en inglés) no «buscan» la respuesta en una base de datos: la generan token a token, palabra a palabra, calculando probabilidades sobre decenas de miles de millones de parámetros. Este artículo explica cómo lo consiguen.
Del texto a números: los tokens
Un modelo de lenguaje no entiende letras, sino tokens: fragmentos de texto de entre uno y varios caracteres. La palabra «internet», por ejemplo, puede dividirse en dos tokens. Un tokenizador (el componente encargado de esta conversión) transforma cada fragmento en un número entero que apunta a una tabla de vocabulario. El tamaño de ese vocabulario suele rondar los 100.000 elementos. Con esto, toda la frase queda convertida en una secuencia de IDs que el modelo puede procesar matemáticamente.
El corazón: el transformer
La arquitectura que hace posible todo esto se llama transformer, descrita por primera vez en 2017 en el artículo «Attention Is All You Need» de Google. Su pieza clave es el mecanismo de auto-atención (self-attention): cada token del texto mira a todos los demás tokens de la secuencia y calcula cuánto «peso» debe darle a cada uno. Así, cuando el modelo procesa la frase «el gato cruzó la calle porque tenía prisa», entiende que «prisa» se refiere al gato, no a la calle.
Estos pesos se calculan multiplicando tres vectores por token: query (qué busco), key (qué ofrezco) y value (qué información aporto). El producto entre query y key decide la atención; después se aplica una normalización (softmax) que convierte esos valores en probabilidades. Toda esta operación se repite en múltiples «cabezas» de atención (multi-head) y en decenas o cientos de capas apiladas.
Parámetros, memoria y cómputo
Los parámetros son los pesos internos que se ajustan durante el entrenamiento; un modelo moderno puede tener entre 70.000 y más de un billón. Cada token que se procesa requiere una pasada hacia delante (forward pass) a través de todas las capas, multiplicando y sumando matrices de miles de dimensiones. Por eso se usan GPUs (unidades de procesamiento gráfico) o aceleradores especializados como los TPU de Google: su paralelismo masivo es ideal para estas operaciones matriciales.
La memoria es un cuello de botella: mantener los estados intermedios de cada capa exige mucha RAM. Por eso surgen técnicas de cuantización, que reducen la precisión numérica de los parámetros (por ejemplo, de 16 bits a 8 o 4 bits por valor) para que el modelo quepa en menos memoria a costa de una mínima pérdida de calidad. También hay ventanas de contexto: el número máximo de tokens que el modelo puede «ver» a la vez, que en los modelos actuales va de 8.000 a más de un millón.
Generar texto: muestreo y temperatura
Tras la última capa, el modelo devuelve un logit (un valor de puntuación) por cada token del vocabulario. Un paso de softmax convierte esos logits en una distribución de probabilidad sobre 100.000 posibles siguientes tokens. Pero el modelo no elige siempre el más probable: usa un muestreo aleatorio ponderado. El parámetro temperatura controla qué tan «creativa» es la elección: con temperatura baja se vuelve determinista y predecible; con temperatura alta, más variada y arriesgada.
Cada token elegido se añade a la secuencia de entrada y el modelo repite el proceso para el siguiente, hasta que genera un token especial de fin. Por eso una respuesta larga implica miles de estas pasadas, lo que explica la latencia (el tiempo de espera) que notas en pantalla.
Cómo aprenden: preentrenamiento y ajuste
El conocimiento del modelo no se escribe a mano: surge del preentrenamiento sobre cantidades ingentes de texto (billones de palabras de libros, páginas web y código). El objetivo es sencillo y poderoso: predecir el siguiente token de cada fragmento. Al fallar, un algoritmo llamado retropropagación (backpropagation) ajusta los parámetros con una técnica de optimización (por ejemplo, Adam) para reducir el error. Tras billones de estas correcciones, la red termina capturando patrones estadísticos del lenguaje, la sintaxis e incluso razonamiento.
Después viene el ajuste fino (fine-tuning): se entrena de nuevo el modelo, ya con los pesos aprendidos, sobre datos más pequeños y de mayor calidad, a menudo con feedback humano (RLHF, aprendizaje por refuerzo con retroalimentación humana). Así se alinea el comportamiento para que responda de forma útil, segura y coherente.
El futuro: más contexto, menos coste
La carrera actual se centra en ampliar las ventanas de contexto, reducir el coste de inferencia y hacer modelos más pequeños pero capaces (SLM, modelos de lenguaje pequeño) que funcionen en el propio móvil. Los modelos de mezcla de expertos (MoE), que activan solo una parte de la red por cada token, prometen la inteligencia de un modelo gigante con el coste de uno pequeño. El resultado: la misma tecnología que está detrás de tu chat favorito, cada vez más rápida y accesible.
