Inteligencia artificial · Machine learning

Qué hace realmente un modelo de lenguaje grande

Una explicación sencilla de lo que ocurre dentro de herramientas como ChatGPT: cómo aprenden, por qué inventan datos con total seguridad y por qué no saben cuándo se equivocan.

Una pantalla mostrando una conversación con un asistente de inteligencia artificial
dullhunk · CC BY 2.0
Publicidad
Publicidad

En pocos años estas herramientas pasaron de los laboratorios al teléfono de todo el mundo. Entre quienes ven una conciencia inminente y quienes ven un truco de feria, se pierde un hecho más simple: la idea central cabe en un párrafo, y entenderla cambia cómo se usan.

Lo esencial

Un modelo de lenguaje grande es un sistema entrenado con una cantidad enorme de texto para hacer una sola cosa: predecir qué viene después. Repite esa operación, fragmento a fragmento, y salen párrafos coherentes. No consulta ninguna base de datos ni comprueba si lo que dice es cierto, y por eso se equivoca con total seguridad.

La idea central: predecir lo siguiente

Toma una frase sin terminar: «El café es una bebida que se prepara con granos…». La mayoría la completaría con «tostados». Eso es exactamente lo que hace el modelo, con dos diferencias.

La primera: no elige una palabra, sino que calcula una probabilidad para cada continuación posible y luego selecciona entre ellas.

La segunda: repite. Añade el fragmento elegido al texto y vuelve a preguntarse: ¿y después? ¿Y después? Hasta completar la respuesta.

Ese es todo el mecanismo. No hay una base de hechos dentro ni un motor de razonamiento aparte. Los párrafos largos y coherentes son el resultado de repetir ese pequeño paso miles de veces.

De dónde sale el «aprendizaje»

Durante el entrenamiento se le muestran cantidades enormes de texto con partes ocultas y se le pide adivinar lo que falta. Al principio se equivoca por completo, así que sus ajustes internos se corrigen ligeramente en la dirección adecuada. Y vuelve a ocurrir, miles de millones de veces.

Esos ajustes — los pesos — son todo lo que queda al final. El modelo no guarda una copia del texto con el que se entrenó, sino patrones extraídos de él: cómo se construye una frase, qué palabras acompañan a cuáles, cómo es una explicación, cómo es una respuesta cortés.

Y como esos patrones proceden de textos escritos por personas, la exactitud y los sesgos de esos textos pasan juntos al modelo.

Por qué se equivoca con seguridad

Este es el punto más importante en la práctica.

Cuando le preguntas por algo que no sabe, no hay ningún mecanismo interno que se lo indique. Su única tarea es producir texto probable, y el texto más probable en ese punto es una respuesta con la forma correcta.

Así que genera un libro que nunca se escribió, una referencia legal inexistente o una cifra de aspecto razonable. Esto se llama alucinación.

Lo peligroso es que el tono nunca cambia. La información correcta y la inventada se escriben con idéntica seguridad, porque para el modelo la seguridad es un rasgo de estilo, no una señal de certeza.

La regla práctica

Trata cada cifra, nombre, fecha y referencia que salga de un modelo como algo que hay que verificar. Es excelente redactando, resumiendo, explicando y reestructurando. No es fiable en datos concretos salvo que esté conectado a una fuente que realmente consulta.

Qué hace bien y qué mal

Hace bienHace mal
Reescribir y resumirDatos precisos de memoria
Explicar a distintos nivelesCálculo largo y exacto
Traducir y pulir el estiloConocer noticias recientes
Generar ideas y primeros borradoresAdmitir que no sabe
Convertir texto entre formatosJuzgar si una fuente existe

La regla que lo unifica: cuanto más consista la tarea en transformar un texto que tú le das, mejor el resultado. Cuanto más consista en recuperar un dato de su memoria, más hay que comprobarlo.

Términos que aparecen siempre

Token. La unidad que lee el modelo, normalmente un fragmento de palabra. Por eso falla en tareas aparentemente triviales como contar las letras de una palabra: nunca ve letras.

Ventana de contexto. El máximo de texto que puede tener en cuenta a la vez. En una conversación larga, lo que queda fuera deja de entrar en su razonamiento.

Fecha de corte. El entrenamiento se detiene en un momento dado. Lo posterior le es desconocido, salvo que disponga de una herramienta de búsqueda al preguntar.

Temperatura. Un ajuste que controla cuánta variedad hay en la selección. Baja da respuestas más estables y previsibles; alta, más variedad y más riesgo.

Cómo preguntar mejor

Entender el mecanismo lleva directamente a un mejor uso:

  1. Dale el texto en lugar de pedirle que lo recuerde. «Resume este artículo» es muchísimo mejor que «qué decía aquel artículo».
  2. Especifica la forma que quieres. Extensión, público, tono, formato. No adivina tu intención.
  3. Pide el procedimiento, no solo el resultado, en todo lo que tenga pasos: reduce los errores.
  4. Corrige en vez de empezar de nuevo. Decir exactamente qué falla es más rápido que reescribir la pregunta desde cero.
  5. Verifica lo que importa. Cualquier cifra, nombre o referencia sobre la que vayas a actuar merece un minuto de comprobación.

En resumen

Un modelo de lenguaje no es una mente ni un buscador. Es una máquina de patrones lingüísticos extremadamente capaz que produce texto probable, no texto verificado.

Quien capta esa distinción tiene una herramienta excelente. Quien la pasa por alto acaba, antes o después, con un dato inventado escrito con total seguridad.

Publicidad
Publicidad

Preguntas frecuentes

¿Un modelo de lenguaje entiende lo que dice?

No en el sentido en que lo entiende una persona. Predice la continuación del texto a partir de patrones aprendidos en una cantidad enorme de escritos. El resultado puede ser acertado y útil, pero el proceso que lo produjo no implicó comprensión ni comprobación.

¿Por qué inventa información falsa?

Porque está construido para producir texto probable, no texto verdadero. Cuando no tiene el dato, nada dentro de él lo detiene: genera lo que más se parece a una respuesta correcta. Eso se llama alucinación.

¿Busca en internet en cada pregunta?

No, salvo que se le haya dado explícitamente una herramienta de búsqueda. Por sí solo se apoya en lo aprendido durante el entrenamiento, que está fijado y tiene fecha de corte.

¿Qué es un token?

La unidad de texto con la que trabaja el modelo, normalmente menor que una palabra. No lee letras ni palabras completas, sino estos fragmentos, y por eso falla en tareas aparentemente triviales como contar letras.

¿Se usan mis datos para entrenarlo?

Depende del servicio y de su configuración, y difiere entre cuentas personales y de empresa. La suposición prudente es tratar lo que escribes como potencialmente legible y no incluir secretos ni datos personales sensibles.

Correcciones

¿Has encontrado un error? Escríbenos: lo corregimos y anotamos el cambio al final del artículo. Hello@daily-atlas.com

Lecturas relacionadas