Anderson Mendoza

Ingeniero de sistemas Cartagena, Colombia

Todos los artículos

Explicación

Cómo funciona realmente la IA

· 7 min de lectura · Actualizado

Una ventana de contexto dibujada con puntos: las instrucciones, la conversación, los documentos y las herramientas en tinta pálida, y la respuesta en tinta plena, todavía escribiéndose

Casi todo el mundo usa ya un chatbot a diario, y a casi nadie le han explicado cómo funciona. Las explicaciones que circulan son “es magia” o una página de jerga. Esta es una explicación llana de lo que pasa cuando le escribes a ChatGPT, Claude o Gemini, y de por qué lo que sale mal sale mal de la manera en que lo hace.

Predice el siguiente trozo de texto

Un modelo de lenguaje hace una sola cosa. Dado un texto, calcula qué trozo de texto es probable que venga después, lo añade y repite. Una respuesta de quinientas palabras es ese paso dado varios cientos de veces.

Lo que significa “probable” lo aprendió de una cantidad enorme de texto escrito. Ese entrenamiento no le dejó un almacén de datos donde consultar. Lo que tiene es un sentido muy fino de cómo continúa un texto, suficiente para explicar un error en un programa, traducir una carta o redactar un contrato. Por eso mismo un modelo puede escribir con soltura y equivocarse en la misma frase: lo entrenaron para la soltura, y acertar suele venir con ella, pero no siempre.

Los tokens y la ventana en la que tienen que caber

Esos trozos de texto se llaman tokens. Un token es muchas veces una palabra entera y muchas veces parte de una: una palabra común como “la” es un solo token, mientras que una larga o poco frecuente se parte en varios (“tokenización” queda en algo como “token” e “ización”). En inglés un token equivale en promedio a unos cuatro caracteres, o tres cuartos de palabra. El español, como casi todos los idiomas distintos del inglés, necesita algo más de tokens para decir lo mismo, así que la misma conversación cuesta un poco más y llena la ventana un poco antes.

La ventana es la ventana de contexto: el máximo de tokens que el modelo puede recibir de una vez. Todo tiene que caber en ella a la vez:

  • las instrucciones que el producto le da al modelo antes de que llegues,
  • toda la conversación hasta ese momento,
  • los documentos o los resultados de búsqueda,
  • las descripciones de las herramientas que puede usar,
  • y la respuesta que está por escribir.

Una ventana de 200.000 tokens con 8.000 reservados para la respuesta deja 192.000 para todo lo demás.

De ahí salen dos cosas. El costo y la velocidad se cuentan en tokens, así que pegar una cadena de veinte correos para hacer una pregunta es pagar por que se lean veinte firmas. Y el modelo no tiene memoria fuera de la ventana. Cuando una conversación larga ya no cabe, el producto tiene que descartar o resumir la parte más antigua, y eso es lo que suele haber pasado cuando un chatbot “olvida” que hace una hora le pediste las respuestas en español. La otra causa frecuente es que la instrucción se diluye: sigue ahí, pero desde entonces han llegado cuarenta mil tokens, y una instrucción enterrada en medio de un contexto largo pesa menos que una al principio o al final.

Por qué inventa

Pídele a un modelo que resuma la política de cancelación de un documento que no tiene política de cancelación, y es muy posible que la escriba. La pregunta da por hecho que hay respuesta, las políticas de cancelación tienen una forma conocida, y producir formas conocidas es lo que hace el modelo. A esto se le llama alucinación. Es el comportamiento normal de un sistema que continúa texto, y aparece donde se acaba el texto que le dieron.

Pasa sobre todo en tres casos:

  • la fuente es pobre o está mal extraída, como un PDF escaneado o una tabla aplastada en una sola línea;
  • la pregunta presupone algo, como “¿cuáles fueron las tres críticas?” cuando los apuntes recogen una;
  • nada en la petición deja lugar para un “no lo sé”.

De aquí sale el consejo más útil para escribir instrucciones, que es poner límites. “Resume este documento” invita al modelo a rellenar huecos. “Resume este documento en cinco puntos, usando solo lo que dice el texto, y avisa cuando el texto no cubra algo” le da una salida que no pasa por inventar. Eso no vuelve fiable al modelo, pero le deja menos espacio a una respuesta falsa que suene bien.

Qué es la “memoria”

Un modelo no aprende de tu conversación. Su entrenamiento terminó antes de que abrieras la aplicación, y nada de lo que escribes lo cambia.

Si un asistente recuerda que tienes una panadería y que prefieres respuestas cortas, es porque el producto que rodea al modelo guardó eso como una nota y la vuelve a poner en la ventana al comienzo de cada conversación, donde cuesta tokens como todo lo demás. Vale la pena saberlo por dos razones. En la mayoría de los productos esas notas se pueden leer, editar y borrar. Y explica por qué el mismo modelo se comporta distinto en dos aplicaciones: cambia lo que cada una pone en la ventana.

Los modelos de razonamiento

Algunos modelos se venden como modelos “de razonamiento” o “que piensan”, y resuelven mejor los problemas de varios pasos: un cálculo, un plan, un error difícil. Son el mismo tipo de sistema haciendo lo mismo. La diferencia es que antes de responder escriben su desarrollo, en tokens que muchas veces no ves, y luego escriben la respuesta con ese desarrollo en la ventana. Predecir de un golpe la respuesta a un problema difícil es complicado. Predecir la siguiente línea de una solución ya desarrollada es mucho más fácil.

Por eso también son más lentos y más caros. El desarrollo es texto generado como cualquier otro: tarda en escribirse, se cobra y ocupa sitio en la ventana. Para “reescribe este correo” no aporta nada. Para “¿me conviene comprar o alquilar, con estos números?” suele valer la pena.

Imágenes, sonido y documentos

Un modelo multimodal recibe más que texto: la foto de un electrodoméstico dañado, la captura de una hoja de cálculo, una nota de voz. Por debajo pasa lo mismo. La imagen o el audio se convierten en tokens de su propio tipo, se colocan en la ventana junto a las palabras, y el modelo continúa a partir de todo junto.

Así que fallan de la misma manera. Puede leer mal un número en una gráfica, pasar por alto la letra pequeña de una foto, o describir con toda seguridad algo que no está en la imagen.

Búsqueda y herramientas

Dos añadidos explican casi toda la diferencia entre un modelo y un producto hecho sobre él.

El primero es la recuperación. En lugar de confiar en que el modelo recuerde algo, el producto lo busca (en la web, en tus archivos, en las páginas de ayuda de una empresa), pone en la ventana los pocos pasajes más pertinentes y le pide al modelo que responda a partir de ellos. Eso es lo que significa “generación aumentada por recuperación”. Sale más barato que pegarlo todo, y una respuesta sacada de un pasaje que el modelo tiene delante tiene muchas menos probabilidades de ser inventada que una sacada de su sentido de lo habitual. Vale lo que valga la búsqueda: si no encuentra el pasaje correcto, el modelo vuelve a adivinar, ahora con texto ajeno delante.

El segundo son las herramientas. Un modelo no puede consultar el clima ni enviar un correo. Puede escribir una solicitud para que se haga, en un formato que le dio el producto:

{ "tool": "check_weather", "arguments": { "city": "Cartagena" } }

El producto la lee, decide si la ejecuta, la ejecuta y pone el resultado en la ventana para que el modelo siga a partir de él. El modelo propone y el software que lo rodea actúa. En esa frontera van los permisos, los límites de gasto y los registros, y por eso importa quién construyó el producto y con cuánto cuidado.

Qué hacer con todo esto

Un chatbot es un sistema que continúa texto, dentro de una ventana fija, con un producto alrededor que decide qué entra en esa ventana. Con eso en mente, casi todo lo que parece raro deja de serlo, y de ahí salen algunas costumbres:

  • Dale la fuente. Una respuesta sacada de un documento que tú le diste vale más que una sacada de su idea general de las cosas.
  • Manda menos. Recorta la cadena de correos, las firmas y el relleno antes de pegar.
  • Deja lugar para el “no lo sé”, y dile que lo quieres.
  • Empieza una conversación nueva cuando cambie el tema. Una conversación larga no está mejor informada.
  • Toma la seguridad como estilo. Suena igual de seguro cuando se equivoca.
  • Usa un modelo de razonamiento para problemas de varios pasos, y no pagues por uno para lo demás.

A continuación

  • El sistema de diseño de esta página

    · 6 min de lectura

    Este sitio está dibujado con Mereframe Components, el sistema de diseño que escribí para mis propios productos. Sus seis reglas, cómo una superficie saca sus colores de un solo número, por qué el estado se escribe en ARIA y qué parte carga esta página.

  • El globo de esta página

    · 5 min de lectura

    El globo de mi página de inicio son 2.405 puntos sobre un canvas, dibujados a partir de un mapa de un kilobyte. Cómo está hecho, y por qué no es una biblioteca.

Para trabajo, o sobre cualquier cosa que haya construido: hello@mereframe.com