Anderson Mendoza

Ingeniero de sistemas Cartagena, Colombia

Todos los artículos

Explicación

Cómo hacen imágenes los modelos de difusión

· 5 min de lectura · Actualizado

Cuatro discos de puntos, desde estática dispersa a la izquierda hasta un globo de las Américas a la derecha

Escribes una frase en un generador de imágenes y unos segundos después aparece una imagen. Lo que pasa en medio es más fácil de seguir de lo que su fama sugiere, y empieza en un lugar curioso: al modelo lo entrenaron con imágenes arruinadas.

Aprender de imágenes arruinadas

Toma una fotografía y añádele un poco de ruido al azar, como la nieve de un televisor viejo. Añade más, y otra vez más. Después de suficientes rondas no queda nada de la fotografía.

Arruinar así una imagen no tiene ningún mérito. El entrenamiento está en el camino de vuelta. Al modelo le muestran una cantidad enorme de imágenes en cada etapa del deterioro, cada una con el texto que la describe, y le hacen siempre la misma pregunta: ¿qué ruido se añadió aquí? Su respuesta se compara con la verdad, y el modelo se ajusta.

Para responder bien tiene que aprender cómo son las imágenes: que un gato tiene dos orejas, que las sombras caen al lado opuesto de la lámpara, que el horizonte es recto. Nadie se lo escribe. Es, sencillamente, lo que un modelo necesita saber para distinguir una imagen del ruido que tiene encima.

Del ruido a la imagen

Para hacer una imagen nueva, al modelo le entregan ruido puro y lo trata como una imagen con ruido encima. Calcula ese ruido y quita una parte. El resultado es un poco menos aleatorio, así que vuelve a calcular y quita otro poco. Después de unas decenas de rondas hay una imagen.

El mismo castillo generado con 1, 2, 3, 5, 8, 10, 15, 20, 30 y 40 pasos: ruido al principio, una mancha borrosa en el paso 3, una imagen terminada desde cerca del paso 15
Un mismo prompt y una misma semilla, con entre 1 y 40 pasos. Con muy pocos, la imagen no llega a asentarse. Imagen: Benlisquare, CC BY-SA 4.0, redimensionada.

Las cosas aparecen siempre en el mismo orden. Los primeros pasos deciden la composición: dónde van las formas grandes, qué es claro y qué es oscuro. Los del medio convierten las formas en cosas. Los últimos solo añaden textura: hojas, pelo, el grano de una pared. Por eso una imagen detenida a mitad de camino parece una versión borrosa de la escena correcta, y no una imagen nítida de la escena equivocada.

El ruido del que parte lo elige un número llamado semilla. La misma semilla, el mismo prompt y los mismos ajustes dan la misma imagen, y así es como se reproduce un resultado y se va afinando. Otra semilla da otra imagen para las mismas palabras.

Dónde entra el prompt

Un segundo modelo lee primero el prompt y lo convierte en una lista de números que representa su significado. En cada paso, el modelo que quita el ruido recibe esos números junto con la imagen ruidosa, de modo que la pregunta que responde pasa a ser: ¿qué ruido tiene esta imagen de un faro al atardecer?

Por sí sola esa influencia es débil, y hay un truco para reforzarla. En cada paso el modelo hace dos cálculos, uno con el prompt y otro sin él, y luego avanza más en la dirección en que se diferencian. Cuánto más es el ajuste que casi todas las herramientas llaman escala de guía (guidance scale). Si es baja, la imagen se aleja de lo que pediste. Si es alta, sigue las palabras de cerca pero queda dura y sobresaturada.

El modelo que lee el prompt importa más de lo que parece. Los primeros generadores usaban uno pequeño que captaba la idea general y perdía el detalle, y por eso ignoraban la mitad de un prompt largo y no sabían escribir. Los más nuevos leen con modelos de lenguaje mucho más grandes, y con ellos llegaron en buena parte los prompts largos y los letreros legibles.

Por qué es lo bastante rápido

Una imagen de 1024 por 1024 píxeles son unos tres millones de números, y quitarles el ruido a todos decenas de veces sería lento. Por eso la mayoría de los generadores no trabajan con píxeles.

Otro modelo, entrenado de antemano, sabe comprimir una imagen en una cuadrícula de números mucho más pequeña y volver a desplegarla casi sin pérdida visible. Todo el trabajo de quitar ruido se hace en la cuadrícula pequeña, y el despliegue ocurre una sola vez, al final. En el primer Stable Diffusion una imagen de 512 píxeles se convertía en una cuadrícula de 64 por 64, con 48 veces menos números que procesar. Este diseño se llama difusión latente, y es la razón por la que estos modelos corren en una tarjeta gráfica corriente.

Qué ha cambiado desde entonces

La idea es la misma de 2022, y casi todas las piezas se han reemplazado. La red que calcula el ruido es ahora, por lo general, un transformer, el diseño de los modelos de lenguaje. Muchos modelos actuales se entrenan en una tarea algo distinta llamada flow matching: aprenden la dirección que lleva en línea recta del ruido a la imagen, que se recorre en menos pasos. Algunos se destilan después para necesitar apenas unos pocos pasos, y así es como una imagen puede aparecer mientras todavía escribes.

La misma receta se usa para video, donde el modelo quita el ruido de todos los fotogramas a la vez para que concuerden entre sí, y para sonido.

Lo que no hace

No busca en una biblioteca de imágenes ni pega trozos. En el modelo no se guarda nada más que sus números ajustados, y son demasiado pocos para contener las imágenes con las que se entrenó. Aun así, una imagen que apareció muchas veces en el entrenamiento puede volver a salir casi intacta, y esa es una de las razones por las que se sigue discutiendo con qué se entrenaron estos modelos.

Tampoco tiene contra qué revisar su trabajo. Sabe qué aspecto suelen tener las manos, y no sabe que una mano tiene cinco dedos. Por eso contar, escribir letras y todo lo que tiene que quedar exacto fue lo último en mejorar, y sigue siendo donde falla.

A continuación

  • El sistema de diseño de esta página

    · 6 min de lectura

    Este sitio está dibujado con Mereframe Components, el sistema de diseño que escribí para mis propios productos. Sus seis reglas, cómo una superficie saca sus colores de un solo número, por qué el estado se escribe en ARIA y qué parte carga esta página.

  • El globo de esta página

    · 5 min de lectura

    El globo de mi página de inicio son 2.405 puntos sobre un canvas, dibujados a partir de un mapa de un kilobyte. Cómo está hecho, y por qué no es una biblioteca.

Para trabajo, o sobre cualquier cosa que haya construido: hello@mereframe.com