Qué es Harness²
Harness² es un trabajo de Google Research, publicado en octubre de 2026 bajo licencia Apache-2.0. La idea central: el modelo de lenguaje queda fijo, y lo que se optimiza es el “harness”, todo lo que rodea al modelo en una tarea, como las instrucciones, las guardas, la memoria y la orientación sobre herramientas.
El paso central tiene tres tiempos. Un editor propone cambios en dos frentes: el procedimiento (cómo hacerlo) y el conocimiento de especialista (qué saber). Cada candidata corre en la misma tarea. La versión final se compone por el contraste entre las ejecuciones, sin clave de respuestas. “Mantener la base” es una respuesta válida, y la elección final se hace a ciegas, juzgando cobertura, después corrección, después fidelidad.
Después de cada tarea queda una lección, en el formato disparador, lección, evidencia y confianza. Ese registro es lo que hace que el harness mejore de una ronda a la siguiente.
Quien escribe el prompt
- Cambia la instrucción
- Corre algunos casos
- Mira el resultado
- Decide a ojo
Cada cambio se vuelve opinión. Nadie sabe si mejoró o si el caso era fácil.
Taller
- Propone candidatas en dos frentes
- Corre todas en la misma tarea
- Compone por el contraste, a ciegas
Médico
- Publica, o no
La regla decide qué es mejor. La persona decide si entra en producción.
Cómo lo usamos en Estação Clínica
Leímos el artículo el 20 de octubre y, el mismo día, diseñamos el “taller de agentes” de Estação Clínica. Entró solo el concepto: ningún código, prompt o texto fue copiado. El primer objetivo fue Escriba, el agente que escribe la nota de la consulta; después vinieron el resumen, la segunda lectura de exámenes, WhatsApp e Irene, la nutricionista de WhatsApp.
Dos piezas del método fueron rechazadas a propósito. La adopción automática de la versión ganadora: en Estação, solo el médico publica. Y los “hechos del entorno” guardados junto con la versión: en salud, eso sería dato de paciente dentro de un prompt.
Estação Clínica
Taller de agentes- 1ProponerUn editor sugiere candidatas para el procedimiento y para el conocimiento de especialista. No ve la clave de respuestas.
- 2ProbarCada candidata corre sobre las mismas consultas sintéticas, y una regla en código mide recall de hechos, de números y números sin fuente.
- 3ComponerLa versión final sale del contraste entre las ejecuciones. Si ninguna candidata gana con holgura, la respuesta es “mantener”.
- 4PublicarSolo el médico. El taller entrega un informe; quien decide es una persona.
- Corre solo en un tenant sintético, borrado al final.
- Toda llamada pasa por el embudo de seudonimización.
- La regla es código, no la nota del propio modelo.
- El informe lleva conteos y hashes, nunca texto de consulta.
Si el taller no convence, nada cambia: la versión en producción sigue siendo la misma.
Qué pasó en tres rondas
En la primera ronda, sobre Escriba, la línea de base ya tenía 100% de recall en el conjunto de prueba. El taller costó US$ 0,15 y respondió “mantener”. Una traba de identificador bloqueó el frente de conocimiento por un falso positivo, corregido después.
En la segunda, armamos un conjunto difícil de 30 consultas, 18 de entrenamiento y 12 de validación. El taller adoptó una candidata: los errores en trampa cayeron de 2 a 0, por US$ 0,85. Era demasiado bueno. Repetimos la validación tres veces y la candidata fue reprobada: el recall de números cayó del 96,1% al 90,2%, y los números sin fuente subieron de 2 a 4. El “2 → 0” era ruido de una sola ronda.
En la tercera, 126 propuestas por US$ 1,28, y de nuevo “mantener”. La lección más cara del mes fue la regla que quedó: ninguna candidata entra sin tres repeticiones en la validación.
| Ronda | Conjunto | Decisión del taller | Confirmación con 3 repeticiones | Costo |
|---|---|---|---|---|
| 1 · Escriba | Conjunto de prueba, base con 100% de recall | Mantener | No hizo falta | US$ 0,15 |
| 2 · Escriba | 30 consultas difíciles, 18 de entrenamiento y 12 de validación | Adoptar (errores en trampa 2 → 0) | Reprobada: recall de números 96,1% → 90,2%, números sin fuente 2 → 4 | US$ 0,85 |
| 3 · Escriba | 126 propuestas | Mantener | No hizo falta | US$ 1,28 |
Cuando la ganancia estaba en el modelo, no en el harness
La misma regla sirvió para una pregunta que Harness² no hace: ¿y si el problema es el modelo? Corrimos Escriba con Opus 5.5 y con Sonnet 5.5 sobre el conjunto de validación. Opus acertó todo y costó 2,6 veces más por nota. Para una nota de consulta, donde un número sin fuente es un riesgo clínico, Opus pasó a ser el modelo recomendado.
Recall en el conjunto de validación
Sonnet 5.5Opus 5.5
Hechos de la consulta en la nota
Sonnet 5.5: 98,3 %Opus 5.5: 100 %Números de la consulta en la nota
Sonnet 5.5: 96,1 %Opus 5.5: 100 %
Costo por nota
2,6×
Opus cuesta 2,6 veces más y no se equivoca en ningún número
Números sin fuente, en las 12 consultas de validación
Un número en la nota que no está en ninguna frase de la consulta.
Ver los números en tabla
| Sonnet 5.5 | Opus 5.5 | |
|---|---|---|
| Recall de hechos | 98,3% | 100% |
| Recall de números | 96,1% | 100% |
| Números sin fuente | 2 | 0 |
| Costo por nota | US$ 0,008 | US$ 0,021 |
La segunda lectura del examen
El segundo objetivo fue la lectura de resultados de exámenes, donde el error clásico es sumar mal las fracciones del leucograma. Sobre 12 informes sintéticos con trampas, Sonnet 5 con las instrucciones de hoy se equivocó en 4; con una regla escrita sobre el total, se equivocó en 0 y salió más barato; Haiku 4.5 se equivocó en 0 con las instrucciones de hoy.
Las dos rondas reales del taller sobre ese objetivo respondieron “mantener”, por US$ 0,095 y US$ 0,085. El taller no publicó nada. La regla del total entró por el camino normal, con revisión, y en el tenant real la parte de informes leídos solo por la IA cayó del 28,9% al 17,4% entre la versión 3 y la versión 4. Esa comparación no es limpia: el lector en código también cambió entre las dos.
| Lector | Errores en trampa (de 12 informes) | Costo de la ronda |
|---|---|---|
| Sonnet 5, instrucciones de hoy | 4 | US$ 0,26 |
| Sonnet 5, con la regla del total | 0 | US$ 0,19 |
| Haiku 4.5, instrucciones de hoy | 0 | US$ 0,11 |
Lo que todavía no sabemos
- 01
Todo sintético
El taller solo corre sobre consultas e informes sintéticos. Es la condición para existir en salud, y también el límite: la distribución real puede ser otra.
- 02
Una sola ronda miente
La candidata “2 → 0” pasó en una ronda y cayó en tres. Cualquier número de una sola ejecución, incluidos los de esta nota, vale menos de lo que parece.
- 03
La comparación en el tenant real no es limpia
Entre la versión 3 y la 4 del lector de exámenes cambiaron la regla y el código. La caída del 28,9% al 17,4% en la parte “solo IA” no puede atribuirse a una sola cosa.
- 04
Costo del taller contra la ganancia
Tres rondas costaron menos de US$ 2,50 y produjeron una regla de proceso y un “mantener”. Compensa como método de decisión; no es una máquina de ganancias automáticas.
Próximos pasos
- En curso
1. Tres repeticiones como regla
Ninguna candidata entra sin tres ejecuciones en la validación, en todos los objetivos.
- Después
2. Taller en WhatsApp y en Irene
Los objetivos existen desde fines de octubre; faltan rondas con conjunto difícil propio.
- Horizonte
3. Lecciones que cruzan objetivos
El registro disparador, lección, evidencia y confianza alimentando el siguiente objetivo, no solo el mismo.
La regla decide qué es mejor. La persona decide qué entra.
Si el taller demuestra valor en más objetivos, se vuelve la puerta por la que pasa todo cambio de agente: propuesta, prueba en la misma tarea, contraste y un informe para quien publica. Sin clave de respuestas y sin adopción automática.
- Mantener la basecuando ninguna candidata gana con holgura
- Informe para el médicocuando una candidata pasa tres veces
- Lección registradasiempre, con disparador, evidencia y confianza