Harness²: melhorar o agente sem mexer no modelo

O Harness² é um trabalho do Google Research, publicado em outubro de 2026 sob licença Apache-2.0. A ideia central: o modelo de linguagem fica fixo, e o que se otimiza é o “harness”, tudo o que cerca o modelo numa tarefa, como as instruções, as guardas, a memória e a orientação sobre ferramentas.

O passo central tem três tempos. Um editor propõe mudanças em duas frentes: o procedimento (como fazer) e o conhecimento de especialista (o que saber). Cada candidata roda na mesma tarefa. A versão final é composta pelo contraste entre as execuções, sem gabarito. “Manter a base” é uma resposta válida, e a escolha final é feita às cegas, julgando cobertura, depois correção, depois fidelidade.

Depois de cada tarefa fica uma lição, no formato gatilho, lição, evidência e confiança. É esse registro que faz o harness melhorar de uma rodada para a outra.

Lemos o artigo em 20 de outubro e, no mesmo dia, desenhamos a “oficina de agentes” da Estação Clínica. Entrou só o conceito: nenhum código, prompt ou texto foi copiado. O primeiro alvo foi o Escriba, o agente que escreve a nota da consulta; depois vieram o resumo, a segunda leitura de exames, o WhatsApp e a Irene, a nutricionista do WhatsApp.

Duas peças do método foram recusadas de propósito. A adoção automática da versão vencedora: na Estação, só o médico publica. E os “fatos do ambiente” gravados junto com a versão: em saúde, isso seria dado de paciente dentro de um prompt.

Na primeira rodada, sobre o Escriba, a linha de base já tinha 100% de recall no conjunto de teste. A oficina custou US$ 0,15 e respondeu “manter”. Uma trava de identificador barrou a frente de conhecimento por um falso positivo, corrigido depois.

Na segunda, montamos um conjunto difícil de 30 consultas, 18 de treino e 12 de validação. A oficina adotou uma candidata: os erros em armadilha caíram de 2 para 0, por US$ 0,85. Era bom demais. Repetimos a validação três vezes e a candidata foi reprovada: o recall de números caiu de 96,1% para 90,2%, e os números sem fonte subiram de 2 para 4. O “2 → 0” era ruído de uma rodada só.

Na terceira, 126 propostas por US$ 1,28, e de novo “manter”. A lição mais cara do mês foi a regra que ficou: nenhuma candidata entra sem três repetições na validação.

A mesma régua serviu para uma pergunta que o Harness² não faz: e se o problema for o modelo? Rodamos o Escriba com Opus 5.5 e com Sonnet 5.5 sobre o conjunto de validação. O Opus acertou tudo e custou 2,6 vezes mais por nota. Para uma nota de consulta, onde um número sem fonte é um risco clínico, o Opus passou a ser o modelo recomendado.

O segundo alvo foi a leitura de resultados de exame, onde o erro clássico é somar errado as frações do leucograma. Sobre 12 laudos sintéticos com armadilhas, o Sonnet 5 com as instruções de hoje errou 4; com uma regra escrita sobre o total, errou 0 e ficou mais barato; o Haiku 4.5 errou 0 com as instruções de hoje.

As duas rodadas reais da oficina sobre esse alvo responderam “manter”, por US$ 0,095 e US$ 0,085. Nada foi publicado pela oficina. A regra do total entrou pelo caminho normal, com revisão, e no tenant real a fatia de laudos lidos só pela IA caiu de 28,9% para 17,4% entre a versão 3 e a versão 4. Essa comparação não é limpa: o leitor em código também mudou entre as duas.