Harness² : améliorer l’agent sans toucher au modèle

Harness² est un travail de Google Research, publié en octobre 2026 sous licence Apache-2.0. L’idée centrale : le modèle de langage reste fixe, et ce qu’on optimise est le « harness », tout ce qui entoure le modèle dans une tâche, comme les instructions, les gardes, la mémoire et les consignes sur les outils.

L’étape centrale a trois temps. Un éditeur propose des changements sur deux fronts : la procédure (comment faire) et le savoir d’expert (quoi savoir). Chaque candidate tourne sur la même tâche. La version finale est composée par le contraste entre les exécutions, sans corrigé. « Garder la base » est une réponse valable, et le choix final se fait à l’aveugle, en jugeant la couverture, puis la justesse, puis la fidélité.

Après chaque tâche reste une leçon, au format déclencheur, leçon, preuve et confiance. C’est ce registre qui fait progresser le harness d’un tour à l’autre.

Nous avons lu l’article le 20 octobre et, le jour même, dessiné l’« atelier d’agents » d’Estação Clínica. Seul le concept est entré : aucun code, prompt ou texte n’a été copié. La première cible fut Escriba, l’agent qui rédige la note de consultation ; ensuite sont venus le résumé, la seconde lecture des examens, WhatsApp et Irene, la nutritionniste de WhatsApp.

Deux pièces de la méthode ont été refusées volontairement. L’adoption automatique de la version gagnante : chez Estação, seul le médecin publie. Et les « faits de l’environnement » enregistrés avec la version : en santé, ce seraient des données de patient dans un prompt.

Au premier tour, sur Escriba, la base avait déjà 100 % de rappel sur le jeu de test. L’atelier a coûté US$ 0,15 et répondu « garder ». Un verrou d’identifiant a bloqué le front du savoir sur un faux positif, corrigé ensuite.

Au deuxième, nous avons monté un jeu difficile de 30 consultations, 18 d’entraînement et 12 de validation. L’atelier a adopté une candidate : les erreurs sur piège sont passées de 2 à 0, pour US$ 0,85. C’était trop beau. Nous avons répété la validation trois fois et la candidate a été recalée : le rappel des nombres est passé de 96,1 % à 90,2 %, et les nombres sans source sont montés de 2 à 4. Le « 2 → 0 » était le bruit d’un seul tour.

Au troisième, 126 propositions pour US$ 1,28, et de nouveau « garder ». La leçon la plus chère du mois a été la règle qui est restée : aucune candidate n’entre sans trois répétitions en validation.

La même règle a servi à une question que Harness² ne pose pas : et si le problème, c’était le modèle ? Nous avons lancé Escriba avec Opus 5.5 et avec Sonnet 5.5 sur le jeu de validation. Opus a tout juste et a coûté 2,6 fois plus par note. Pour une note de consultation, où un nombre sans source est un risque clinique, Opus est devenu le modèle recommandé.

La seconde cible fut la lecture des résultats d’examens, où l’erreur classique est de mal additionner les fractions du leucogramme. Sur 12 comptes rendus synthétiques avec pièges, Sonnet 5 avec les instructions d’aujourd’hui s’est trompé 4 fois ; avec une règle écrite sur le total, 0 fois, et pour moins cher ; Haiku 4.5 s’est trompé 0 fois avec les instructions d’aujourd’hui.

Les deux tours réels de l’atelier sur cette cible ont répondu « garder », pour US$ 0,095 et US$ 0,085. L’atelier n’a rien publié. La règle du total est entrée par le chemin normal, avec relecture, et dans le tenant réel la part des comptes rendus lus uniquement par l’IA est passée de 28,9 % à 17,4 % entre la version 3 et la version 4. Cette comparaison n’est pas propre : le lecteur en code a aussi changé entre les deux.