En bref
- Lors du test, Jev a reconnu 100 % des demandes d'agent humain ; le modèle qui tenait ce rôle, 67,5 %.
- Chaque décision est revenue 70 fois moins cher et 8 fois plus rapide.
- Le test a porté sur 123 cas en portugais écrits à la main. Nous ne l'avons pas encore mesuré sur de vraies conversations, et nous le disons plus bas.
01
Ce qu'est Jev
Jev, de TypeSafe AI, est un modèle qui ne génère pas de texte. Il reçoit un contexte et des questions typées et renvoie une réponse avec une probabilité : oui ou non (de 0 à 1), un choix parmi des options ou une note sur une échelle.
Nous utilisons Jev via OpenRouter, avec la version du modèle figée, pour que son comportement ne change pas sans prévenir.
Contexte
Exemple illustratif« J’ai essayé deux fois dans l’appli, rien. Je veux parler à une personne. »
Questions typées
- Oui ou nonLa personne a-t-elle demandé un agent ?
- ChoixQuel est le sujet ?
- NoteUrgence, de 1 à 5
N'écrit pas de texte. Répond, c'est tout.
Réponses avec probabilité
- Oui ou nonoui · 0,94
- ChoixSupport · 0,81
- Note4 sur 5
Calibration
Quand il dit 0,9, la réponse est juste environ 9 fois sur 10.
C'est ce qui permet d'écrire des règles comme celle-ci
Si la probabilité que la personne ait demandé un agent dépasse 0,7, appeler quelqu'un de l'équipe.
02
Pourquoi nous nous y sommes intéressés
Dans le service client de Jundo, le même grand modèle qui rédige la réponse déclarait aussi, à propos de sa propre conversation, si la personne voulait parler à quelqu'un, si elle était agacée et si la base de connaissances répondait à la question. C'est demander à celui qui écrit de juger son propre travail.
Dans les cas de demande d'agent, ce jugement se trompait avec assurance une fois sur trois. Une question fermée, posée à un modèle conçu pour cela, promettait d'être moins chère et plus fiable.
Grand modèle
- Rédige la réponse
- Juge si on a demandé un agent
- Juge si la personne est agacée
- Juge si la base répond
Se trompait avec assurance dans 1 demande d'agent sur 3.
Jev
- Demande un agent ?
- Agacée ?
- La base répond ?
Grand modèle
- Rédige la réponse
Chacun fait ce qu’il fait le mieux. Celui qui écrit ne corrige plus sa propre copie.
03
Comment nous avons testé
Nous avons écrit le critère de réussite avant de lancer le test et constitué 123 cas en portugais, écrits à la main, dans quatre domaines d'activité.
Nous avons comparé Jev au contrat de service client en usage, copié sans modification et exécuté sur le grand modèle de langage qui tenait ce rôle.
Écrit avant le test : quatre conditions portant sur
- La justesse
- La calibration
- Les erreurs avec assurance
Les cas, par type
- 25demandes d'agent
- 8pièges pour la règle par mots-clés
- 20clients agacés
- 68questions auxquelles la base répond
- 20questions que la base ne couvre pas
- 15conversations sans aucun signal
04
Résultats
Jev a rempli les quatre conditions. Il n'a pas gagné partout : sur « la personne est-elle agacée ? », le grand modèle a eu un peu plus souvent raison. Là où cela compte le plus, la demande d'agent, l'écart a été important.
Justesse par question
JevModèle précédent
La personne a-t-elle demandé un agent ?
Jev: 100 %Modèle précédent: 67,5 %La personne est-elle agacée ?Ici, le modèle précédent a fait mieux
Jev: 97,6 %Modèle précédent: 98,4 %La base de connaissances y répond-elle ?
Jev: 91,9 %Modèle précédent: 71,5 %
Temps par décision
8×
médiane, réseau compris
Coût des 123 cas
70×
mêmes cas, même question
Erreurs avec assurance, dans les 15 conversations sans signal
Affirmer avec assurance quelque chose que la conversation ne disait pas.
Voir les chiffres en tableau
| Question | Jev | Modèle précédent |
|---|---|---|
| La personne a-t-elle demandé un agent ? | 100 % | 67,5 % |
| La personne est-elle agacée ? | 97,6 % | 98,4 % |
| La base de connaissances y répond-elle ? | 91,9 % | 71,5 % |
| Erreurs commises avec assurance, dans les cas sans signal | 0 sur 15 | 8 sur 15 |
| Temps par décision (médiane) | 358 ms | 2 908 ms |
| Coût des 123 cas | US$ 0,0047 | US$ 0,33 |
05
Comment nous l'avons activé sans prendre de risque
Aucun des deux systèmes ne confie la décision finale à Jev. Chez Jundo, il tourne en mode fantôme ; chez Estação Clínica, sur du texte pseudonymisé, il suggère et l'équipe décide.
Jundo
Mode fantôme- 1Une seule porte de jugementToutes les questions fermées passent par un seul endroit.
- 2Répond, enregistre et compareJev décide en parallèle et est comparé à ce qui s'est passé ensuite. Il ne change rien.
- 3Quand il sera vraiment activéIl ne pourra qu'ajouter le passage à une personne, jamais le retirer.
- Fournisseur en panne ? Un modèle de secours répond, sans inventer de calibration.
Estação Clínica
Signaux pour l'équipe- 1Catégorie et urgenceProposées pour chaque message WhatsApp ; l'équipe accepte en un clic.
- 2Relecture des réponses automatiquesSi un signal s'allume, la réponse devient un brouillon à relire.
- 3Ordre de la base de connaissancesBonne page en premier dans 90 tests sur 90, contre 45 pour l'ordre par mots.
- Travaille sur du texte pseudonymisé, toujours en appui à l'équipe.
Dans les deux cas : si Jev ne répond pas, le système fonctionne comme avant.
06
Ce que nous ne savons pas encore
- 01
Des cas écrits à la main
Les tests ont utilisé des cas écrits par l'auteur des questions. Jev n'a pas encore été mesuré sur de vraies conversations ; le mode fantôme sert à cela.
- 02
Le portugais n'est pas sa langue principale
La langue principale du modèle est l'anglais, et le portugais peut moins bien fonctionner dans des situations que le test n'a pas couvertes.
- 03
Économie par décision, pas sur la facture
Aujourd'hui, la part du travail confiée à Jev est faible dans la facture d'IA. Le facteur 70 vaut par décision, pas pour la facture entière.
07
Prochaines étapes
- En cours
1. Mesurer en mode fantôme
Sur de vraies conversations, avec le même critère écrit à l’avance.
- Ensuite
2. Activer une décision à la fois
Seulement quand elle remplit le critère.
- Ensuite
3. Le présenter à la réunion mensuelle
Le résultat de chaque décision, en chiffres.
Une décision rapide en amont, le raisonnement lourd seulement quand il le faut.
Si les décisions passent une à une, Jev pourrait devenir la porte d'entrée de nos systèmes : il comprend la demande et envoie chacune vers le chemin utile le moins cher. C'est une direction, pas quelque chose d'activé aujourd'hui.
- Base de connaissancesquand la réponse est déjà écrite
- Quelqu'un de l'équipequand le cas demande une personne
- Grand modèleseulement pour raisonner ou rédiger
De petites décisions, rapides et peu chères, en amont. Le reste du système fait le travail.