Em resumo
- No teste, o Jev acertou 100% dos pedidos de atendente humano; o modelo que fazia esse papel acertou 67,5%.
- Cada decisão saiu 70 vezes mais barata e 8 vezes mais rápida.
- O teste usou 123 casos em português escritos à mão. Em conversa real ainda não medimos, e dizemos isso abaixo.
01
O que é o Jev
O Jev, da TypeSafe AI, é um modelo que não gera texto. Ele recebe um contexto e perguntas tipadas e devolve uma resposta com probabilidade: sim ou não (de 0 a 1), uma escolha entre opções ou uma nota numa escala.
Usamos o Jev pelo OpenRouter, com a versão do modelo fixada, para que o comportamento não mude sem aviso.
Contexto
Exemplo ilustrativo“Já tentei duas vezes pelo app e nada. Quero falar com uma pessoa.”
Perguntas tipadas
- Sim ou nãoA pessoa pediu um atendente?
- EscolhaQual é o assunto?
- NotaUrgência, de 1 a 5
Não escreve texto. Só responde.
Respostas com probabilidade
- Sim ou nãosim · 0,94
- EscolhaSuporte · 0,81
- Nota4 de 5
Calibração
Quando ele diz 0,9, a resposta está certa perto de 9 em cada 10 vezes.
Por isso dá para escrever regras assim
Se a chance de a pessoa ter pedido um atendente passar de 0,7, chama alguém da equipe.
02
Por que olhamos para ele
No atendimento do Jundo, o mesmo modelo grande que escreve a resposta também declarava, sobre a própria conversa, se a pessoa queria falar com alguém, se estava irritada e se a base de conhecimento respondia a pergunta. É pedir para quem escreve julgar o próprio trabalho.
Nos casos de pedido de atendente, esse julgamento errava com confiança em um de cada três casos. Uma pergunta fechada, feita a um modelo feito para isso, prometia ser mais barata e mais confiável.
Modelo grande
- Escreve a resposta
- Julga se pediram um atendente
- Julga se a pessoa está irritada
- Julga se a base responde
Errava com confiança em 1 de cada 3 pedidos de atendente.
Jev
- Pediu um atendente?
- Está irritada?
- A base responde?
Modelo grande
- Escreve a resposta
Cada um faz o que faz melhor. Quem escreve não corrige a própria prova.
03
Como testamos
Escrevemos o critério de aprovação antes de rodar o teste e montamos 123 casos em português, escritos à mão, em quatro áreas de negócio.
Comparamos o Jev com o contrato de atendimento em uso, copiado sem mudança e rodando no modelo grande de linguagem que fazia esse papel.
Escrito antes do teste: quatro condições sobre
- Acerto
- Calibração
- Erros confiantes
Os casos, por tipo
- 25pedidos de atendente
- 8armadilhas para a regra de palavras-chave
- 20clientes irritados
- 68perguntas que a base responde
- 20perguntas que a base não cobre
- 15conversas sem sinal nenhum
04
Resultados
O Jev passou nas quatro condições. Ele não ganhou em tudo: em “a pessoa está irritada?”, o modelo grande acertou um pouco mais. Onde mais importa, o pedido de atendente, a diferença foi grande.
Acerto por pergunta
JevModelo anterior
A pessoa pediu um atendente?
Jev: 100%Modelo anterior: 67,5%A pessoa está irritada?Aqui o modelo anterior foi melhor
Jev: 97,6%Modelo anterior: 98,4%A base de conhecimento responde?
Jev: 91,9%Modelo anterior: 71,5%
Tempo por decisão
8×
mediana, com a rede incluída
Custo dos 123 casos
70×
mesmos casos, mesma pergunta
Erros com confiança, nas 15 conversas sem sinal
Afirmar com segurança algo que a conversa não dizia.
Ver os números em tabela
| Pergunta | Jev | Modelo anterior |
|---|---|---|
| A pessoa pediu um atendente? | 100% | 67,5% |
| A pessoa está irritada? | 97,6% | 98,4% |
| A base de conhecimento responde? | 91,9% | 71,5% |
| Erros com confiança, nos casos sem sinal | 0 de 15 | 8 de 15 |
| Tempo por decisão (mediana) | 358 ms | 2.908 ms |
| Custo dos 123 casos | US$ 0,0047 | US$ 0,33 |
05
Como ligamos, sem correr risco
Nenhum dos dois sistemas entrega a decisão final ao Jev. No Jundo ele roda em sombra; na Estação Clínica, sobre texto pseudonimizado, ele sugere e a equipe decide.
Jundo
Modo sombra- 1Porta única de julgamentoTodas as perguntas fechadas passam por um só lugar.
- 2Responde, registra e comparaO Jev decide em paralelo e é comparado com o que aconteceu depois. Não muda nada.
- 3Quando ligar de fatoSó pode acrescentar a passagem para uma pessoa, nunca retirar.
- Fornecedor falhou? Um modelo reserva responde, sem inventar calibração.
Estação Clínica
Sinais para a equipe- 1Categoria e urgênciaPropõe para cada mensagem do WhatsApp; a equipe aceita com um clique.
- 2Revisão de respostas automáticasSe acender um sinal, a resposta vira rascunho para alguém olhar.
- 3Ordem da base de conhecimentoPágina certa em primeiro em 90 de 90 testes, contra 45 da ordem por palavras.
- Trabalha sobre texto pseudonimizado, sempre como apoio à equipe.
Nos dois: se o Jev não responder, o sistema funciona como antes.
06
O que ainda não sabemos
- 01
Casos escritos à mão
Os testes usaram casos escritos pelo mesmo autor das perguntas. Em conversa real, o Jev ainda não foi medido; o modo sombra existe para isso.
- 02
Português não é a língua principal
A língua principal do modelo é o inglês, e o português pode render menos em situações que o teste não cobriu.
- 03
Economia por decisão, não na fatura
Hoje a parte do trabalho em que o Jev atua é pequena dentro da conta de IA. Os 70 vezes valem por decisão, não para a fatura inteira.
07
Próximos passos
- Em curso
1. Medir em sombra
Com conversas reais e o mesmo critério escrito antes.
- Depois
2. Ligar uma decisão por vez
Só quando ela passar no critério.
- Depois
3. Mostrar na reunião do mês
O resultado de cada decisão, em número.
Decisão rápida na frente, raciocínio pesado só quando precisa.
Se as decisões passarem uma a uma, o Jev pode virar a porta de entrada dos nossos sistemas: entende o pedido e manda cada um para o caminho útil mais barato. É uma direção, não algo ligado hoje.
- Base de conhecimentoquando a resposta já está escrita
- Uma pessoa da equipequando o caso pede gente
- Modelo grandesó quando precisa raciocinar ou escrever
Decisões pequenas, rápidas e baratas na frente. O resto do sistema faz o trabalho.