En resumen
- En la prueba, Jev acertó el 100% de las solicitudes de agente humano; el modelo que cumplía esa función acertó el 67,5%.
- Cada decisión salió 70 veces más barata y 8 veces más rápida.
- La prueba usó 123 casos en portugués escritos a mano. En conversaciones reales todavía no lo medimos, y lo decimos más abajo.
01
Qué es Jev
Jev, de TypeSafe AI, es un modelo que no genera texto. Recibe un contexto y preguntas tipadas y devuelve una respuesta con probabilidad: sí o no (de 0 a 1), una elección entre opciones o una nota en una escala.
Usamos Jev a través de OpenRouter, con la versión del modelo fijada, para que el comportamiento no cambie sin aviso.
Contexto
Ejemplo ilustrativo“Ya lo intenté dos veces en la app y nada. Quiero hablar con una persona.”
Preguntas tipadas
- Sí o no¿La persona pidió un agente?
- Elección¿Cuál es el tema?
- NotaUrgencia, de 1 a 5
No escribe texto. Solo responde.
Respuestas con probabilidad
- Sí o nosí · 0,94
- ElecciónSoporte · 0,81
- Nota4 de 5
Calibración
Cuando dice 0,9, la respuesta es correcta cerca de 9 de cada 10 veces.
Por eso se pueden escribir reglas así
Si la probabilidad de que la persona haya pedido un agente supera 0,7, llama a alguien del equipo.
02
Por qué lo miramos
En la atención de Jundo, el mismo modelo grande que escribe la respuesta también declaraba, sobre su propia conversación, si la persona quería hablar con alguien, si estaba molesta y si la base de conocimiento respondía la pregunta. Es pedirle a quien escribe que juzgue su propio trabajo.
En los casos de solicitud de agente, ese juicio se equivocaba con confianza en uno de cada tres casos. Una pregunta cerrada, hecha a un modelo diseñado para eso, prometía ser más barata y más confiable.
Modelo grande
- Escribe la respuesta
- Juzga si pidieron un agente
- Juzga si la persona está molesta
- Juzga si la base responde
Se equivocaba con confianza en 1 de cada 3 solicitudes de agente.
Jev
- ¿Pidió un agente?
- ¿Está molesta?
- ¿La base responde?
Modelo grande
- Escribe la respuesta
Cada uno hace lo que hace mejor. Quien escribe no corrige su propio examen.
03
Cómo lo probamos
Escribimos el criterio de aprobación antes de ejecutar la prueba y armamos 123 casos en portugués, escritos a mano, en cuatro áreas de negocio.
Comparamos Jev con el contrato de atención en uso, copiado sin cambios y ejecutándose en el modelo grande de lenguaje que cumplía esa función.
Escrito antes de la prueba: cuatro condiciones sobre
- Acierto
- Calibración
- Errores confiados
Los casos, por tipo
- 25solicitudes de agente
- 8trampas para la regla de palabras clave
- 20clientes molestos
- 68preguntas que la base responde
- 20preguntas que la base no cubre
- 15conversaciones sin ninguna señal
04
Resultados
Jev cumplió las cuatro condiciones. No ganó en todo: en “¿la persona está molesta?”, el modelo grande acertó un poco más. Donde más importa, la solicitud de agente, la diferencia fue grande.
Acierto por pregunta
JevModelo anterior
¿La persona pidió un agente?
Jev: 100 %Modelo anterior: 67,5 %¿La persona está molesta?Aquí el modelo anterior fue mejor
Jev: 97,6 %Modelo anterior: 98,4 %¿La base de conocimiento lo responde?
Jev: 91,9 %Modelo anterior: 71,5 %
Tiempo por decisión
8×
mediana, con la red incluida
Costo de los 123 casos
70×
mismos casos, misma pregunta
Errores con confianza, en las 15 conversaciones sin señal
Afirmar con seguridad algo que la conversación no decía.
Ver los números en tabla
| Pregunta | Jev | Modelo anterior |
|---|---|---|
| ¿La persona pidió un agente? | 100% | 67,5% |
| ¿La persona está molesta? | 97,6% | 98,4% |
| ¿La base de conocimiento lo responde? | 91,9% | 71,5% |
| Errores con confianza, en los casos sin señal | 0 de 15 | 8 de 15 |
| Tiempo por decisión (mediana) | 358 ms | 2.908 ms |
| Costo de los 123 casos | US$ 0,0047 | US$ 0,33 |
05
Cómo lo activamos sin correr riesgos
Ninguno de los dos sistemas le entrega la decisión final a Jev. En Jundo funciona en modo sombra; en Estação Clínica, sobre texto seudonimizado, sugiere y el equipo decide.
Jundo
Modo sombra- 1Una sola puerta de juicioTodas las preguntas cerradas pasan por un único lugar.
- 2Responde, registra y comparaJev decide en paralelo y se compara con lo que pasó después. No cambia nada.
- 3Cuando se active de verdadSolo puede agregar el pase a una persona, nunca quitarlo.
- ¿Falló el proveedor? Un modelo de respaldo responde, sin inventar calibración.
Estação Clínica
Señales para el equipo- 1Categoría y urgenciaLas propone para cada mensaje de WhatsApp; el equipo las acepta con un clic.
- 2Revisión de respuestas automáticasSi enciende una señal, la respuesta pasa a borrador para que alguien la mire.
- 3Orden de la base de conocimientoPágina correcta en primer lugar en 90 de 90 pruebas, contra 45 del orden por palabras.
- Trabaja sobre texto seudonimizado, siempre como apoyo al equipo.
En los dos: si Jev no responde, el sistema funciona como antes.
06
Lo que todavía no sabemos
- 01
Casos escritos a mano
Las pruebas usaron casos escritos por el mismo autor de las preguntas. En conversaciones reales, Jev todavía no se midió; para eso existe el modo sombra.
- 02
El portugués no es su idioma principal
El idioma principal del modelo es el inglés, y el portugués puede rendir menos en situaciones que la prueba no cubrió.
- 03
Ahorro por decisión, no en la factura
Hoy la parte del trabajo en la que actúa Jev es pequeña dentro de la cuenta de IA. Las 70 veces valen por decisión, no para la factura entera.
07
Próximos pasos
- En curso
1. Medir en modo sombra
Con conversaciones reales y el mismo criterio escrito antes.
- Después
2. Activar una decisión a la vez
Solo cuando cumpla el criterio.
- Después
3. Mostrarlo en la reunión del mes
El resultado de cada decisión, en números.
Decisión rápida al frente, razonamiento pesado solo cuando hace falta.
Si las decisiones pasan una a una, Jev puede convertirse en la puerta de entrada de nuestros sistemas: entiende el pedido y manda cada uno por el camino útil más barato. Es una dirección, no algo activado hoy.
- Base de conocimientocuando la respuesta ya está escrita
- Alguien del equipocuando el caso necesita una persona
- Modelo grandesolo cuando hace falta razonar o escribir
Decisiones pequeñas, rápidas y baratas al frente. El resto del sistema hace el trabajo.