Tutorial 30 · Métricas: lo que cuesta JMAX y lo bien que responde

Lo que se dice en el vídeo

1. Métricas responde a dos preguntas: cuánto cuesta JMAX, y si lo que responde vale la pena. Arriba el consumo y el presupuesto; abajo los indicadores de efectividad.
2. Cada respuesta de un modelo se cuenta: tokens de entrada, de salida y su coste según la tarifa. Arriba ves lo gastado en el mes, y debajo cuántos tokens y cuántas llamadas hicieron falta para eso.
3. Pon un presupuesto mensual y guarda. A partir de ahí aparece una barra con el porcentaje consumido, y JMAX te avisa cuando se acerca al límite. Sin presupuesto solo verás el gasto, sin referencia.
4. La tabla desglosa por proveedor y modelo: llamadas, tokens de entrada, de salida, y lo que costó. Ordenada por lo que cuesta, y con el porcentaje que representa cada uno sobre el total.
5. Fíjate en la primera fila: el servidor local hace de largo la mayor parte del trabajo y cuesta cero. Lo que pagas es la nube, y ahí se ve exactamente cuánto y por qué modelo. Es la cifra que justifica tener servidor propio.
6. El host aparece junto al modelo a propósito: el mismo modelo puede correr en tu máquina y en la nube, y el host es lo que los distingue sin lugar a dudas. Y si un proveedor no informa del gasto, lo dice como sin conteo.
7. Debajo, los tokens por día del último mes. Sirve para ver la curva: si el gasto sube, aquí se ve desde qué día, y eso suele explicar el porqué mejor que el total del mes.
8. Las tarifas son editables, en dólares por millón de tokens de entrada y de salida. Vienen puestas con los precios de lista, pero si tienes un acuerdo distinto, cámbialas aquí y el cálculo se ajusta. Los locales van a cero.
9. La segunda mitad son los indicadores de efectividad, y todos salen de una sola cosa: las estrellas que tú pones a las respuestas. Cada estrella entrena a JMAX y alimenta estos números.
10. Efectividad global, promedio de estrellas, satisfacción, que son las de cuatro y cinco, respuestas calificadas, insatisfacción, que son las de una y dos, y la tendencia frente a la semana anterior.
11. Y lo mismo desglosado por canal: chat escrito, WhatsApp, Telegram. Aquí se ve si JMAX responde igual de bien por todos, o si un canal concreto arrastra la nota.
12. La distribución de estrellas enseña la forma, no solo el promedio. Un promedio de cuatro con todo repartido no es lo mismo que un promedio de cuatro con muchas de cinco y unas pocas de una: eso último señala un problema concreto.
13. Y el promedio por día de las últimas dos semanas dice si vas mejorando. Es el gráfico que conviene mirar después de cambiar un cerebro, ajustar una habilidad o corregir un agente.
14. El consejo que hace útil todo esto: califica. Si nadie pone estrellas, estos indicadores quedan vacíos y JMAX no tiene de dónde aprender. Con calificar lo que te llega, ya tienes tendencia, canal flojo y coste, en una sola pantalla.