Calibra decisiones, además de notas
La calibración consiste en comparar evaluaciones independientes de las mismas conversaciones con una pauta común y resolver diferencias justificadamente. Una nota cercana puede ocultar desacuerdos importantes: dos revisores pueden descontar la misma cantidad de puntos por motivos distintos.
El método de esta guía se puede llevar en una hoja de trabajo. No describe un módulo de calibración de VoxKPI ni una corrección automática de sus evaluaciones. Al incluir un resultado de IA, trátalo como otra evaluación que debe contrastarse con el audio y la pauta vigente.
El responsable del negocio debe aprobar qué se espera de la llamada, qué excepciones admite y qué situaciones requieren una acción especial. El equipo de calidad traduce esas decisiones en reglas verificables; la sesión de calibración ayuda a comprobar que se interpretan de forma consistente.
Conserva la primera evaluación de cada revisor
Fija la campaña, la versión de pauta y el conjunto de grabaciones autorizadas. Incluye casos rutinarios y algunos que hayan generado dudas. Entrega a cada revisor las mismas instrucciones y acceso al mismo audio; primero debe registrar su conclusión sin conocer la del resto.
Usa una fila por pareja llamada–criterio. Guarda identificador interno, versión, aplicabilidad, resultado de cada revisor, evidencia, minuto cuando corresponda y motivo. Evita datos personales innecesarios en la hoja. No reemplaces los resultados iniciales con el acuerdo final: perderías el registro del desacuerdo que querías resolver.
La hoja descargable es un registro manual editable. No procesa grabaciones, no calcula una nota de VoxKPI y no se presenta como un formato de importación al producto.
Descargar hoja de calibración en CSVSepara cuatro causas de desacuerdo
Antes de negociar una nota intermedia, identifica en qué punto se separaron las decisiones. Cada causa exige una corrección distinta; cambiar el peso de un criterio no resuelve una interpretación ambigua.
Ejemplo ficticio: una pauta exige informar el plazo de entrega solo si el cliente acepta continuar con una contratación. Un revisor marca incumplimiento porque no escucha el plazo; otro considera que no correspondía porque la persona interrumpió la gestión. La discusión inicial es sobre aplicabilidad. Resolverla exige revisar el recorrido de la llamada y la condición escrita, no promediar ambos resultados.
| Causa | Pregunta para resolverla | Registro útil |
|---|---|---|
| Aplicabilidad | ¿La obligación correspondía a esta etapa y a esta conversación? | Condición de entrada al criterio y motivo de la excepción. |
| Evidencia | ¿Ambos escucharon el mismo tramo completo y entendible? | Fragmento, contexto, hablante y problema de audio si existe. |
| Interpretación | ¿La conducta observada satisface la regla escrita? | Definición, ejemplo aceptado y contraejemplo. |
| Puntaje o consecuencia | ¿Se aplicó la misma escala y la misma regla crítica? | Puntos, peso, versión y decisión correspondiente. |
Mide el acuerdo con un denominador visible
Para dos revisores y categorías previamente acordadas, puedes usar: acuerdo simple = decisiones con el mismo resultado ÷ decisiones comparables × 100. Una decisión es una pareja llamada–criterio, no necesariamente una llamada completa. Usa la misma escala para ambos revisores y documenta qué se consideró comparable.
Ejemplo ficticio: se planifican 50 decisiones. En 5, ambos revisores coinciden en que el criterio no aplica y se registran aparte; 5 quedan pendientes porque el audio no permite decidir. En las otras 40, hay 32 coincidencias y 8 diferencias. El acuerdo entre resultados comparables es 32 ÷ 40 × 100 = 80%. El informe debe mostrar también las 5 no aplicables y las 5 pendientes; 80% no describe todas las decisiones planificadas.
Si un revisor dice «no aplica» y el otro evalúa cumplimiento, registra un desacuerdo de aplicabilidad; no lo elimines para mejorar el porcentaje. Si el denominador es cero, informa «no calculable». Coincidir no demuestra que ambos tengan razón, y un acuerdo global puede ocultar diferencias en una obligación crítica.
Distingue peso, cumplimiento y error crítico
El peso expresa la importancia relativa del criterio. El resultado indica el grado de cumplimiento. Una regla crítica define una consecuencia especial que debe estar aprobada por el negocio. No son tres maneras de nombrar lo mismo.
Ejemplo didáctico ficticio, no fórmula del producto: una pauta tiene criterios de peso 20, 30 y 50. Si sus cumplimientos son 1, 0,5 y 1, la suma ponderada es 20 × 1 + 30 × 0,5 + 50 × 1 = 85 puntos de 100. El cálculo solo representa esa escala y esos supuestos. Un criterio crítico incumplido podría exigir una decisión diferente de la que sugiere el total, si así lo establece la regla de la campaña.
Cuando un criterio no aplica, acuerda expresamente cómo tratar su peso y registra la política. Excluirlo, redistribuirlo o conservarlo produce cálculos distintos. No atribuyas a VoxKPI una redistribución automática a partir de este ejemplo: comprueba el tratamiento y la configuración aplicables en la demostración.
Cierra cada diferencia con una regla que pueda reutilizarse
Para cada diferencia, conserva la decisión inicial de los revisores, la conclusión acordada, su motivo, quien la aprueba y la fecha. Si cambia el texto de la pauta, asigna una nueva versión y registra desde cuándo aplica. No cambies retrospectivamente las reglas de una comparación sin explicarlo.
Vuelve a evaluar ejemplos afectados y añade otros que no hayan formado parte de la discusión. Comprueba si la nueva redacción resuelve la duda en un contexto distinto. Define la frecuencia de futuras revisiones según los cambios de campaña, equipo, grabación y patrones de desacuerdo; no hay una cadencia única para todas las operaciones.
En VoxKPI puedes revisar los criterios propuestos desde un script PDF con texto extraíble y contrastar la evaluación con su justificación y evidencia disponible. Un PDF escaneado sin texto necesita preparación; ese flujo no realiza OCR. La metodología de esta guía ayuda a preparar la revisión; el acuerdo sobre la pauta y las acciones sigue correspondiendo a los responsables de la operación.
Preguntas frecuentes
¿Qué porcentaje de acuerdo se considera aceptable?
Debe acordarse según la campaña, el tipo de decisión y sus consecuencias. Informa el denominador y revisa por separado los desacuerdos críticos. El porcentaje del ejemplo es ficticio y no es un umbral recomendado.
¿Calibrar significa ajustar la IA hasta que copie al supervisor?
No. La referencia del supervisor también se revisa. El objetivo es que las conclusiones se sostengan en una pauta clara y evidencia suficiente. Una diferencia puede revelar un error humano, un problema de audio o una interpretación automática incorrecta.
¿Puedo comparar solo el score final de dos revisores?
Sirve como señal inicial, pero no explica dónde difieren. Compara aplicabilidad, resultado y evidencia por criterio; dos totales iguales pueden contener errores distintos.