Notas de priorización: por qué dos personas puntúan distinto
Dos personas dan notas distintas a la misma iniciativa porque el criterio, normalmente "impacto", no dice qué contar. Esa variación entre quienes puntúan tiene nombre, ruido, y se puede medir antes de fiarse de la cola. Pide a tres personas que puntúen las mismas cinco iniciativas, cada una por separado, y compara las notas.
¿Por qué la nota de priorización parece más objetiva de lo que es?
Porque es un número. Una nota de 1 a 5 en "impacto" parece una medida, entra en una hoja de cálculo, genera un promedio y produce un orden. Lo que guarda, sin embargo, es el juicio de quien puntuó, y cada persona leyó la palabra "impacto" a su manera.
Finanzas lee caja y TI lee riesgo evitado. Operaciones lee horas devueltas al equipo. Las tres tienen razón, y el promedio de las tres no mide ninguna de esas cosas. Cuando la reunión termina con la cola ordenada, lo que quedó registrado es el resultado de un cálculo, no las tres lecturas que lo alimentaron.
Es un problema de arquitectura, no de personas. El criterio se escribió como una palabra, y no como una pregunta con una sola respuesta.
¿Cuánto se separan dos personas ante el mismo caso?
Más de lo que se espera, según lo que se ha medido en otros contextos. En el libro Noise, Daniel Kahneman, Olivier Sibony y Cass Sunstein describen una auditoría en una gran aseguradora en la que 48 suscriptores evaluaron los mismos casos. Los directivos de la empresa esperaban una variación de cerca del 10% entre los precios. La diferencia mediana encontrada fue del 55%.
La reseña de strategy+business sobre el libro recoge el mismo patrón a mayor escala: cuando se preguntó a 828 directivos sénior cuánta variación esperaban en los juicios de expertos, la mediana de las respuestas fue del 10%. Según la reseña, la variación real puede ser de cuatro a cinco veces esa cifra.
Estos números tienen un límite. Una aseguradora no es una cola de innovación, y no encontramos ninguna medición publicada de la discrepancia en las notas de priorización de iniciativas de tecnología. El mecanismo, en cambio, es el mismo: personas competentes leyendo el mismo caso con un criterio que cada una interpreta a su manera. Que tu cola muestre una discrepancia de ese tamaño es una hipótesis, y la siguiente sección explica cómo comprobarla.
¿Cómo medir la discrepancia de tu propia cola?
Con una auditoría de ruido en miniatura. El método está descrito en la Harvard Business Review: miembros de una misma unidad evalúan un conjunto común de casos, y el grado en que varían las evaluaciones mide el ruido.
En la práctica, cuatro movimientos. Elige cinco iniciativas que ya estén en la cola, preferiblemente de áreas distintas. Elige a tres personas que suelan participar en la priorización. Pide a cada una que puntúe las cinco por separado, con la misma escala y el mismo criterio escrito. Solo después junta las notas y calcula, para cada iniciativa, la distancia entre la más alta y la más baja.
En una escala de 1 a 5, una distancia de 3 puntos en una iniciativa significa que las personas no estaban evaluando lo mismo. No sirve de nada discutir quién tiene razón. La pregunta útil es qué lectura del criterio hizo cada una.
¿Qué reduce la discrepancia sin volver rígida la decisión?
Cuatro prácticas, todas del mismo tipo: quitar del criterio lo que depende de la interpretación. La reseña de strategy+business resume el conjunto que los autores llaman higiene de la decisión: no dejar que el juicio llegue a una conclusión demasiado pronto, agregar juicios independientes, usar escalas comunes y dividir el juicio complejo en partes más pequeñas.
La primera es escribir anclas. En lugar de "impacto de 1 a 5", define qué es un 5 y qué es un 1: por ejemplo (valores ilustrativos), un 5 son más de 200 horas al mes devueltas a un área, medidas contra la línea base, y un 1 son menos de 20. La cifra exacta es decisión tuya. Lo que importa es que dos personas, con el mismo dato, lleguen a la misma nota.
La segunda es separar el criterio en partes. "Impacto" pasa a ser horas devueltas, dinero evitado y riesgo reducido, cada uno con su propia escala. La suma ponderada viene después, y el peso de cada parte es una decisión explícita de la dirección, no un accidente de la conversación.
La tercera es puntuar antes de discutir. Quien habla primero fija el punto de partida del grupo. Con notas escritas e independientes, la discusión empieza por las discrepancias, que son la parte informativa, y no por el consenso.
La cuarta es la arquitectura del registro. El sistema donde vive la cola debe guardar la nota de cada evaluador, con la fecha y el ancla usada, y no solo el promedio. Cuando solo sobrevive el promedio, la discrepancia desaparece del historial, y nadie puede saber después si una iniciativa subió en la cola por mérito o por quién estaba en la sala. Es la misma lógica del inventario de iniciativas: la cola solo es fiable si lo que la alimenta tiene responsable y registro.
Un ejemplo práctico: cinco iniciativas, tres directores
El escenario siguiente es hipotético y los números son supuestos ilustrativos, no mediciones. Una red de clínicas con doce sedes tiene cinco iniciativas en la cola. Los directores de operaciones, finanzas y TI puntúan el impacto de cada una, de 1 a 5, por separado.
La iniciativa A recibe 5, 4 y 4. La B recibe 3, 3 y 3. La D recibe 2, 2 y 3. En estas tres las notas van juntas y el promedio es fiable. La iniciativa C recibe 5, 2 y 3, y la E recibe 4, 5 y 2. Los promedios de C y E (3,3 y 3,7) las ponen a mitad de la cola, y la reunión las trataría como iniciativas medianas.
La distancia de 3 puntos cuenta otra historia. En la C, operaciones vio horas devueltas a los puestos de recepción y dio un 5, mientras que finanzas no encontró caja y dio un 2. En la E, TI dio un 2 porque la iniciativa crea una integración más que mantener. Ninguna es mediana. Cada una tiene un beneficio claro para un área y un costo claro para otra, y el promedio borró esa información. La conversación correcta trata de lo que cuestan y a quién, antes de cualquier posición en la cola.
Es el tipo de lectura que pide la priorización por dependencia y cuello de botella: saber qué desbloquea cada iniciativa y qué traslada a otra área. Y si la decisión va a la dirección, presentar un rango de costo en lugar de una cifra única sigue el mismo principio de mostrar la incertidumbre en vez de esconderla en un promedio.
Preguntas frecuentes
Mi equipo no acepta cambios. ¿Puntuar iniciativas con criterios escritos no parecerá burocracia?
Puede parecerlo, si el criterio llega terminado y sin explicación. Empieza por la prueba de una tarde, sin crear ninguna regla nueva: muestra a las propias personas que puntuaron cuánto se separaron sus notas. Quien ve su 5 junto a un 2 suele pedir el criterio, en lugar de recibirlo como una imposición.
No veo cómo medir el resultado de una priorización. ¿Cómo sé si la cola mejoró?
Mide la discrepancia antes y después de escribir las anclas, con las mismas cinco iniciativas u otras equivalentes. Si la distancia media entre evaluadores baja, el criterio quedó más claro. Eso no prueba que la cola acierte más, pero es un paso que se puede medir, y un orden solo puede ser mejor si antes es reproducible.
¿La implementación exigirá demasiado tiempo de mi equipo?
La prueba exige una tarde de tres personas y una hoja de cálculo. Escribir las anclas lleva una conversación corta más. El costo grande llega después, si la cola sigue sin registrar quién puntuó qué: cada revisión vuelve a discutir desde cero lo que ya se había decidido.
El próximo paso
Si hoy tu cola de iniciativas es un promedio que nadie puede abrir, el Diagnóstico de Arquitectura Operacional es una conversación de 30 minutos para revisar cómo se generan y se registran las notas y qué cambia eso en tu orden de prioridades: reserva a través de contacto.
Cases relacionados
¿Reconociste tu operación en este artículo?
Agenda el Diagnóstico de Arquitectura Operacional: 30 minutos para mapear dónde está el cuello de botella de tu operación. Sin propuesta en la primera conversación.
Agendar diagnóstico