Nota de priorização: por que duas pessoas pontuam diferente
Duas pessoas dão notas diferentes à mesma iniciativa porque o critério, em geral "impacto", não diz o que contar. Essa variação entre quem pontua tem nome, ruído, e dá para medi-la antes de confiar na fila. Peça a três pessoas que pontuem as mesmas cinco iniciativas, cada uma sozinha, e compare as notas.
Por que a nota de priorização parece mais objetiva do que é?
Porque é número. Uma nota de 1 a 5 em "impacto" tem cara de medida, entra numa planilha, gera uma média e produz uma ordem. O que ela guarda, porém, é o julgamento de quem pontuou, e cada pessoa leu a palavra "impacto" de um jeito.
O financeiro lê caixa e a TI lê risco evitado. A operação lê horas devolvidas à equipe. Os três estão certos, e a média dos três não mede nenhuma dessas coisas. Quando a reunião termina com a fila ordenada, o que ficou registrado foi o resultado de uma conta, e não as três leituras que a alimentaram.
Isso é problema de arquitetura, não de pessoas. O critério foi escrito como palavra, e não como pergunta que tenha uma só resposta.
Quanto duas pessoas divergem diante do mesmo caso?
Mais do que se espera, segundo o que se mediu em outros contextos. Daniel Kahneman, Olivier Sibony e Cass Sunstein descrevem no livro Noise uma auditoria feita em uma grande seguradora, em que 48 subscritores avaliaram os mesmos casos. Os executivos da empresa esperavam uma variação de cerca de 10% entre os preços. A diferença mediana encontrada foi de 55%.
A resenha da strategy+business sobre o livro registra o mesmo padrão em escala maior: quando 828 executivos seniores foram perguntados quanto de variação esperavam em julgamentos de especialistas, a mediana das respostas foi 10%. A variação real, segundo a resenha, pode ser de quatro a cinco vezes isso.
Há um limite nesses números. Uma seguradora não é uma fila de inovação, e não encontramos medição publicada da divergência em notas de priorização de iniciativas de tecnologia. O mecanismo, porém, é o mesmo: pessoas competentes lendo o mesmo caso com um critério que cada uma interpreta a seu modo. Que a sua fila tenha uma divergência dessa ordem é hipótese, e a próxima seção mostra como testá-la.
Como medir a divergência da sua própria fila?
Com uma auditoria de ruído em miniatura. O método está descrito na Harvard Business Review: membros de uma mesma unidade avaliam um conjunto comum de casos, e o grau de variação entre as avaliações mede o ruído.
Na prática, em quatro movimentos. Escolha cinco iniciativas que já estão na fila, de preferência de áreas diferentes. Escolha três pessoas que costumam participar da priorização. Peça que cada uma pontue as cinco, sozinha, na mesma escala e com o mesmo critério escrito. Só depois junte as notas e calcule, para cada iniciativa, a distância entre a maior e a menor.
Numa escala de 1 a 5, uma distância de 3 pontos em uma iniciativa significa que as pessoas não estavam avaliando a mesma coisa. Não adianta debater qual está certa. A pergunta útil é qual leitura do critério cada uma fez.
O que reduz a divergência sem engessar a decisão?
Quatro práticas, todas do mesmo tipo: tirar do critério o que depende de interpretação. A resenha da strategy+business resume o conjunto que os autores chamam de higiene da decisão: não deixar o julgamento chegar a uma conclusão cedo demais, agregar julgamentos independentes, usar escalas comuns e quebrar o julgamento complexo em partes menores.
A primeira é escrever âncoras. Em vez de "impacto de 1 a 5", defina o que é um 5 e o que é um 1: por exemplo (valores ilustrativos), 5 são mais de 200 horas por mês devolvidas a uma área, medidas pela linha de base, e 1 é menos de 20. O número exato é decisão sua. O que importa é que duas pessoas, com o mesmo dado, cheguem à mesma nota.
A segunda é separar o critério em partes. "Impacto" vira horas devolvidas, dinheiro evitado e risco reduzido, cada um com a sua escala. A soma ponderada vem depois, e o peso de cada parte é uma decisão explícita da diretoria, não um acaso da conversa.
A terceira é pontuar antes de discutir. Quem fala primeiro ancora o grupo. Com notas escritas e independentes, a discussão começa pelas divergências, que são a parte informativa, e não pelo consenso.
A quarta é arquitetura de registro. O sistema onde a fila vive precisa guardar a nota de cada avaliador, com a data e a âncora usada, e não só a média. Quando só a média sobrevive, a divergência desaparece do histórico, e ninguém consegue saber depois se a iniciativa subiu na fila por mérito ou por quem estava na sala. É a mesma lógica do inventário de iniciativas: a fila só é confiável se o que a alimenta tem dono e registro.
Um exemplo prático: cinco iniciativas, três diretores
O cenário abaixo é hipotético e os números são premissas ilustrativas, não medição. Uma rede de clínicas com doze unidades tem cinco iniciativas na fila. Os diretores de operações, financeiro e TI pontuam o impacto de cada uma, de 1 a 5, sozinhos.
A iniciativa A recebe 5, 4 e 4. A B recebe 3, 3 e 3. A D recebe 2, 2 e 3. Nessas três, as notas andam juntas e a média é confiável. A iniciativa C recebe 5, 2 e 3, e a E recebe 4, 5 e 2. As médias de C e E (3,3 e 3,7) as colocam no meio da fila, e a reunião as trataria como iniciativas medianas.
A distância de 3 pontos conta outra história. Na C, operações viu horas devolvidas às recepções e deu 5, enquanto o financeiro não encontrou caixa e deu 2. Na E, a TI deu 2 porque a iniciativa cria uma integração a mais para manter. Nenhuma das duas é mediana. Cada uma tem um benefício claro para uma área e um custo claro para outra, e a média apagou essa informação. A conversa certa é sobre o que elas custam e a quem, antes de qualquer posição na fila.
Esse tipo de leitura é o que a priorização por dependência e gargalo pede: saber o que cada iniciativa destrava e o que ela empurra para outra área. E se a decisão for levar o resultado à diretoria, a faixa de custo no lugar do número único segue o mesmo princípio de mostrar a incerteza em vez de escondê-la numa média.
Perguntas frequentes
Minha equipe não aceita mudanças. Pontuar iniciativas com critérios escritos não vai parecer burocracia?
Pode parecer, se o critério chegar pronto e sem explicação. Comece pelo teste de uma tarde, sem criar regra nova: mostre às próprias pessoas que pontuaram como as notas se distanciaram. Quem vê a própria nota 5 ao lado de um 2 costuma pedir o critério, em vez de recebê-lo como imposição.
Não vejo como mensurar o resultado de uma priorização. Como saber se a fila ficou melhor?
Meça a divergência antes e depois de escrever as âncoras, com as mesmas cinco iniciativas ou outras equivalentes. Se a distância média entre avaliadores cai, o critério ficou mais claro. Isso não prova que a fila acerta mais, mas é um passo que se mede, e a ordem só pode ser melhor se antes for reproduzível.
A implementação vai exigir tempo demais do meu time?
O teste exige uma tarde de três pessoas e uma planilha. Escrever as âncoras leva mais uma conversa curta. O custo grande vem depois, se a fila continuar sem registro de quem pontuou o quê: cada revisão volta a discutir do zero o que já foi decidido.
O próximo passo
Se a sua fila de iniciativas hoje é uma média que ninguém consegue abrir, o Diagnóstico de Arquitetura Operacional é uma conversa de 30 minutos para olhar como as notas são geradas e registradas e o que isso muda na sua ordem de prioridades.
Cases relacionados
Reconheceu a sua operação neste artigo?
Agende o Diagnóstico de Arquitetura Operacional: 30 minutos para mapear onde está o gargalo da sua operação. Sem proposta na primeira conversa.
Agendar diagnóstico