Quando o indicador vira meta, o painel deixa de medir
O painel deixa de medir o que media. Quando o número passa a decidir bônus ou avaliação, quem é medido tende a otimizar o número, e o painel pode seguir verde enquanto a operação piora. Nem sempre é desonestidade; muitas vezes é arquitetura: se quem responde pela meta também produz o dado, o painel mede o relato, não a operação.
O que acontece quando um indicador vira meta?
O indicador para de ser uma medida e vira um alvo. A otimização passa a mirar o número, e não aquilo que o número representava. É o que se chama de lei de Goodhart. Manheim e Garrabrant a descrevem como a situação em que uma métrica é usada a um ponto em que otimizar mais é ineficaz ou prejudicial. O artigo separa mecanismos distintos de falha e não trata de painéis de PME (Manheim e Garrabrant, arXiv, 2018, revisado em 2019).
Nossa leitura para quem monta painel é direta. Todo indicador é um representante de algo que você não vê por inteiro. Enquanto ninguém é cobrado pelo representante, ele tende a acompanhar o original. Quando alguém é, os dois se separam aos poucos, e o painel não avisa.
Isso acontece em organizações reais?
Acontece, e há registro de órgãos independentes. Bevan e Hood estudaram o sistema público de saúde inglês, onde havia metas centrais de desempenho. Um exemplo era a meta de chegar a 75% dos chamados de ambulância de categoria A em até 8 minutos. Uma inspeção citada no artigo encontrou evidência de que, em um terço dos serviços de ambulância, os tempos de resposta tinham sido "corrigidos". A distribuição dos tempos mostrava um pico em torno de 8 minutos, o que os autores tratam como forte indício de que respostas entre 8 e 9 minutos foram reclassificadas para baixo da meta (Bevan e Hood, Public Administration 84(3), 2006).
O segundo caso é privado. Em setembro de 2016, o órgão regulador americano de defesa do consumidor (CFPB) multou o Wells Fargo em US$ 100 milhões por práticas de venda associadas à abertura de contas possivelmente não autorizadas. Segundo o CFPB, a análise do próprio banco apontou cerca de 1,5 milhão de contas de depósito e cerca de 565 mil pedidos de cartão que podem não ter sido autorizados. A ordem do CFPB retroage a 1º de janeiro de 2011. O órgão afirma que os programas de incentivo foram monitorados de forma inadequada (CFPB, 2016).
Duas ressalvas. São organizações grandes e, no caso inglês, com metas centrais de desempenho. Os casos ilustram o mecanismo, não uma taxa que você encontraria na sua empresa. E não indicam que toda meta distorce: indicam que, quando o dado depende de quem é medido, a distorção pode demorar a aparecer.
Por que o painel não percebe a distorção?
Porque o painel lê o campo que alguém preencheu. Se o status "resolvido" é marcado pela pessoa cuja meta é resolver, o painel mostra a decisão dela, e não o fato. O dado chega limpo, na data certa, no formato certo. Falta o que o torna confiável: uma origem que o avaliado não controla.
É um problema vizinho de dashboard gerencial: por que os números não batem. Lá, o número do painel diverge de outra fonte. Aqui, ele bate com a fonte e mesmo assim perdeu o sentido. O erro não está na conta. Está em quem pôde escolher o que entra nela.
Como isso aparece num suporte interno?
Um cenário hipotético, para tornar o mecanismo concreto. Nenhum dado aqui é medição de cliente.
Uma indústria de médio porte mede o suporte de TI por "chamados fechados em até 24 horas". A meta está no painel da diretoria e pesa na avaliação semestral da equipe. Dentro do sistema de chamados, o analista pode mudar o status para "aguardando usuário", e o relógio para. Ele também pode fechar o chamado e pedir ao usuário que abra outro, se o problema voltar.
Ninguém precisa agir de má-fé. O analista que pausa o relógio está cumprindo uma regra do sistema, e o que reabre como novo chamado está evitando uma mancha no indicador. Em três meses, o painel mostra cumprimento crescente. Nos corredores, o usuário diz que abre o mesmo pedido mais de uma vez até resolver. O painel acerta o que mede: fechamentos rápidos. O que a diretoria queria saber era se os problemas acabam.
O mesmo vale para quem mede inovação. Imagine um indicador de "pilotos concluídos no trimestre" cujo status o próprio time marca. Um piloto encerrado pela metade, para caber no prazo, conta igual a um que gerou decisão. Também é hipótese, e a regra é a mesma: o número passa a medir o que é fácil de marcar.
O que muda quando a medição tem desenho?
Quatro decisões, todas de arquitetura, e em geral não exigem trocar de ferramenta. A primeira é fazer o dado nascer do evento. Data, hora e autor são registrados pelo sistema, sem edição por quem é avaliado, e o status que para o relógio exige motivo e passa a aparecer num relatório próprio. A segunda é dar um contrapeso ao indicador. O fechamento em 24 horas anda junto com a taxa de reabertura em sete dias, e o painel exibe os dois lado a lado, de modo que melhorar um piorando o outro fique à vista.
A terceira é escrever a definição. O que conta como "resolvido", quem pode pausar o prazo e por qual motivo vira texto versionado, com data de vigência, e não costume de equipe. A quarta é conferir uma amostra. Todo mês, alguém de fora da área abre uma pequena amostra de registros e compara o que o painel disse com o que aconteceu, e o resultado é registrado.
Há uma quinta decisão, que é gerencial e menos técnica: avaliar se o indicador precisa estar ligado à remuneração. Essa é uma leitura nossa, não uma conclusão dos estudos citados. Nos dois casos havia muito em jogo para quem era medido (sanção ou incentivo), mas eles não permitem concluir que a pressão cresce na mesma proporção.
No case da Reatop, a coleta e a pesagem de resíduos são registradas no aplicativo de campo, que funciona sem sinal, e o dashboard administrativo gera os relatórios de auditoria. O case ilustra a primeira dessas decisões, o dado nascer na origem: a operação registra o fato no campo e o painel o consome. Ele não trata de contrapeso, de definição versionada nem de amostra conferida por terceiros. Para o quadro mais amplo de como registrar a decisão que o número motivou, veja dashboard gerencial: registre a decisão, e para o problema inverso, o excesso de números, excesso de indicadores trava a decisão.
Perguntas frequentes
Minha equipe não aceita mudanças. Como propor contrapesos sem parecer desconfiança?
Apresente o contrapeso como proteção de quem cumpre a meta de verdade. Se o indicador de reabertura existe, quem resolve bem aparece melhor que quem fecha rápido. Comece por um indicador, com a definição escrita junto com a equipe, e revise depois de um ciclo.
Não consigo justificar o investimento agora. Dá para começar sem projeto?
Dá para começar com uma auditoria pequena. Pegue um indicador que pesa na avaliação, abra uma amostra pequena de registros e compare com o que aconteceu de fato. Se a diferença for pequena, você tem um primeiro sinal de que o painel acompanha a operação, ao menos nesse indicador e nessa amostra. Se for grande, você tem o argumento para a diretoria, com o seu caso e não o de terceiros.
Não vejo como mensurar se o painel está sendo distorcido. É possível?
É possível, com sinais indiretos. Pico de registros logo abaixo do limite da meta, reaberturas que sobem quando o prazo cai e status que pausam o relógio com frequência acima do esperado são pistas. Nenhum prova a distorção sozinho. Juntos, indicam onde a amostra deve olhar primeiro.
O próximo passo
Se um indicador que pesa na avaliação da sua equipe nasce de um campo que a própria equipe preenche, o Diagnóstico de Arquitetura Operacional é uma conversa de 30 minutos para mapear de onde vem esse número e quem pode alterá-lo.
Cases relacionados
Reconheceu a sua operação neste artigo?
Agende o Diagnóstico de Arquitetura Operacional: 30 minutos para mapear onde está o gargalo da sua operação. Sem proposta na primeira conversa.
Agendar diagnóstico