Medir resultado de inovação: antes e depois não basta
Antes e depois não prova que o projeto funcionou, porque mistura o efeito dele com tudo o que mudaria sozinho. Para provar, compare a unidade que mudou com uma parecida que ainda não mudou, medidas do mesmo jeito e na mesma janela. Dá para fazer isso sem laboratório, escalonando a implantação por unidade.
Por que o antes e depois engana mesmo quando o dado está certo?
Porque o número do "depois" carrega o efeito do projeto e mais três coisas: a sazonalidade, o que mudou no mercado ou na equipe no mesmo período e a regressão à média. O dado pode estar correto e a conclusão, errada.
Quem aprova um projeto costuma ver só duas fotos. Em março o indicador estava em 28, em setembro está em 21, logo o projeto reduziu 25%. Nada nessas duas fotos separa o que o projeto fez do que teria acontecido de qualquer jeito. A pergunta que a diretoria deveria fazer é "comparado com o quê?", e o antes e depois não tem resposta para ela.
O que é regressão à média e por que ela favorece o seu projeto?
É o fenômeno em que uma medida extrema tende a ser seguida por outra mais próxima da média. Adrian Barnett, Jolieke van der Pols e Annette Dobson descrevem o efeito, em artigo de 2005 no International Journal of Epidemiology, como comum em dados repetidos e dizem que ele deve ser sempre considerado como causa possível de uma mudança observada. Segundo o resumo, o efeito é mais forte quando há mais erro de medição e quando o acompanhamento olha só um subgrupo escolhido por um valor da linha de base.
A aplicação à gestão é nossa, não do artigo. Projeto de inovação raramente começa num mês bom. Começa depois de um trimestre de atrasos ou de um pico de devoluções. Se o indicador estava num extremo quando você escolheu a unidade, parte da melhora seguinte pode vir só da volta ao patamar normal. O mesmo vale para a unidade escolhida porque "é a que mais sofre": ela foi selecionada pelo valor da linha de base, que é a situação em que o efeito pesa mais.
O que experimentos controlados mostram sobre ideias que parecem funcionar?
Mostram que parecer funcionar é um critério fraco. Ron Kohavi e Stefan Thomke relatam na Harvard Business Review de 2017 que, no Google e no Bing, só 10% a 20% dos experimentos geram resultado positivo, e que na Microsoft como um todo um terço é eficaz, um terço é neutro e um terço é negativo. Cada experimento tinha uma versão de comparação rodando ao mesmo tempo, e é por isso que a empresa sabe em qual terço cada ideia caiu.
O mesmo artigo traz um caso do Yahoo. A parte observacional do estudo estimava que os anúncios exibidos nos sites do Yahoo haviam elevado as buscas pela marca entre 871% e 1.198%. Quando a empresa rodou um experimento controlado, o aumento foi de 5,4%. Outras variáveis haviam mudado no período observado, e a análise observacional não conseguia separá-las.
Há um limite. São experimentos online em empresas de tecnologia, com um volume de usuários que uma operação de quatro filiais não tem. O que se leva dali é o método, não a taxa de acerto: sem versão de comparação, a ideia que funcionou e a que não funcionou ficam iguais no relatório.
Como criar uma unidade de comparação sem montar um laboratório?
Escalonando a implantação. Em vez de ligar o novo processo em todas as unidades no mesmo dia, ligue em parte delas e deixe as demais esperando, com o mesmo indicador medido nas duas.
Funciona em quatro passos. Primeiro, escolha unidades parecidas em porte e em tipo de trabalho. Segundo, defina o indicador e a janela de medição antes de começar, não depois de ver os números.
Terceiro, não decida quem entra primeiro pela vontade. Se a gestora mais interessada vai primeiro, a unidade dela provavelmente já era a melhor. No experimento da Ctrip, empresa chinesa de viagens, os funcionários se candidataram como voluntários e o sorteio decidiu quem trabalharia em casa durante nove meses. O desempenho subiu 13%, cerca de 9 pontos por mais minutos trabalhados e 4 por mais chamadas por minuto, segundo Nicholas Bloom, James Liang, John Roberts e Zhichun Jenny Ying (NBER, 2013). O assunto era outro. O desenho é o que interessa: voluntários e ordem definida por sorteio.
Quarto, meça as unidades pelo mesmo sistema. Se uma registra no sistema novo e a outra em planilha, a diferença pode ser de registro, não de resultado. Esse ponto é o tema de Como medir o ROI de automação sem um sistema de registro.
Quando só existe uma unidade, a comparação fica mais fraca, mas não some. Use uma série longa do indicador antes do projeto, para ver o tamanho da oscilação normal, e acompanhe um segundo indicador que o projeto não deveria mexer. Essa é uma prática nossa, não de um dos estudos citados. Se os dois sobem juntos, a causa provavelmente não é o projeto.
Um exemplo prático: a conferência de pedidos em quatro filiais
O cenário é hipotético, e os números são ilustrativos, não medições. Uma distribuidora com quatro filiais e 220 pessoas quer um sistema de conferência na expedição. O indicador é o número de pedidos devolvidos por erro de separação a cada 1.000 pedidos. Em março, as quatro filiais estão em 28.
A gerente de inovação implanta o sistema nas filiais A e B e deixa C e D esperando seis meses, com o mesmo indicador medido nas quatro. Em setembro, A e B estão em 21 e C e D estão em 25.
Olhando só A e B, o antes e depois mostra queda de 7, ou 25%. Com a comparação, a queda atribuível ao projeto é de 4: A e B melhoraram 7, e C e D melhoraram 3 sem o sistema. Mais de 40% da melhora aparente aconteceria de qualquer jeito, por sazonalidade ou por regressão à média, entre outras causas. O argumento à diretoria passa de "caímos 25%" para "o projeto reduziu 4 devoluções a cada 1.000 pedidos, cerca de 14% da linha de base". Esse número aguenta a pergunta "comparado com o quê?".
O custo é real: C e D esperaram seis meses por um sistema que parece funcionar. Por isso a janela e o critério de parada são combinados antes. Quando medir o resultado de um projeto de inovação trata de como escolher essa janela sem medir dentro do período de transição.
Esse tipo de comparação só existe se as filiais registram o trabalho num sistema estruturado. No case da SuperVida, a gestão de contratos saiu de uma base improvisada no Airtable para um sistema sob medida, o tipo de registro que permite medir duas unidades do mesmo jeito. Por isso o problema de provar resultado costuma ser de arquitetura, não de estatística: sem registro igual entre as unidades, nenhuma comparação se sustenta.
Perguntas frequentes
Não vejo como mensurar o resultado. Dá para provar sem unidade de comparação?
Dá para estimar, com menos força. Com uma unidade só, use uma série longa do indicador antes do projeto e acompanhe um segundo indicador que o projeto não deveria mexer. A conclusão é mais frágil, e o relatório deve dizer isso.
Não consigo justificar o investimento agora. Deixar uma unidade esperando não é desperdício?
É um custo, e ele aparece no pedido. Em troca, a diretoria recebe um número que resiste à pergunta "comparado com o quê?", e a aprovação das outras unidades passa a se apoiar em dado. A unidade que espera recebe o sistema depois, com a implantação já ajustada pelo que as primeiras mostraram.
Receio que o projeto não elimine os gargalos de verdade. Como saber se funcionou ou se foi sorte?
Compare a diferença entre as unidades com a oscilação normal do indicador antes do projeto. Se a diferença cabe dentro da oscilação habitual, a evidência não sustenta a conclusão de que o projeto funcionou. A decisão correta pode ser esperar mais uma janela ou ampliar a comparação.
O próximo passo
Se o seu próximo projeto vai ser julgado por um antes e depois, o Diagnóstico de Arquitetura Operacional, uma conversa de 30 minutos, é um convite para desenhar a unidade de comparação, o indicador e a janela antes de começar: fale com a Yowpi.
Cases relacionados
Reconheceu a sua operação neste artigo?
Agende o Diagnóstico de Arquitetura Operacional: 30 minutos para mapear onde está o gargalo da sua operação. Sem proposta na primeira conversa.
Agendar diagnóstico