Blog
automatização de processos e ROI (5ª passagem: a exposição ao erro que se repete em escala)

Automação que erra em escala: o custo que o ROI não conta

Marlon TrettinPublicado em 8 min de leitura
Operador de capacete e uniforme com faixas refletivas, de costas junto a um guarda-corpo, observa à noite uma barragem de comportas fechadas iluminadas em âmbar, com uma única comporta aberta despejando água no reservatório escuro

Uma automação que erra repete o erro na mesma velocidade em que repetiria o acerto. O cálculo de ROI multiplica o ganho pelo número de execuções e quase nunca faz a mesma conta para a regra errada. A pergunta que falta é de arquitetura: quantas execuções erradas acontecem antes que alguém, ou o próprio sistema, consiga parar a rotina?

Por que o ROI da automação não mostra esse risco?

Porque a planilha de retorno trata cada execução como acerto. Ela compara o custo de construir com o tempo economizado por execução, multiplica pelo volume esperado e encontra o mês em que o projeto se paga. Já discutimos aqui que o número de variantes do processo decide esse ponto de equilíbrio. Falta o outro lado da mesma conta.

No processo manual, o erro tem um freio natural: a velocidade da pessoa. Quem aplica um reajuste errado à mão erra em dezenas de registros por hora, e muitas vezes percebe no caminho. A automação remove esse freio. A regra errada é aplicada a todos os registros elegíveis, na velocidade da máquina, sem ninguém olhando cada um.

Isso não é argumento contra automatizar. É o motivo pelo qual o risco precisa entrar no projeto com número, ao lado do ganho.

O que aconteceu na Knight Capital?

A Knight Capital Americas era uma intermediária do mercado de ações dos Estados Unidos, e o caso é útil porque a ordem da SEC de outubro de 2013 descreve a falha em detalhe. A empresa substituiu um código antigo, sem uso desde 2003, por uma funcionalidade nova, e reaproveitou uma marcação que antes acionava o código antigo. Um técnico não copiou a versão nova para um dos oito servidores, e a implantação não passou por uma segunda revisão.

Na abertura do pregão de 1º de agosto de 2012, esse servidor executou o código antigo. Em cerca de 45 minutos, 212 ordens pequenas de clientes viraram mais de 4 milhões de execuções em 154 ações. A empresa acumulou posição comprada de cerca de US$ 3,5 bilhões e vendida de cerca de US$ 3,15 bilhões, e o prejuízo passou de US$ 460 milhões. A SEC aplicou multa de US$ 12 milhões, segundo o comunicado oficial.

Dois detalhes da ordem interessam a qualquer operação. O sistema enviou 97 e-mails automáticos de rejeição antes da abertura, mas eles não tinham sido desenhados como alertas e, em geral, ninguém os lia. E a empresa não tinha limites de capital agregados ligados a controles automáticos, nem procedimento para interromper o sistema diante do próprio comportamento anormal. O sinal existia. Faltava a arquitetura que o transformasse em parada.

Quanto uma regra errada pode custar à sua operação?

O tamanho do estrago cabe numa multiplicação: execuções por hora, vezes horas até alguém detectar e parar, vezes o custo de cada execução errada, incluindo o custo de desfazê-la. A conta é aproximada, mas obriga a estimar o termo que costuma ficar de fora, o tempo até a detecção.

Esse termo depende pouco da qualidade do código e muito do desenho da operação. Se o erro só aparece quando o cliente reclama, o tempo de detecção é o tempo que o cliente leva para reclamar. Se a rotina roda de madrugada e ninguém confere o resultado antes do expediente, são horas. É o mesmo problema de descobrir que uma automação parou, com um agravante: a automação que para deixa de produzir, e a que erra continua produzindo.

O exemplo abaixo é uma hipótese para ilustrar a conta, não um caso medido. Uma distribuidora com 4.000 clientes ativos automatiza o reajuste anual da tabela de preços. Uma regra mal configurada aplica o percentual duas vezes. À mão, uma analista reajustaria algumas centenas de cadastros por dia e teria boa chance de notar o valor estranho cedo. Automatizado, o reajuste chega aos 4.000 cadastros numa única execução, e os pedidos do dia seguinte saem com preço errado até alguém ligar.

Seguindo a mesma hipótese, com reajuste correto de 8% sobre um pedido médio de R$ 2.000, cada pedido sai cerca de R$ 170 acima do preço certo. Se 300 pedidos forem faturados antes de alguém perceber, são cerca de R$ 52 mil em notas a corrigir, sem contar o atendimento e o desgaste com o cliente. Os números são ilustrativos; a conta com os seus é o que importa.

Como limitar o tamanho do erro antes que ele aconteça?

Com quatro decisões tomadas no desenho, antes de a rotina entrar no ar. Nenhuma depende de ferramenta específica.

A primeira é liberar a mudança aos poucos. O livro de SRE do Google chama isso de canário: aplicar a mudança a uma fração pequena da produção, avaliar e só então seguir. O exemplo do próprio capítulo mostra o efeito: se a mudança falha em 20% das requisições e é aplicada a 5% da população, o erro geral fica em 1%. No reajuste, isso significa aplicar primeiro a 200 clientes, conferir e depois liberar o resto.

A segunda é pôr teto por lote. Toda rotina que altera valor, envia cobrança ou cria registro em massa precisa de um limite de quantidade ou de valor acima do qual ela para e pede confirmação. O teto não impede o erro. Ele limita quantos registros o erro alcança.

A terceira é deixar o sistema parar sozinho. Alerta que ninguém lê é o caso dos 97 e-mails da Knight. Se a taxa de rejeição, o valor médio ou o volume saem da faixa esperada, a rotina interrompe e avisa um dono nomeado, em vez de registrar o fato e seguir.

A quarta é registrar cada execução de forma reversível: o que foi alterado, o valor anterior e qual execução fez a alteração. Sem esse registro, desfazer o erro vira reconstrução manual a partir de backup e memória.

Isso vale para empresas que não são de tecnologia?

Vale, porque a exposição não depende de a empresa ter escrito o código que falhou. Em 19 de julho de 2024, às 04h09 UTC, a CrowdStrike publicou uma atualização de configuração do seu software de segurança para Windows e a reverteu às 05h27 UTC, segundo a revisão preliminar do incidente publicada pela empresa. A Microsoft estimou 8,5 milhões de dispositivos afetados, menos de 1% de todas as máquinas Windows.

Entre as mudanças que a própria CrowdStrike anunciou estão a liberação escalonada desse tipo de atualização, começando por um canário, e mais controle para os clientes sobre quando e onde ela é aplicada. As empresas atingidas não escreveram uma linha do código com defeito. A exposição delas dependia de quanta mudança externa podia entrar na operação sem passar por uma etapa sob controle próprio, e esse controle não estava nas mãos delas.

Para uma PME, a lição é a mesma em escala menor. Toda rotina que mexe em preço, cobrança, comissão ou cadastro em massa merece a pergunta: se a regra estiver errada, quantos registros ela alcança antes de alguém perceber? Na UniTrust, um IMO de seguros dos Estados Unidos, as comissões são calculadas instantaneamente a cada apólice paga. Em uma rotina com essa frequência, a resposta a essa pergunta precisa estar no desenho antes da primeira execução, e não depois do primeiro erro.

Perguntas frequentes

Esses controles não reduzem o retorno da automação?

Eles têm custo, e ele entra na mesma planilha que o ganho. A comparação honesta é entre o custo de construir canário, teto e parada e a exposição estimada sem eles. Em rotinas de baixo volume e baixo valor por execução, a exposição pode ser pequena e controles simples bastam. Em rotinas que mexem em preço ou cobrança de toda a base, um único erro pode apagar meses de ganho.

Não é mais seguro manter o processo manual, que a equipe já conhece?

O processo manual erra também, só que mais devagar e de forma menos visível. A pessoa que digita é o freio e também a fonte de erro, e esse erro raramente fica registrado. A automação bem desenhada troca o freio humano por limites explícitos e por um registro do que foi feito, o que permite medir e desfazer.

Preciso de uma equipe técnica para implementar isso?

A parte mais difícil é decidir, não programar: qual fração recebe a mudança primeiro, qual teto faz a rotina parar, quem é avisado e com que prazo. Essas decisões saem de quem conhece a operação. A implementação é trabalho de quem constrói o sistema, e fica mais barata quando entra no projeto desde o começo do que quando é adaptada depois do primeiro incidente.

O próximo passo

Se hoje ninguém na sua empresa sabe dizer quantos registros uma rotina automatizada alcança antes de alguém conseguir pará-la, o Diagnóstico de Arquitetura Operacional é uma conversa de 30 minutos para mapear essa exposição. Fale com um arquiteto.

Cases relacionados

Marlon Trettin

Marlon Trettin

Fundador da Yowpi · 25+ anos de engenharia de software

LinkedIn
Próximo passo

Reconheceu a sua operação neste artigo?

Agende o Diagnóstico de Arquitetura Operacional: 30 minutos para mapear onde está o gargalo da sua operação. Sem proposta na primeira conversa.

Agendar diagnóstico