Protótipo de sistema interno: quanta fidelidade basta?

Menos do que parece. Nos estudos com usuários citados aqui, protótipos simples e acabados encontraram quase a mesma quantidade de problemas de uso. O acabamento muda outra coisa: a leitura de quem assiste. Antes de escolher a fidelidade, defina qual pergunta o protótipo responde: o papel na rotina, a experiência de uso ou a implementação.
O protótipo simples acha menos problemas?
Nos testes com usuários que consultamos, não. O ponto de partida é o estudo de Virzi, Sokolov e Karis, dos laboratórios da GTE, apresentado na CHI de 1996. Foram dois experimentos, cada um com 20 participantes, dez por condição.
No primeiro, o produto era um livro eletrônico portátil. Metade dos participantes usou o aparelho real. A outra metade usou mais de 100 fichas de papel, trocadas na mão por um pesquisador. O aparelho revelou 34 dos 38 problemas de uso identificados. O papel revelou 32. O estudo não informa quantos apareceram nas duas condições.
No segundo, o produto era um serviço telefônico de resposta por voz. A versão funcional levou mais de dois meses para ficar pronta. A versão simples era um dos autores lendo as mensagens do sistema em voz alta. Resultado: 19 de 21 problemas na versão funcional e 20 de 21 na leitura.
A diferença não foi estatisticamente significativa em nenhum dos dois. Os autores fazem as ressalvas que o dado pede: a amostra é pequena e formada por universitários, a gravidade dos problemas não foi medida, e ausência de diferença não prova que os métodos são equivalentes.
Um estudo de 2010 chegou a um resultado parecido com outro tipo de produto. Sauer, Seibel e Rüttinger testaram uma lavadora de piso conduzida a pé com 48 usuários, metade deles experientes, em três versões: desenho em papel e papelão, maquete parcialmente funcional e máquina funcionando. A fidelidade não alterou o número de problemas relatados nem a nota de usabilidade.
O que o protótipo simples não mede?
Mede mal o que depende do comportamento real do sistema. No estudo da lavadora, quem usou as versões reduzidas superestimou as regulagens de vazão de água e de pressão da escova. Desempenho só pôde ser medido na máquina funcionando. Os autores também lembram uma fraqueza conhecida do método: a tendência de o protótipo receber avaliação mais generosa do que o produto final.
Virzi e colegas registram uma objeção do mesmo tipo, feita por colegas de área: o resultado não valeria para sistemas muito sensíveis a tempo de resposta. Os autores dizem não estar tão certos disso, mas reconhecem que os limites exatos do resultado dependem de mais pesquisa.
Uma revisão de 2017 de Jeff Sauro, da MeasuringU, empresa de pesquisa de usabilidade, reúne 11 estudos e conclui que o protótipo simples é um substituto razoável, mas imperfeito, para encontrar problemas. Tempo de tarefa é mal previsto, e a avaliação estética é menos confiável. Usamos a revisão como mapa da literatura. Os números deste artigo vêm dos estudos originais.
Na prática: se a sua pergunta é "o operador consegue fazer a tarefa?", papel e tela clicável costumam responder. Se é "quanto tempo a tarefa leva com o volume de um dia real?", só o sistema com dado real responde.
O que o acabamento diz a quem assiste?
Diz que o projeto está adiantado, mesmo quando não está. Stephanie Houde e Charles Hill, então na Apple, escreveram em 1997 que protótipos com aparência de acabados costumam ser entendidos como sinal de que o desenho está perto do fim. Acrescentam que plateias sem experiência tendem a achar o protótipo mais funcional do que ele é pelo simples fato de estar em uma tela de computador.
O texto traz um exemplo de leitura desviada. Um protótipo de editor de vídeo digital foi feito para testar a implementação, e a discussão derivou para os menus. Nas palavras do líder do projeto, a interface não era boa nem ruim o bastante para evitar o mal-entendido.
O acabamento, portanto, é uma mensagem. Para quem gerencia inovação, isso pesa na reunião de diretoria. A tela polida ajuda a aprovar o orçamento e, pela leitura que Houde e Hill descrevem, pode criar no mesmo ato a expectativa de prazo curto. Houde e Hill resumem a saída em uma frase: parte central do trabalho de prototipar é deixar claro o que no protótipo corresponde ao sistema final e o que não corresponde.
Qual pergunta o seu protótipo responde?
Houde e Hill propõem trocar a escala de fidelidade por três perguntas. Papel: que função o sistema cumpre na rotina de quem o usa? Experiência: como é usá-lo, na tela e na mão? Implementação: com que técnicas e componentes ele vai funcionar?
Para eles, protótipo é qualquer representação de uma ideia de projeto, em qualquer meio. Um dos exemplos é uma caixa de pizza com o peso previsto de um computador portátil, carregada por um arquiteto em visita a uma obra. A caixa mostrou que o formato retangular era incômodo de carregar. Era uma caixa de papelão, e respondeu a uma pergunta que nenhuma tela responderia.
Daqui em diante a leitura é nossa. Em sistema interno, as três perguntas têm tradução direta:
- Papel: a nova etapa cabe na rotina, ou cria um trabalho paralelo ao que a equipe já faz?
- Experiência: o operador conclui a tarefa sem ajuda? Já tratamos disso ao discutir quem deve testar o protótipo.
- Implementação: o dado existe, está em um sistema que permite leitura e chega na hora em que a decisão precisa dele?
A terceira é a que a tela bonita não toca, porque a tela de demonstração costuma rodar com dado inventado. É também onde mora a tese desta casa: o problema raramente está na tecnologia da tela. Está na arquitetura, no caminho que o dado faz entre os sistemas. Um protótipo de implementação pode nem ter interface. Pode ser uma rotina que busca o dado real por uma semana e mostra o que voltou.
Como isso aparece em uma empresa?
O cenário a seguir é uma hipótese, e os números dele não são medição. Uma locadora de equipamentos quer um portal para o cliente renovar contratos sozinho. A gerente de inovação encomenda um protótipo navegável, com a identidade visual da empresa, e apresenta à diretoria. A diretoria aprova e pergunta se dá para lançar em 30 dias.
O protótipo respondeu à pergunta de experiência. Ninguém perguntou de onde vem a disponibilidade do equipamento. Ela vem do ERP, que exporta uma vez por dia. O portal mostraria como livre uma máquina alugada de manhã. Essa descoberta chega depois do orçamento aprovado e do prazo prometido.
O outro caminho usa três protótipos pequenos, cada um com uma pergunta. Um fluxo em papel, percorrido com duas atendentes, mostra se a renovação pelo portal elimina a ligação ou só a adia. Uma tela clicável simples, com cinco clientes, mostra onde eles travam. Uma rotina sem tela lê a disponibilidade no ERP durante uma semana e compara com o que de fato aconteceu no pátio. À diretoria vão as três respostas, e não só a tela.
Dois casos nossos mostram restrições que a tela não revela. Na Reatop, plataforma de controle de resíduos hospitalares, a falta de conectividade estável em subsolos e áreas de descarte impedia o uso de soluções web tradicionais em campo. Restrição desse tipo não aparece em tela desenhada. A resposta foi um aplicativo móvel nativo que funciona sem conexão. A UniTrust, IMO de seguros dos Estados Unidos, tinha duas semanas para colocar um sistema no ar em agosto de 2022. Com prazo assim, decidir o que fica sem acabamento é a própria decisão de projeto. E quando o protótipo convence, ainda falta saber o que separa o protótipo aprovado de um sistema.
Perguntas frequentes
A diretoria leva a sério um protótipo sem acabamento?
Depende de como ele é apresentado. Houde e Hill observam que plateias menos experientes não costumam entender representações aproximadas, e por isso o protótipo polido tem lugar na reunião de aprovação. O cuidado é dizer em voz alta o que ali é real e o que é cenário. Levar junto o resultado do teste de dado dá à diretoria algo que a tela sozinha não dá.
Fazer três protótipos não vai exigir tempo demais do time?
Cada um tende a ser menor do que o protótipo único que tenta responder tudo. No estudo de 1996, a versão funcional do serviço de voz levou mais de dois meses, e a versão lida em voz alta encontrou 20 dos 21 problemas, contra 19. O tempo do time vai para as sessões de teste. Naquele estudo, foi a construção da versão funcional que consumiu os meses.
Como mensurar o resultado de um protótipo?
Escreva a pergunta e o critério antes de construir. Para experiência, conte os problemas que os operadores encontraram e quantos concluíram a tarefa. Para implementação, verifique se o dado real chegou completo e no prazo. Não use protótipo simples para estimar tempo de tarefa, porque a revisão de Sauro indica que essa medida é mal prevista.
O próximo passo
Se o seu protótipo foi aprovado pela tela e ninguém testou de onde vem o dado, o Diagnóstico de Arquitetura Operacional é uma conversa de 30 minutos para começar por essa pergunta. Fale com um arquiteto.
Cases relacionados

Reconheceu a sua operação neste artigo?
Agende o Diagnóstico de Arquitetura Operacional: 30 minutos para mapear onde está o gargalo da sua operação. Sem proposta na primeira conversa.
Agendar diagnóstico