Testes beta de um aplicativo com pessoas reais

As pessoas que criaram um aplicativo são as piores para testá-lo. Elas sabem onde fica cada botão e o que cada palavra significa. Um teste beta coloca o app nas mãos de quem não sabe, antes que ele chegue à loja, e tanto a Apple quanto o Google oferecem ferramentas para fazer isso.

TestFlight no iOS

O TestFlight tem dois tipos de testadores. Os testadores internos fazem parte da sua equipe no App Store Connect e podem instalar uma versão assim que ela for processada. Os testadores externos podem ser qualquer pessoa convidada por e-mail ou link público, mas as versões para eles passam antes pela Beta App Review, então reserve tempo para isso. As versões do TestFlight expiram após 90 dias, portanto um beta longo precisa de novas versões ao longo do caminho.

Faixas de teste no Google Play

O Google Play oferece três faixas. O teste interno é a forma mais rápida de disponibilizar uma versão para uma equipe pequena. O teste fechado vai para pessoas que você escolher, por endereço de e-mail ou grupo. O teste aberto permite que qualquer pessoa participe a partir da página do app na loja. Os testadores instalam e atualizam pela Play Store, da mesma forma que os usuários reais farão.

Quem convidar

Comece com um grupo pequeno que corresponda ao público definido no início do projeto, e não apenas colegas e amigos. Alguns poucos testadores bem escolhidos encontram a maioria das partes confusas. Amplie o grupo quando os problemas óbvios estiverem resolvidos.

Inclua pelo menos uma pessoa com um celular mais antigo e outra que use configurações de acessibilidade, como texto maior. Ambas encontram problemas que os aparelhos da própria equipe ocultam.

Dê tarefas aos testadores, não apenas uma versão

Dizer “experimente e nos dê sua opinião” traz muito pouco resultado. Dê a cada rodada algumas tarefas específicas: criar uma conta, concluir a ação principal, alterar uma configuração, excluir a conta. Pergunte aos testadores o que eles esperavam que acontecesse a cada etapa e onde hesitaram. A hesitação costuma ser mais útil do que um relatório de bug, porque mostra onde o design não está claro.

Facilite o feedback

O TestFlight permite que os testadores enviem feedback e capturas de tela diretamente do aplicativo, e o Google Play permite que deixem feedback privado na página da loja. Direcione as pessoas para o canal que você realmente vai acompanhar e responda com rapidez. Testadores que se sentem ouvidos continuam testando.

Ative os relatórios de falhas antes de iniciar o beta, para que problemas que os testadores não perceberem, ou não mencionarem, ainda cheguem até você.

Saiba a hora de parar

Um beta tem um objetivo, não uma duração fixa. Quando os testadores conseguem concluir as tarefas principais sem ajuda, as falhas são raras e os novos feedbacks repetem o que você já ouviu, é hora de lançar. Mantenha o grupo reunido depois disso. Eles são as pessoas ideais para testar a próxima versão primeiro.

Resumo

Use o teste interno para a sua equipe e um grupo fechado de usuários reais para todo o restante. Dê tarefas específicas a cada rodada, leia o feedback, corrija o que impede as pessoas de avançar e lance quando os novos problemas deixarem de aparecer.