Teste A/B: O que fazer quando os resultados são inconclusivos?

Às vezes, ao realizarmos um teste A/B, os resultados podem não ser claros. Aliás, isso é mais comum do que você imagina. Estudos afirmam que, em média, 50% a 80% dos resultados de testes são inconclusivos, dependendo do segmento ou da fase do processo.

Se você acha que esse é o pior cenário possível, estamos aqui para te ajudar a fazer mudar de ideia. E, claro, para te dar uma, ou melhor, várias soluções para quando se deparar com esse tipo de situação. Então, continue a leitura até o final e confira!

O que significa um teste A/B inconclusivo?

Normalmente, quando coletamos dados de um teste A/B estamos buscando pela hipótese “vencedora”. Isso quer dizer que esperamos resultados superiores e positivos.

No entanto, é muito comum termos pontos em que o teste foi melhor e pontos em que o teste foi pior, rendendo resultados inconclusivos e tornando a análise mais desafiadora.

Perguntas que podem te ajudar a analisar um teste A/B

• Você aplicou uma hipótese forte e relevante? 
• As versões testadas eram significativamente distintas?
• Você está coletando dados suficientes? 
• Seu teste foi executado para uma amostra representativa?
• O teste atingiu os usuários corretos?
• Há outro teste que você fez simultaneamente que pode ter afetado o resultado? 

Tudo isso pode te ajudar a entender o porquê seu teste não rendeu resultados claros e expressivos. No entanto, mais importante do que entender as causas desse resultado, é saber o que fazer diante de um teste A/B inconclusivo. Então, aqui vão algumas dicas… 

1. Vá além da “superfície”

Quando esse tipo de situação acontece aqui na Nerau, nos debruçamos em métricas mais profundas e cruzamos informações para chegar a conclusões mais claras e precisas.

Por exemplo: implementamos um teste A/B pensando na inserção de um CTA para favoritar produtos em um e-commerce. Quando o teste acabou, notamos que a adição do botão não impactou em nada nos resultados de vendas. 

Diante disso, pode-se pensar que o CTA não deve ser mantido no site. No entanto, essa análise fica apenas na superfície do teste aplicado. Ao analisarmos os números detalhados, como quantas pessoas clicaram no CTA e favoritaram produtos, e quantas voltaram para finalizar a compra, a conclusão pode ser diferente. 

Neste mesmo caso, poderíamos analisar se as pessoas que utilizaram o CTA de favoritar produtos se cadastraram no site (se tornaram leads), se ficaram mais tempo no site, se visualizaram mais páginas e muitos outros dados que ajudariam a fundamentar e direcionar a conclusão dos testes A/B. 

Nem sempre o resultado obtido é o resultado final esperado, mas nem por isso ele não é um resultado válido e interessante. Às vezes, você só precisa analisar com mais detalhes para entender as tendências e padrões.

2. Segmente o resultado obtido 

Outra alternativa é fazer uma análise segmentada dos resultados, não somando novas métricas, mas dividindo o público da amostra.

Talvez existam segmentos específicos do público-alvo que tenham respondido de maneira diferente, ou a diferença entre as opções seja maior em alguns pontos do funil de conversão.

Quando analisados juntos, os dados dos diferentes segmentos podem “se anular”, mas quando analisados separadamente podem revelar comportamentos, preferências e insights valiosos.

Portanto, pense em segmentos-chave que fazem sentido para o seu negócio, como público-alvo, dispositivos, fontes de tráfego, e reavalie seu teste a partir deles.

No entanto, é importante lembrar que os segmentos precisam ter um tamanho de amostra considerável para que os resultados possam ser considerados “conclusivos”. O que nos leva à próxima dica…

3. Aumente o tamanho da amostra

Quando o tamanho da amostra é muito pequeno, é possível que as diferenças observadas entre as opções testadas sejam apenas fruto do acaso. Ou seja, quanto maior o tamanho da amostra, menor será a margem de erro e mais precisos serão os resultados.

Conforme a teoria estatística, o recomendado é que cada grupo de teste tenha pelo menos 100 amostras para os resultados serem considerados confiáveis. Mas essa referência pode mudar de acordo com a realidade de cada empresa, site ou segmento. 

Em todos os casos, entretanto, realizar um novo teste com uma amostra maior pode ajudar a obter resultados mais conclusivos.

4. Refinar as hipóteses do teste A/B

Para levantar hipóteses de um teste A/B é essencial entender o contexto e pensar em soluções sólidas que correspondam a esse cenário. 

Então, se as hipóteses originais do teste não foram precisas o suficiente, pode ser necessário refiná-las para obter melhores conclusões.

Se quiser dicas específicas sobre isso, confira como criar a melhor hipótese de teste A/B para seu site!

5. Colete dados qualitativos para apoiar os quantitativos

Quando os dados numéricos não são tão expressivos, os dados qualitativos podem entrar em cena e ajudar a visualizar e obter melhores conclusões. 

Portanto, uma boa solução para evitar ter testes A/B inconclusivos é rodá-los em conjunto com questionários, gravações de tela e/ou mapas de calor.

Assim, você terá mais nuances do comportamento dos usuários e poderá complementar sua análise e tomar decisões mais assertivas a partir disso.

6. Aceite a inconclusividade e foque na melhoria contínua

Mesmo que o resultado seja inconclusivo, lembre-se de que todo teste é uma oportunidade de aprender mais sobre o seu site e os seus consumidores. 

É claro que é importante encontrar soluções que tragam resultados, mas sempre haverá algo que pode ser aprimorado, testado e atualizado.

Então, não deixe de implementar mudanças por conta de um resultado inconclusivo. E nem de continuar levantando hipóteses, realizando testes, coletando dados e otimizando suas oportunidades de conversão.

Se quiser aprofundar seus conhecimentos neste assunto, confira também nossos conteúdos sobre como realizar um teste de usabilidade no seu site e como entender o comportamento do consumidor online!