O que é um teste A/B: como o realizar e exemplos práticos

Se é um empreendedor experiente ou está apenas a começar, é provável que já tenha visto inúmeros artigos e recursos sobre testes A/B. Quiçá até esteja a experimentar as linhas de assunto dos seus e-mails, ou as suas publicações nas redes sociais.

Apesar de já se ter falado muito sobre testes A/B no campo do marketing, muitos empreendedores encontram dificuldades na prática. O resultado? Decisões empresariais importantes tomadas com base em resultados pouco fiáveis obtidos por meio de um teste impreciso.

Os testes A/B muitas vezes são simplificados em demasia, especialmente em conteúdos escritos, para proprietários de lojas. Abaixo, encontrará tudo o que precisa para começar a realizar diferentes tipos de testes A/B para o comércio eletrónico, e explicado da forma mais clara — e útil — possível. Os testes A/B podem ser um divisor de águas na escolha do posicionamento correto do produto, pois, aumentam as conversões de uma landing page, e muito mais.

O que é um teste A/B?

O teste A/B, também conhecido como teste dividido ou bucket testing, é o processo de comparar duas versões da mesma página web, e-mail ou outro ativo digital para determinar qual delas tem o melhor desempenho com base no comportamento do utilizador.

É uma ferramenta útil para melhorar o desempenho de uma campanha de marketing e para saber melhor o que converte o seu público-alvo. O teste A/B permite responder a perguntas empresariais importantes, ajuda a aumentar a receita a partir do tráfego que já tem e lança as bases para uma estratégia de marketing informada por dados.

Como funciona o teste A/B

• Defina o seu objetivo. Estabeleça os seus objetivos para o teste A/B, por exemplo, aumentar conversões, taxas de cliques ou vendas no geral.
• Escolha o elemento a testar. Pode testar títulos, imagens, linhas de assunto de e-mails, chamadas à ação (CTAs), preços, layouts, etc.
• Criar variações. Desenvolva duas versões do elemento: a versão A, que é a versão original do ativo, ou o “controlo”. A versão B, a nova versão com as alterações que deseja testar, é conhecida como a “variante”. Em contexto de marketing, mostre a 50% dos visitantes a versão A e aos restantes 50% a versão B.
• Execute o teste. Exponha ambos os grupos à mesma versão durante um período pré-determinado. Por exemplo, se está a testar o botão de chamada à ação da página inicial de um site de e-commerce, pode realizar testes durante duas semanas para obter resultados estatisticamente significativos.
• Recolha dados. Monitorize e meça conversões, cliques, níveis de envolvimento e vendas em ambas as versões.
• Analise os resultados. Compare o desempenho da versão A com a versão B para saber qual delas atende mais eficazmente ao seu objetivo. A versão com a maior taxa de conversão vence.
• Declare o vencedor. Se a versão B tiver a maior taxa de conversão, será a vencedora, posto isto, enviará 100% dos visitantes para lá. Esta torna-se na nova versão de controlo, e deve desenhar outra variante para testes futuros.

💡Lembre-se que: a taxa de conversão de um teste A/B pode muitas vezes ser uma medida imperfeita de sucesso.

Por exemplo, se precificar um item a 50 € numa página e este estiver disponível gratuitamente noutra, isto nunca será uma informação verdadeiramente valiosa. Tal como com qualquer ferramenta ou estratégia que use para o seu negócio, deverá haver sempre um pensamento estratégico por trás das decisões.

É por isso que deve acompanhar o valor de uma conversão até à venda final.

Quando deve fazer testes A/B

Se está a gerir um site com pouco tráfego ou uma aplicação web ou móvel, o teste A/B provavelmente não é o melhor esforço de otimização para si. Provavelmente verá um maior retorno sobre o investimento (ROI) ao realizar testes de utilizadores ou ao falar com os clientes, por exemplo. Apesar da crença popular, a otimização da taxa de conversão não começa nem termina com testes.

Porquê duas a quatro semanas? Lembre-se, que o ideal será realizar testes durante pelo menos dois ciclos de negócios completos. Normalmente, isto são duas a quatro semanas. Agora, talvez esteja a pensar: “Ok, vou executar o teste durante mais duas a quatro semanas para atingir um tamanho de amostra ideal.”. Isto também não será a solução.

Quanto mais tempo um teste estiver a decorrer, mais suscetível este se torna a ameaças de validade externa e de poluição da amostra. Por exemplo, os visitantes podem apagar os seus cookies e acabar por voltar a entrar no teste A/B, como se fossem novos visitantes. Ou alguém pode mudar do telemóvel para um desktop e ver uma versão alternativa.

Por outras palavras, realizar o teste durante mais tempo do que o necessário é tão prejudicial quanto não o executar durante o tempo necessário.

Os testes compenssam o valor do investimento para lojas que podem atingir o tamanho de amostra necessário em duas a quatro semanas. Já no caso das lojas que não conseguem atingir o tamanho da amostra, o ideal será considerar outras formas de otimização até que o seu tráfego aumente.

Configure o seu processo de teste A/B

Priorize ideias para testes A/B

É emocionante olhar para uma lista de exemplos de testes A/B, mas tal não será muito útil para decidir o que testar. Por onde irá começar? É aqui que entra a priorização.

Existem alguns frameworks comuns de priorização de testes A/B que pode utilizar:

• ICE. ICE significa impacto, confiança e facilidade. Cada um destes fatores recebe uma classificação de 1 a 10. Por exemplo, se conseguir realizar o teste com facilidade sozinho, sem ajuda de um developer ou designer, poderá atribuir nota de 8 à facilidade. Não se esqueça que está a usar o seu bom senso para isto, e se tiver mais de uma pessoa a realizar testes, as classificações podem tornar-se demasiado subjetivas. Ajuda ter um conjunto de diretrizes para manter todos os objetivos.
• PIE. O PIE significa potencial, importância e facilidade. Novamente, cada fator recebe uma classificação de 1 a 10. Por exemplo, se o teste alcançar 90% do seu tráfego, poderá dar uma nota de 8 à importância. O PIE é tão subjetivo quanto o ICE, logo, as diretrizes também podem ser úteis para este framework.
• PXL. O PXL é o framework de priorização da plataforma educacional CXL. É um pouco diferente e mais personalizável, força decisões mais objetivas. Em vez de três fatores, encontrará perguntas de Sim/Não e uma pergunta sobre facilidade de implementação. Por exemplo, o framework pode perguntar: “O teste é projetado para aumentar a motivação?” Se sim, recebe um 1. Caso contrário, recebe um 0.

Assim que saiba por onde deve começar, isto também pode ajudar organizar as suas categorias. Por exemplo, durante uma pesquisa de conversão, poderia usar três categorias: implementar, investigar e testar.

• Implementar. Basta fazer. Algo não está a funcionar ou é óbvio.
• Investigar. Requer um pensamento extra para perceber o problema ou concentrar-se numa solução.
• Testar. A ideia é sólida e informada por dados. Teste-a!

Entre esta categorização e a priorização, tem tudo a postos para começar a fazer testes A/B.

Desenvolva uma hipótese

Antes de testar qualquer coisa, precisa de uma hipótese. Por exemplo, “Se diminuir o que cobro pelo envio, as taxas de conversão vão aumentar.”.

Não se preocupe — formar uma hipótese nesta situação não é tão complicado quanto parece. Basicamente, precisa de testar uma hipótese, não uma ideia. Uma hipótese é mensurável, tente resolver um problema específico de conversão e foque-se em insights em vez de vitórias.

Sempre que escrever uma hipótese, use uma fórmula emprestada do Hypothesis Kit de Craig Sullivan:

• Porque vê [insira dados/feedback da pesquisa]
• Espera que [mudança que está a testar] cause [impacto que antecipa], e
• Medirá isto utilizando [métrica de dados]

Parece fácil, certo? Tudo o que precisa de fazer é preencher os espaços em branco, assim a sua ideia de teste A/B transforma-se numa hipótese.

Escolha uma ferramenta de teste A/B

Agora pode começar a escolher uma ferramenta de teste A/B ou serviço de teste dividido. As mais comuns são: Google Optimize, Optimizely e VWO. Todas são opções seguras.

Eis mais informações sobre estas ferramentas de teste A/B:

• Google Optimize. Gratuito, exceto em algumas limitações variadas, que não devem causar-lhe impacto se está só a começar. Funciona bem em testes A/B com o Google Analytics, o que é uma vantagem.
• Optimizely. É uma boa opção para realizar testes de menor dimensão, mesmo sem habilidades técnicas. O Stats Engine agiliza a análise de resultados dos testes. Normalmente, o Optimizely é a opção mais cara das três.
• VWO. O VWO tem SmartStats para facilitar a análise. Além disso, possui um ótimo editor WYSIWYG para iniciantes. Cada plano do VWO inclui mapas de calor, inquéritos no site, análises de formulários, etc.

Também há ferramentas de teste A/B na Shopify App Store que lhe poderão ser úteis.

Após escolher uma ferramenta de teste A/B ou software de teste dividido, preencha o formulário de inscrição e siga as instruções dadas. O processo varia de ferramenta para ferramenta. Normalmente, ser-lhe-á pedido que instale um snippet no seu site e que defina objetivos.

Decida como analisar os resultados

Se formulou bem a sua hipótese, mesmo que perca, está a ganhar insights que pode usar para informar testes futuros e outras áreas do negócio. Portanto, ao analisar os resultados do seu teste, precisa de se focar nos insights, e não no facto da ideia testada ter resultado numa vitória ou derrota. Há sempre algo a aprender, sempre algo a analisar. Não desconsidere as derrotas!

Aqui o mais importante a notar é a necessidade de segmentação. Um teste pode revelar-se numa verdadeira perda no geral, mas ainda assim é provável que tenha tido um bom desempenho junto de um segmento do seu público.

Aqui estão alguns exemplos de segmentos de público:

• Novos visitantes
• Visitantes recorrentes
• Visitantes de iOS
• Visitantes de Android
• Visitantes do Chrome
• Visitantes do Safari
• Visitantes de desktop
• Visitantes de tablet
• Visitantes de pesquisa orgânica
• Visitantes pagos
• Visitantes das redes sociais
• Compradores logados

Consegue perceber a ideia?

É provável que a hipótese tenha sido bem-aceite junto de certos segmentos. Isto também é uma informação importante para si.

A análise vai bem mais além de um resultado, seja ele positivo ou negativo. Segmente os seus dados para encontrar insights ocultos e que pode não ver de imediato.

O software de teste A/B não fará esta análise por si, logo esta é uma habilidade importante a desenvolver ao longo do tempo.

Arquive os resultados dos seus testes

Imagine que realiza o seu primeiro teste amanhã. Daqui a dois anos, lembrar-se-á dos detalhes desse teste? Provavelmente não.

É por isso que arquivar os resultados dos testes A/B é importante. Sem um arquivo bem organizado, todos aqueles insights que está a ganhar serão perdidos. Além disso, é muito fácil testar a mesma coisa duas vezes se não tiver todas as informações bem organizadas.

Não há uma “forma certa” de o fazer, no entanto. Pode usar uma ferramenta como a Effective Experiments, ou pode usar uma simples folha de Excel. A escolha é sua, especialmente quando está só a começar.

Qualquer que seja a ferramenta que use, certifique-se de que está a acompanhar:

• A hipótese testada
• A captura de ecrã do controlo e da variação
• Se ganhou ou perdeu
• Insights obtidos através da análise

À medida que cresce, agradecerá a si mesmo por manter este arquivo. Não só o ajudará, como também ajudará novos colaboradores e conselheiros/partes interessadas.

Exemplos de testes A/B

Análise técnica

O seu site tem uma boa velocidade de carregamento em todos os navegadores? Em todos os dispositivos? Pode ter um smartphone novo e brilhante, mas alguém, noutro lugar, está a usar um telemóvel flip de 2005. Se o seu site não funcionar bem e rapidamente, certamente não converte tão bem quanto seria esperado.

Inquéritos no site

Estes surgem enquanto os visitantes navegam na sua loja. Por exemplo, um inquérito no site pode perguntar aos visitantes que estiveram na mesma página durante algum tempo se há algo que os impede de fazer uma compra hoje. Se sim, o que é? Pode usar estes dados qualitativos para melhorar o seu texto e a taxa de conversão.

Entrevistas a clientes

Nada pode substituir uma conversa telefónica com os seus clientes. Porque escolheram a sua loja em vez de um concorrente? Que problema estavam a tentar resolver quando chegaram ao seu site? Há um milhão de perguntas que poderia fazer para chegar ao cerne de quem são os seus clientes e porque é que eles realmente fazem compras na sua loja.

Inquéritos a clientes

Os inquéritos a clientes são inquéritos completos que são enviados a pessoas que já fizeram uma compra (em vez de visitantes). Ao desenhar um inquérito para clientes, deve focar-se em: definir os seus clientes, definir os problemas deles, definir as hesitações que tiveram antes de comprar e identificar as palavras e frases que usam para descrever a sua loja.

Análise de análises

As suas ferramentas de análise estão a acompanhar e a relatar os seus dados corretamente? Isto pode parecer ridículo, mas ficaria surpreendido com quantas ferramentas de análise estão mal configuradas. A análise de análises tem como objetivo saber como os seus visitantes se comportam. Por exemplo, poderia centrar-se no funil: onde estão as maiores perdas no funil de conversão? Noutras palavras, onde é que a maioria das pessoas está a sair do seu funil? Este é um bom ponto de partida para começar a testar.

Testes de utilizadores

É aqui que observa pessoas reais num teste controlado e pago a tentar realizar tarefas no seu site. Por exemplo, poderia pedir-lhes que encontrassem um videojogo na faixa dos 40 € a 60 € e o adicionassem ao carrinho. Enquanto realizam estas tarefas, as pessoas, narram os seus pensamentos e ações em voz alta.

Replays de sessão

Os replays de sessão são semelhantes aos testes de utilizadores, mas agora está a lidar com pessoas reais com dinheiro real e real intenção de comprar. Irá assistir aos seus visitantes reais a navegarem no seu site. O que têm dificuldade em encontrar? Onde ficam frustrados? Onde parecem confusos?

Também existem tipos adicionais de pesquisa, mas comece por escolher o melhor método de teste A/B para si. Se realizar alguns, terá uma enorme lista de ideias informadas por dados que valem a pena testar.

Processos de testes A/B dos profissionais

Agora que já passou por um tutorial padrão de testes A/B, vamos debruçarmo-nos em processos reais feitos por profissionais.

Krista Seiden, KS Digital

O meu processo passo a passo para testes A/B em web e apps começa com a análise — na minha opinião, este é o núcleo de qualquer bom programa de testes. Na fase de análise, o objetivo é examinar os dados de análise, dados de inquéritos ou UX, ou quaisquer outras fontes de insights sobre clientes que possa ter, para perceber onde estão as suas oportunidades de otimização.

Uma vez que tenha um bom fluxo de ideias para a fase de análise, pode começar a formular hipóteses sobre o que pode estar a correr mal e como poderia corrigir ou melhorar essas áreas de otimização.

Em seguida, é hora de criar e executar os seus testes. Realize-os durante um período razoável (eu costumo optar por duas semanas para garantir que estou a contabilizar mudanças ou anomalias semana a semana), e quando tiver dados suficientes, analise os seus resultados para encontrar o vencedor.

Também é importante dedicar algum tempo a esta fase para analisar os perdedores — o que pode aprender com estas variações?

Em suma, é possível que apenas chegue a esta fase depois de ter passado tempo a preparar as bases para um programa de otimização sólido, é hora de olhar para a personalização. Isto não exige um conjunto de ferramentas sofisticadas, mas pode vir dos dados que tem sobre os seus utilizadores.

A personalização de marketing pode ser tão simples quanto direcionar o conteúdo certo para os locais certos ou tão complexa quanto direcionar com base nas ações individuais dos utilizadores. No entanto, não se atire de cabeça para a parte da personalização. Primeiro garanta que domina os básicos.

Alex Birkett, Omniscient Digital

Num nível elevado, tento seguir este processo:

• Recolher dados e garantir que as implementações de análise são precisas.
• Analisar dados e encontrar insights.
• Transformar insights em hipóteses.
• Priorizar com base no impacto e na facilidade, e maximizar a alocação de recursos (especialmente recursos técnicos).
• Executar um teste (seguindo as melhores práticas estatísticas da melhor forma que sei e posso).
• Analisar resultados e implementar ou não de acordo com os resultados.
• Iterar com base nas descobertas e repetir.

Simplificando: pesquise, teste, analise, e repita.

Embora este processo possa desviar ou mudar com base no contexto (Estou a testar uma funcionalidade crítica para o negócio? Um CTA para um artigo num blogue? Qual é o perfil de risco e o equilíbrio entre inovação e mitigação de riscos?), é aplicável a qualquer tamanho ou tipo de empresa.

A questão é que este processo é ágil, ao mesmo tempo que recolhe dados suficientes, tanto de feedback qualitativo dos clientes quanto de análises quantitativas, ademais, permite obter melhores ideias de testes e priorizá-las melhor para que possa impulsionar tráfego para a sua loja online.

Ton Wesseling, Online Dialogue

A primeira pergunta a que respondemos quando queremos otimizar uma jornada do cliente é: onde se encaixa este produto ou serviço no modelo ROAR que criámos na Online Dialogue? Ainda está na fase de risco, onde poderíamos fazer muita pesquisa, mas não conseguimos validar as nossas descobertas através de testes A/B online (abaixo de 1 000 conversões por mês), ou está na fase de otimização? Ou até mesmo acima?

• Fase de risco: muita pesquisa, que será traduzida em tudo, desde uma mudança no modelo de negócio até um novo design e proposta de valor.
• Fase de otimização: imensa testagem que passará por otimizar a proposta de valor e o modelo de negócio, bem como pequenos testes para validar hipóteses sobre o comportamento dos utilizadores, que irão informar mudanças de design mais profundas.
• Automação: ainda tem poder de experimentação (visitantes) restante, ou seja, o seu potencial total de teste não é necessário para validar a jornada do utilizador. O que resta deve ser usado para explorar e para crescer mais rápido agora (sem se focar em aprendizagens a longo prazo). Isto pode ser automatizado através da execução de bandits/uso de algoritmos.
• Voltar a pensar: terá de parar de adicionar pesquisa (em grandes quantidades), a menos que seja uma mudança para algo novo.

Portanto, o teste A/B em web ou app só é algo importante na fase de otimização do ROAR e quando se quer voltar a pensar em algo.

A nossa abordagem para realizar testes é o modelo FACT & ACT:

A pesquisa que fazemos é baseada no nosso Modelo 5V:

Recolhemos todos estes insights para formular uma hipótese principal baseada na pesquisa, que levará a sub-hipóteses que serão priorizadas com base nos dados recolhidos através de testes A/B em desktop ou dispositivos móveis. Quanto maior a probabilidade de a hipótese ser verdadeira, maior será a sua classificação.

Uma vez que aprendamos que a nossa hipótese é verdadeira ou falsa, podemos começar a combinar aprendizados e a dar passos maiores ao redesenhar/realinhar partes de maior dimensão na jornada do cliente. No entanto, em algum momento, todas as implementações vencedoras levarão a um máximo local. Logo precisa de dar um passo maior para alcançar um potencial máximo global.

E, claro, os principais aprendizados serão espalhados por toda a empresa, o que levará a todos os tipos de otimização e inovação mais amplas com base nos seus insights validados em primeira mão.

Está a fazer marketing para um público internacional? Aprenda a agilizar esse processo com pseudo-localização.

Julia Starostenko, Pinterest

O propósito de um teste é validar que as mudanças numa página web existente terão um impacto positivo no negócio.

Antes de começar, é importante determinar se realizar um teste é verdadeiramente necessário. Analise o seguinte cenário: há um botão com uma taxa de cliques extremamente baixa. Seria quase impossível diminuir o desempenho desse botão. Validar a eficácia de uma mudança proposta para o botão (ou seja, realizar um teste) não é necessário.

Da mesma forma que, se a mudança proposta para o botão for pequena, provavelmente não vale a pena gastar tempo a configurar, executar e desmontar um teste. Neste caso, as mudanças devem ser simplesmente implementadas para todos e o desempenho do botão pode ser monitorizado.

Se for determinado que realizar um teste seria benéfico, o próximo passo é definir as métricas de negócio que devem ser melhoradas (por exemplo, aumentar a taxa de conversão de um botão). Em seguida, garantimos que a recolha de dados adequada está em vigor.

Depois, o público é aleatoriamente dividido, o teste é feito entre dois grupos: um grupo vê a versão existente do botão, ao passo que, o outro grupo recebe a nova versão. A taxa de conversão de cada público é monitorizada e, uma vez que a significância estatística seja alcançada, os resultados do teste são determinados.

Peep Laja, CXL

O teste A/B é parte de um todo de otimização de conversão. Na minha opinião, 80% baseia-se na pesquisa e 20% nos testes. A pesquisa de conversão ajudará a determinar o que testar para começar.

O meu processo normalmente assemelha-se a isto (de forma simplificada):

1. Realizar uma pesquisa de conversão usando um framework como o ResearchXL para identificar problemas no site.
2. Escolher um problema de elevada prioridade (um que afete uma grande parte dos utilizadores e seja um problema grave) e fazer brainstorming do maior número possível de soluções para esse problema. Informe o seu processo de ideias com insights da pesquisa de conversão. Determine qual o dispositivo onde deseja executar o teste (precisa de realizar os testes A/B em móvel separados dos de desktop).
3. Determinar quantas variações pode testar (com base no seu nível de tráfego/transações) e, em seguida, escolher as melhores ideias, entre 1 e 2, para testar uma solução face à versão controlo.
4. Faça o wireframe do que realmente pretende (escrever o texto, fazer as alterações de design, etc). Dependendo do propósito das mudanças, também poderá precisar de incluir um designer para criar novos elementos.
5. Peça ao seu developer de front-end para implementar o que pretende na sua ferramenta de teste. Configure as integrações necessárias (Google Analytics) e defina os objetivos adequados.
6. Realize um QA ao teste (testes com falhas são de longe o maior problema dos testes A/B) para garantir que este funciona em todas as tipologias de navegador/dispositivo.
7. Lance o teste!
8. Assim que o teste esteja concluído, realize uma análise após o teste.
9. Dependendo do resultado, implemente o vencedor, itere sobre as mudanças ou teste algo diferente.

Erros comuns em testes A/B

Testar muitas variáveis em simultâneo

Quando compara duas variáveis ao mesmo tempo, pode não conseguir determinar qual a mudança que está na raíz dos novos resultados.

Digamos que quer otimizar uma landing page. Em vez de apenas testar um título, deverá testar o seguinte:

• Texto da chamada à ação
• Cor do botão CTA
• Imagens do cabeçalho
• Títulos

As taxas de conversão aumentam, mas não consegue identificar qual das mudanças foi a responsável. Se testar uma variável de cada vez, poderá isolar o impacto de cada mudança e obter resultados mais precisos.

💡Tenha em consideração: o teste multivariado é uma opção caso queira compreender como diversas variáveis interagem entre si. No entanto, para realizar um teste multivariado, precisa de mais tráfego e de uma página já bem otimizada para permitir melhorias incrementais. O processo é significativamente mais complexo face à realização de um teste A/B.

Tamanho de amostra insuficiente

A confiabilidade dos resultados do seu teste A/B depende do tamanho da amostra utilizada. Amostras pequenas podem levar a falsos positivos e negativos, o que dificulta a análise, pois não se sabe se as diferenças são resultado das suas mudanças ou do acaso.

Imagine que está a testar duas versões de uma página de produto para ver qual obterá as taxas de compra mais elevadas. Divide o tráfego, mas acaba apenas com 100 visitantes na versão A e 100 visitantes na versão B.

Se a versão A tiver uma taxa de conversão de 6%, e a versão B tiver uma taxa de 5%, poderá pensar que a versão A é melhor. Mas, com apenas 100 visitantes por versão, o teste não é estatisticamente significativo. É possível que, se testasse com mais visitantes, os resultados seriam diferentes.

A melhor forma de determinar um tamanho de amostra saudável é fazendo uso de uma calculadora de tamanho de amostra.

Durações de teste curtas

Execute o seu teste A/B durante pelo menos um, idealmente dois, ciclos de negócios completos. Não pare o teste só porque atingiu a significância. Também precisará de atender ao tamanho de amostra pré-determinado. Finalmente, não se esqueça de realizar todos os testes em incrementos de semanas completas.

Porquê 2 ciclos de negócios completos? Para começar, dois ciclos ajudam a contabilizar:

1. Compradores que “precisam de pensar melhor”.
2. Diferentes fontes de tráfego (Facebook, newsletter, pesquisa orgânica, etc.)
3. Anomalias. Por exemplo, a sua newsletter de sexta-feira.

Dois ciclos de negócios costumam dar tempo suficiente para obter insights valiosos sobre o comportamento de utilizador do seu público-alvo.

Se utilizou algum tipo de ferramenta de teste de landing page A/B, provavelmente está familiarizado com o pequeno ícone verde “Estatisticamente Significativo”.

Para muitos, infelizmente, esse é o sinal universal de que “o teste está pronto, termine-o.”. Como aprenderá abaixo, lá porque a significância estatística do teste A/B foi alcançada, não significa que deva parar o teste.

Desconsiderar a segmentação de utilizadores

Se não considerar vários segmentos de utilizadores, obterá resultados generalizados que podem não se aplicar a todos.

É útil segmentar os utilizadores por demografia, comportamento ou outros fatores relevantes. O que funciona para novos utilizadores pode não funcionar para utilizadores recorrentes. Se não segmentar, alienará grupos de utilizadores chave e colocará em risco a integridade do teste.

Otimize os testes A/B para o seu negócio

Já tem o processo, o poder é seu! Dê o primeiro passo, obtenha o melhor software de teste A/B e comece a testar a sua loja. Quando se der conta, estes insights transformar-se-ão em mais dinheiro na sua conta.

Se quiser continuar a aprender sobre otimização, experimente fazer um curso gratuito, como o Teste A/B da Udacity da Google. Pode aprender mais sobre testes A/B na web e apps móveis para impulsionar as suas habilidades de otimização.