Análise do teste
Compare versões. Entenda a evidência. Decida o próximo passo.
1. Duração do teste
2. Dados do teste
| Grupo | Usuários | Conversões | Split pretendido % | Taxa de conversão | Lift relativo | P(vencer) | Remover |
|---|---|---|---|---|---|---|---|
% | Taxa de conversão— | Lift relativo— | P(vencer)— | ||||
% | Taxa de conversão— | Lift relativo— | P(vencer)— |
Confiança e poder
Um alarme de incêndio pode errar de dois jeitos. Ele pode tocar sem fogo ou ficar quieto com fogo. A confiança controla o primeiro erro e o poder controla o segundo. Deixar o alarme mais exigente reduz os alarmes falsos, mas aumenta o risco de não perceber um fogo pequeno. Para reduzir os dois ao mesmo tempo, o teste precisa de mais dados. No seu teste, a confiança é 95% e o poder é 80%. Se a variante tem o lift alvo, a chance de o teste detectar é de 80%, desde que ele rode com a amostra planejada.
ver detalhes
O erro tipo I é declarar diferença quando ela não existe, o falso positivo. A chance dele é o alfa, α = 1 − confiança. Com Bonferroni ligado e 3 ou mais grupos, cada comparação usa α' = (1 − confiança) / (grupos − 1).
O erro tipo II é não detectar uma diferença que existe, o falso negativo. A chance dele é β = 1 − poder. O poder sempre se refere a um tamanho de efeito. Poder de 80% quer dizer 80% de chance de detectar a diferença se o lift real for igual ao lift alvo. Para lifts reais menores, o poder é menor.
Os dois erros disputam a mesma amostra, que sai da fórmula n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² / (p2 − p1)². Nela, p1 é a taxa base, p2 = p1 × (1 + lift), p̄ = (p1 + p2) / 2, zβ = z(poder) e zα = z(1 − α'/2) no bicaudal ou z(1 − α') no unicaudal. Com a amostra fixa, subir a confiança derruba o poder. Para manter os dois, a amostra cresce. Com 80% de poder, subir de 95% para 99% de confiança pede cerca de 50% mais usuários. Com 95% de confiança, subir o poder de 80% para 90% pede cerca de 34% mais.
No Bayesiano, a confiança é o limiar de P(vencer) para declarar vencedora. Lá não existe poder, mas o veredito "sem poder" usa a mesma regra de amostra do Z test.
Quando engana. Confiança de 95% não quer dizer 95% de chance de o resultado estar certo. Se poucas das ideias testadas funcionam de verdade, bem mais que 5% das vencedoras declaradas podem ser falsas. O poder também não é a chance de o resultado estar certo. Ele é uma propriedade do plano, calculada antes do teste. O poder observado, Φ(|z| − z crítico), é só outra forma de escrever o p-value. Ele fica perto de 50% quando o p-value está no limite e não diz se a amostra era suficiente. Para isso, compare o MDE atingido com o lift alvo.
Peeking e teste sequencial
Imagine que você pudesse apitar o fim de uma partida no instante em que o seu time passa à frente. Você ganharia jogos que perderia no tempo normal. Espiar o teste todo dia e parar no primeiro resultado significativo funciona do mesmo jeito. Cada espiada é mais uma chance de o acaso parecer um efeito real. O teste sequencial combina antes quantas vezes você vai olhar e exige uma vantagem bem maior para encerrar cedo.
ver detalhes
Por que espiar infla o falso positivo. Quando não há efeito, cada análise tem chance igual ao alfa de dar significativo por acaso. Olhar várias vezes e parar na primeira significância acumula essas chances. Com 95% bicaudal e o limite normal em cada olhada, a chance total de falso positivo sobe para cerca de 8% com 2 espiadas, 14% com 5 e 19% com 10. Com espiadas sem fim, ela tende a 100%.
Como as fronteiras resolvem. O teste sequencial gasta o alfa aos poucos, com a função de gasto de Lan-DeMets tipo O'Brien-Fleming. No unicaudal, α(t) = 2 − 2 × Φ(z(1 − α/2) / √t). No bicaudal, cada lado gasta metade do alfa com a mesma função, α_lado(t) = 2 − 2 × Φ(z(1 − α/4) / √t), a convenção do gsDesign e do ldbounds. Aqui t é a fração de informação, n atual / n máximo do plano. As fronteiras saem dessa função por integração numérica recursiva, o método de Armitage, McPherson e Rowe. Até a última espiada, o alfa gasto soma exatamente o alfa escolhido. No unicaudal, a mesma ideia vale para uma fronteira só, a de melhora. Com Bonferroni ligado, a correção vem antes da divisão entre as espiadas.
As primeiras fronteiras são muito exigentes, e a última fica perto do z crítico normal. Com 4 espiadas igualmente espaçadas e 95% bicaudal, as fronteiras ficam perto de z = 4,33, 2,96, 2,36 e 2,01. Em troca, a amostra máxima cresce pouco. Com 5 espiadas e 80% de poder, ela fica cerca de 2,5% acima da amostra do teste fixo.
A calculadora usa a amostra real de cada espiada para calcular t, não a planejada. Assim o alfa continua certo se a espiada atrasar ou adiantar. O teste sequencial só funciona com o Z test. Não cruzar a fronteira quer dizer continuar, não que a variante não funciona. Esta calculadora não tem fronteira de futilidade, a que permitiria parar por falta de chance de vencer.
Quando engana. As fronteiras só protegem se o número de espiadas foi combinado antes e se você só decide nelas. Parar numa olhada fora do plano volta a inflar o erro. Um teste que para cedo por cruzar a fronteira tende a exagerar o lift. O Bayesiano também não fica imune. A probabilidade continua descrevendo os dados, mas parar no primeiro dia em que ela passa de 95% aumenta a chance de declarar vencedora uma variante que não é melhor.
Resultados
Preencha os dados dos grupos para ver o resultado.
Alertas
—
TL;DR
Peça uma leitura dos números e dos alertas. O cálculo já está pronto no seu navegador.
Método Bayesiano
Pense na previsão do tempo. Ela não promete sol. Ela diz que a chance de chuva é de 20%. O método Bayesiano faz o mesmo com o seu teste. Ele começa sem preferência por nenhuma taxa de conversão e ajusta essa crença a cada usuário que chega. No fim, responde direto à pergunta que você tem. Se a variante tem 97% de chance de ser melhor, quer dizer que, com os dados coletados, ela converte mais que o controle em 97 de cada 100 cenários plausíveis.
ver detalhes
Cada grupo começa com a prior Beta(1, 1), que dá o mesmo peso a qualquer taxa de conversão entre 0% e 100%. Os dados atualizam essa crença e geram a posterior Beta(1 + conversões, 1 + usuários − conversões). A prior equivale a uma conversão e uma não conversão a mais, então pesa pouco assim que cada grupo tem algumas dezenas de conversões.
A calculadora sorteia 50.000 valores da posterior de cada grupo, com uma semente derivada dos números do teste. Os mesmos números sempre dão o mesmo resultado. A probabilidade de vencer é a fração dos sorteios em que a variante supera o controle, P(vencer) = P(CRv > CRc). Com 3 ou mais grupos, a probabilidade de ser a melhor é a fração dos sorteios em que o grupo tem a maior taxa entre todos.
O risco esperado é E[max(CRc − CRv, 0)]. É a perda média de conversão ao implementar a variante, contando como zero os cenários em que ela é melhor. Aparece em pontos percentuais e relativo à taxa do controle.
O intervalo de credibilidade do lift vai do quantil (1 − confiança) / 2 ao quantil 1 − (1 − confiança) / 2 de (CRv − CRc) / CRc. Segundo o modelo, o lift real está dentro dele com probabilidade igual à confiança. Essa leitura vale para o intervalo Bayesiano. Ela não vale para o intervalo de confiança do Z test.
A variante é vencedora quando P(vencer) ≥ confiança e perdedora quando P(vencer) ≤ 1 − confiança. Não existe p-value nem teste de significância. A resposta já é uma probabilidade sobre a pergunta de negócio, e o limiar de 95% é a regra de decisão que você escolheu. Por isso o Bayesiano ignora a escolha entre uni e bicaudal e a correção de Bonferroni.
Quando engana. A probabilidade só vale se o modelo vale. Ele supõe que cada usuário converte de forma independente, com uma taxa fixa durante o teste, e que o sorteio dos grupos funcionou. SRM, efeito novidade e sazonalidade quebram essas premissas. Espiar todo dia e parar quando P(vencer) passa de 95% também aumenta a chance de declarar vencedora uma variante que não é melhor. A posterior continua descrevendo os dados, mas essa regra de parada perde o controle de erro, e a prior plana não protege contra isso. Com amostras pequenas, P(vencer) oscila muito de um dia para o outro, então olhe também o intervalo e o risco esperado. Com várias variantes, a chance de alguma passar do limiar por acaso cresce, mesmo sem Bonferroni na conta.
Z test
Imagine uma moeda que pode estar viciada. Você parte do princípio de que ela é honesta e joga 100 vezes. Se sair 70 caras, uma moeda honesta quase nunca faria isso, e a sua desconfiança ganha força. O Z test faz o mesmo com o seu teste. Ele supõe que variante e controle convertem igual e mede quão raro seria ver uma diferença pelo menos do tamanho da observada. Essa medida é o p-value. Quanto menor o p-value, mais difícil explicar a diferença só pelo acaso.
ver detalhes
A hipótese nula H0 diz que a taxa real da variante é igual à do controle. O teste mede a distância entre os dados e essa hipótese, em erros padrão.
Para cada grupo, CR = conversões / usuários e SE = √(CR × (1 − CR) / usuários). O erro padrão da diferença é SEdiff = √(SEc² + SEv²), sem agrupar os grupos, como no ABTestGuide. O Z-score é z = (CRv − CRc) / SEdiff.
O p-value bicaudal é 2 × (1 − Φ(|z|)) e o unicaudal é 1 − Φ(z), onde Φ é a distribuição normal acumulada. O resultado é significativo quando p-value < α'. O alfa é α' = 1 − confiança, dividido por grupos − 1 quando a correção de Bonferroni está ligada.
O intervalo de confiança da diferença é (CRv − CRc) ± z(1 − α'/2) × SEdiff. No unicaudal, a calculadora mostra só o limite inferior. O intervalo do lift relativo divide esses limites por CRc, uma aproximação que ignora a incerteza da taxa do controle. Um intervalo de 95% não quer dizer 95% de chance de o valor real estar dentro dele. Quer dizer que, repetindo o teste muitas vezes, 95% dos intervalos calculados desse jeito conteriam o valor real.
O teste usa a aproximação normal, que só funciona com amostra grande. Uma regra prática é ter pelo menos 10 conversões e 10 não conversões em cada grupo. Com 0% ou 100% de conversão, o erro padrão do grupo vira zero e o teste subestima a incerteza.
Quando engana. O p-value só vale se a amostra foi decidida antes e o teste foi analisado uma vez. Espiar e parar ao ver significância infla os falsos positivos. Para acompanhar o teste, use o modo sequencial. Testar várias variantes ou várias métricas também multiplica as chances de um falso positivo. Um resultado significativo não diz que o efeito é grande. Com muito tráfego, diferenças pequenas demais para importar ficam significativas. Um resultado não significativo também não prova que as taxas são iguais. Ele só mostra que os dados não bastam para descartar a igualdade.
Bayesiano ou Z test?
Os dois métodos olham os mesmos dados e fazem perguntas diferentes. O Z test age como um tribunal. Ele presume que a variante não muda nada e só abandona essa presunção diante de prova forte. O Bayesiano age como quem calcula as chances de uma aposta. Ele diz qual a chance de a variante ser melhor. Longe do limiar de decisão, os dois quase sempre concordam. Perto dele, um pode dizer "vencedora" e o outro "inconclusiva".
ver detalhes
Use o Bayesiano quando a pergunta é qual versão implementar. Ele dá a probabilidade de a variante ser melhor e o risco esperado de errar, dois números fáceis de levar para uma decisão de negócio. É o método padrão da calculadora.
Use o Z test quando você precisa controlar a taxa de falsos positivos de forma explícita, quando planejou a amostra com confiança e poder, ou quando vai acompanhar o teste enquanto ele roda. O teste sequencial com fronteiras de O'Brien-Fleming só existe no Z test. Ele também reproduz os números de ferramentas como o ABTestGuide.
Por que discordam. Com a prior Beta(1, 1) e amostras grandes, P(vencer) fica perto de 1 − p-value unicaudal, que é Φ(z). Com 95% de confiança, o Bayesiano declara vencedora quando Φ(z) ≥ 0,95, ou seja, quando z ≥ 1,645. O Z test bicaudal exige |z| ≥ 1,96. Entre esses dois valores, o Bayesiano vê uma vencedora e o Z test não vê diferença significativa. Por exemplo, z = 1,75 dá P(vencer) perto de 96% e p-value bicaudal perto de 0,08.
A correção de Bonferroni aumenta essa distância. Com 3 ou mais grupos, o Z test fica mais exigente e o Bayesiano mantém o limiar. A discordância não é erro de cálculo. Ela mostra que a evidência está perto do limite e que a decisão depende da regra escolhida.
3. Detalhes e calculadoras
Impacto em receita
Informe a duração do teste e o valor por conversão.