Pré-teste
Planeje a amostra antes de olhar o resultado.
MDE e tamanho de amostra
Numa sala barulhenta, você só ouve um sussurro se chegar perto. Um grito você ouve de longe. O MDE, ou efeito mínimo detectável, é o menor efeito que o teste consegue ouvir com a amostra que tem. Com pouco tráfego, o teste só ouve gritos. Por exemplo, um MDE de 8,4% com poder de 80% quer dizer que, se a variante melhorar a conversão em 8,4% ou mais, o teste tem pelo menos 80% de chance de detectar. Melhoras menores podem passar despercebidas.
ver detalhes
A taxa base é p = conversões semanais / tráfego semanal. Na semana w, cada grupo tem n(w) = tráfego semanal × % no teste × w / grupos visitantes.
A amostra por variante para um lift alvo é n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² / (p2 − p1)², com p1 = p, p2 = p × (1 + lift) e p̄ = (p1 + p2) / 2. O MDE da semana w é o lift que, nessa fórmula, exige exatamente n(w) visitantes. A calculadora acha esse lift por bisseção, então os dois modos do pré-teste são inversos exatos um do outro. O MDE absoluto é p × MDE relativo, em pontos percentuais.
Por que tráfego baixo só detecta efeitos grandes. A amostra cresce com o inverso do quadrado da diferença, 1 / (p2 − p1)². Detectar metade do efeito exige cerca de 4 vezes mais usuários. No sentido contrário, o MDE cai com a raiz quadrada da amostra, e rodar 4 vezes mais tempo só corta o MDE pela metade. Taxa base baixa piora a conta, porque a mesma melhora relativa vira uma diferença absoluta menor.
A duração é dias = ⌈ n × grupos / (tráfego semanal / 7 × % no teste) ⌉. Cada variante a mais aumenta a amostra total, e a correção de Bonferroni aumenta a amostra de cada grupo. Com espiadas planejadas, n é multiplicado pelo fator de inflação do desenho sequencial. Arredonde a duração para semanas cheias.
Quando engana. O MDE não é o efeito esperado. Escolher um lift alvo otimista encurta o plano, mas deixa o teste cego para os efeitos realistas. Na prática, poucos testes de CRO mostram lifts reais acima de 10%. Quando um teste com MDE alto dá significativo, o lift observado tende a exagerar o efeito real. O cálculo também supõe que a taxa base e o tráfego se mantêm durante o teste.
Bicaudal ou unicaudal
Um teste bicaudal é como um vigia que olha as duas portas da casa. O unicaudal olha só a porta da frente. Ele percebe mais cedo quem entra por ela, mas não vê quem entra pelos fundos. No teste A/B, a porta da frente é a variante melhorar a conversão. A dos fundos é ela piorar. O unicaudal nunca declara uma variante perdedora, por pior que ela seja.
ver detalhes
Bicaudal. A hipótese nula é CRv = CRc e a alternativa é CRv ≠ CRc. O z crítico é z(1 − α'/2), que dá 1,96 com 95% de confiança, e o p-value é 2 × (1 − Φ(|z|)). Detecta melhoras e pioras.
Unicaudal. A hipótese nula é CRv ≤ CRc e a alternativa é CRv > CRc. O z crítico é z(1 − α'), que dá 1,645 com 95% de confiança, e o p-value é 1 − Φ(z). Com a mesma amostra, o unicaudal detecta melhoras menores. Para o mesmo MDE, precisa de cerca de 20% menos usuários.
O unicaudal não detecta pioras. Se a variante converte menos, o z fica negativo e o p-value fica perto de 1. O veredito vira inconclusiva, nunca perdedora. Pelo mesmo motivo, o intervalo de confiança unicaudal só tem limite inferior.
Quando engana. A escolha precisa ser feita antes de ver os dados. Escolher a direção depois de ver o resultado dobra, na prática, a chance de falso positivo. Use o unicaudal só quando uma piora e um empate levam à mesma decisão, a de não implementar, e quando ninguém vai precisar saber se a variante piorou. O Bayesiano não usa essa escolha.
Confiança e poder
Um alarme de incêndio pode errar de dois jeitos. Ele pode tocar sem fogo ou ficar quieto com fogo. A confiança controla o primeiro erro e o poder controla o segundo. Deixar o alarme mais exigente reduz os alarmes falsos, mas aumenta o risco de não perceber um fogo pequeno. Para reduzir os dois ao mesmo tempo, o teste precisa de mais dados. No seu teste, a confiança é 95% e o poder é 80%. Se a variante tem o lift alvo, a chance de o teste detectar é de 80%, desde que ele rode com a amostra planejada.
ver detalhes
O erro tipo I é declarar diferença quando ela não existe, o falso positivo. A chance dele é o alfa, α = 1 − confiança. Com Bonferroni ligado e 3 ou mais grupos, cada comparação usa α' = (1 − confiança) / (grupos − 1).
O erro tipo II é não detectar uma diferença que existe, o falso negativo. A chance dele é β = 1 − poder. O poder sempre se refere a um tamanho de efeito. Poder de 80% quer dizer 80% de chance de detectar a diferença se o lift real for igual ao lift alvo. Para lifts reais menores, o poder é menor.
Os dois erros disputam a mesma amostra, que sai da fórmula n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² / (p2 − p1)². Nela, p1 é a taxa base, p2 = p1 × (1 + lift), p̄ = (p1 + p2) / 2, zβ = z(poder) e zα = z(1 − α'/2) no bicaudal ou z(1 − α') no unicaudal. Com a amostra fixa, subir a confiança derruba o poder. Para manter os dois, a amostra cresce. Com 80% de poder, subir de 95% para 99% de confiança pede cerca de 50% mais usuários. Com 95% de confiança, subir o poder de 80% para 90% pede cerca de 34% mais.
No Bayesiano, a confiança é o limiar de P(vencer) para declarar vencedora. Lá não existe poder, mas o veredito "sem poder" usa a mesma regra de amostra do Z test.
Quando engana. Confiança de 95% não quer dizer 95% de chance de o resultado estar certo. Se poucas das ideias testadas funcionam de verdade, bem mais que 5% das vencedoras declaradas podem ser falsas. O poder também não é a chance de o resultado estar certo. Ele é uma propriedade do plano, calculada antes do teste. O poder observado, Φ(|z| − z crítico), é só outra forma de escrever o p-value. Ele fica perto de 50% quando o p-value está no limite e não diz se a amostra era suficiente. Para isso, compare o MDE atingido com o lift alvo.
Peeking e teste sequencial
Imagine que você pudesse apitar o fim de uma partida no instante em que o seu time passa à frente. Você ganharia jogos que perderia no tempo normal. Espiar o teste todo dia e parar no primeiro resultado significativo funciona do mesmo jeito. Cada espiada é mais uma chance de o acaso parecer um efeito real. O teste sequencial combina antes quantas vezes você vai olhar e exige uma vantagem bem maior para encerrar cedo.
ver detalhes
Por que espiar infla o falso positivo. Quando não há efeito, cada análise tem chance igual ao alfa de dar significativo por acaso. Olhar várias vezes e parar na primeira significância acumula essas chances. Com 95% bicaudal e o limite normal em cada olhada, a chance total de falso positivo sobe para cerca de 8% com 2 espiadas, 14% com 5 e 19% com 10. Com espiadas sem fim, ela tende a 100%.
Como as fronteiras resolvem. O teste sequencial gasta o alfa aos poucos, com a função de gasto de Lan-DeMets tipo O'Brien-Fleming. No unicaudal, α(t) = 2 − 2 × Φ(z(1 − α/2) / √t). No bicaudal, cada lado gasta metade do alfa com a mesma função, α_lado(t) = 2 − 2 × Φ(z(1 − α/4) / √t), a convenção do gsDesign e do ldbounds. Aqui t é a fração de informação, n atual / n máximo do plano. As fronteiras saem dessa função por integração numérica recursiva, o método de Armitage, McPherson e Rowe. Até a última espiada, o alfa gasto soma exatamente o alfa escolhido. No unicaudal, a mesma ideia vale para uma fronteira só, a de melhora. Com Bonferroni ligado, a correção vem antes da divisão entre as espiadas.
As primeiras fronteiras são muito exigentes, e a última fica perto do z crítico normal. Com 4 espiadas igualmente espaçadas e 95% bicaudal, as fronteiras ficam perto de z = 4,33, 2,96, 2,36 e 2,01. Em troca, a amostra máxima cresce pouco. Com 5 espiadas e 80% de poder, ela fica cerca de 2,5% acima da amostra do teste fixo.
A calculadora usa a amostra real de cada espiada para calcular t, não a planejada. Assim o alfa continua certo se a espiada atrasar ou adiantar. O teste sequencial só funciona com o Z test. Não cruzar a fronteira quer dizer continuar, não que a variante não funciona. Esta calculadora não tem fronteira de futilidade, a que permitiria parar por falta de chance de vencer.
Quando engana. As fronteiras só protegem se o número de espiadas foi combinado antes e se você só decide nelas. Parar numa olhada fora do plano volta a inflar o erro. Um teste que para cedo por cruzar a fronteira tende a exagerar o lift. O Bayesiano também não fica imune. A probabilidade continua descrevendo os dados, mas parar no primeiro dia em que ela passa de 95% aumenta a chance de declarar vencedora uma variante que não é melhor.
Resultados
Planeje a amostra antes de olhar o resultado.