Sobre e metodologia

Taxa de conversão

CR = conversões / usuários

Lift relativo e absoluto

lift = (CRv − CRc) / CRc; Δ = CRv − CRc

Alfa efetivo

α′ = (1 − confiança) / (grupos − 1)

Com Bonferroni e 3+ grupos. Sem correção, α′ = 1 − confiança. O Bayesiano ignora Bonferroni e hipótese.

Valores críticos e poder

zα = Φ⁻¹(1 − α′/2) [bicaudal]; zα = Φ⁻¹(1 − α′) [unicaudal]; zβ = Φ⁻¹(poder)

Amostra por variante

n = (zα√(2p̄(1−p̄)) + zβ√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂−p₁)²; p₂ = p₁(1+lift); p̄ = (p₁+p₂)/2

Tráfego, MDE e duração

p = conversões semanais / tráfego semanal; n(w) = tráfego semanal × fração no teste × w / grupos; dias = ceil(n × grupos / (tráfego semanal / 7 × fração no teste))

O MDE é o lift que exige n(w) visitantes, resolvido por bisseção na fórmula de amostra. MDE absoluto = p × MDE relativo. Conversões zero impedem planejar. p₂ não pode exceder 1.

Erro padrão não agrupado

SE = √(CR(1−CR)/n); SEdiff = √(SEc²+SEv²)

Z test

z = (CRv−CRc)/SEdiff; p₂ = 2(1−Φ(|z|)); p₁ = 1−Φ(z); significativo se p < α′

Intervalo de confiança e poder observado

ICΔ = Δ ± Φ⁻¹(1−α′/2)SEdiff; IClift ≈ ICΔ/CRc; poder observado = Φ(|z|−zα)

Unicaudal mostra só limite inferior, Δ − zα SEdiff. O IC relativo é aproximado. Poder observado não substitui planejamento.

Modelo Bayesiano

prior = Beta(1,1); posterior = Beta(1+conversões,1+usuários−conversões)

50.000 amostras Monte Carlo por grupo. Semente derivada de usuários e conversões, com resultados reprodutíveis.

Probabilidades, risco e credibilidade

P(vencer) = P(CRv>CRc); P(melhor) = P(CRg = max CR); risco = E[max(CRc−CRv,0)]; risco relativo = risco/CRc; intervalo = quantis [(1−conf)/2,1−(1−conf)/2] do lift

Teste sequencial

g(α,t) = 2−2Φ(Φ⁻¹(1−α/2)/√t); t = n atual / n máximo

Lan-DeMets tipo O'Brien-Fleming. Unicaudal g(α,t). Bicaudal, cada lado g(α/2,t), convenção gsDesign/ldbounds. Fronteiras por integração recursiva de Armitage-McPherson-Rowe. Bonferroni vem antes do gasto. A amostra fixa cresce pelo fator de inflação do desenho. Sem plano, frações igualmente espaçadas. Amostra máxima atingida implica análise final. Sem fronteira de futilidade.

Veredito

Bayesiano: vencedora P≥conf; perdedora P≤1−conf. Z test: significativo e Δ>0 vence; significativo e Δ<0 perde só no bicaudal.

Sem resultado conclusivo, MDE atingido ≤ lift de referência implica sem diferença relevante. Acima disso, sem poder. No sequencial, significativo significa cruzar a fronteira.

Dias adicionais

max(0,ceil((n necessário − min n grupos) × grupos / (total usuários / dias)))

SRM

χ² = Σ(observado−esperado)²/esperado; esperado = total usuários × split; gl = grupos−1; alerta p<0,01

Receita e projeção

visitantes mensais = (total usuários/dias) × 30/fração no teste; transações extras = visitantes mensais × Δ; contribuição mensal = extras × valor; impacto = contribuição × meses; previsão = visitantes mensais × CRg × valor × meses

Moeda só altera rótulo e formatação, sem câmbio. Taxa observada nos dois métodos. Valores inconclusivos são estimativas não confirmadas.