Carregando
0x70Lição 8 de 10

Testes A/B e valores-p

Rode um experimento justo, meça o ganho e avalie se uma diferença pode ser acaso - sem interpretar mal os valores-p.

24 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Explicar por que experimentos randomizados sustentam afirmações causais
  • Calcular taxas de conversão e o ganho (lift)
  • Rodar um teste de permutação e interpretar corretamente o valor-p

Um teste A/B divide os usuários aleatoriamente: o grupo A vê a página atual; o grupo B, um design novo. Como só o acaso decide quem recebe o quê, os grupos são parecidos em todos os outros aspectos, em média - então uma diferença real nos resultados pode ser atribuída à mudança. A randomização é o que transforma correlação em causalidade.

Mas até dois grupos que veem a mesma página diferem um pouco por acaso. A pergunta é: a diferença observada é maior do que o acaso costuma produzir?

Testes de permutação

Um teste de permutação responde isso diretamente. Se a mudança não tivesse efeito, os rótulos dos grupos seriam arbitrários - então embaralhe-os milhares de vezes e veja com que frequência uma diferença embaralhada é pelo menos tão extrema quanto a real. Essa fração é o valor-p: quão surpreendentes os dados seriam se não houvesse efeito real.

A declaração da American Statistical Association sobre valores-p (2016) alerta contra interpretações erradas comuns:

  • Um valor-p não é a probabilidade de a hipótese ser verdadeira.
  • Ele não mede o tamanho nem a importância de um efeito.
  • As decisões não devem depender só de p passar de 0,05; informe também o tamanho do efeito e o intervalo dele.

Experimente

Até 15 XP

Interprete o resultado corretamente

Cada afirmação sobre um teste A/B é uma interpretação correta ou errada?

0 de 6 classificadosPontuação 0/0
  • “p = 0,03 significa que há 3% de chance de o novo design não funcionar.”

  • “p = 0,03: se o design não tivesse efeito, uma diferença desse tamanho apareceria cerca de 3% das vezes.”

  • “p = 0,0001, então a melhoria é enorme.”

  • “p = 0,2, então o design certamente não tem efeito.”

  • “Informar o ganho (+1,5 ponto, IC de 95% de 0,4 a 2,6) junto com o valor-p.”

  • “Conferir o resultado a cada hora e parar assim que p < 0,05.”

lift.py
control, variant = 120 / 2400, 156 / 2400
print(f"{control:.2%} -> {variant:.2%}")
print(f"relative lift: {(variant - control) / control:+.0%}")
Saída
5.00% -> 6.50%
relative lift: +30%

Principais conclusões

  • A randomização faz os testes A/B sustentarem afirmações causais.

  • O valor-p de um teste de permutação: com que frequência o acaso, sozinho, gera uma diferença tão extrema.

  • Informe tamanhos de efeito e intervalos; não trate p < 0,05 como veredito, e não fique espiando.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Taxas de conversão e ganho

+25 XP

Duas linhas: A conversions visitors e B conversions visitors. Imprima cada taxa como A: 5.00% e depois lift: +P points (+R%) - o ganho absoluto em pontos percentuais (2 casas decimais) e o ganho relativo (1 casa decimal), os dois com sinal.

  • Um design melhor
  • Um design pior
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Rode um teste de permutação

+25 XP

A linha 1 tem os valores do grupo A; a linha 2, os do grupo B (separados por espaços). A diferença observada é mean(B) − mean(A).

Chame random.seed(0), junte os valores e, 5.000 vezes, aplique random.shuffle ao conjunto, tratando os primeiros len(A) valores como A e o resto como B. Conte os embaralhamentos cuja |diferença| seja pelo menos a |diferença observada|. Imprima observed difference: D (2 casas decimais) e p-value: P (3 casas decimais).

  • Uma diferença clara
  • Provavelmente acaso
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…