HomeCasa Prompts

Analisar os resultados de um teste A/B e decidir com critério

Interprete um teste A/B com rigor: verificações prévias, taxas de conversão, uplift, intervalo de confiança e p-valor, relevância prática e uma recomendação clara para a equipa. Pensado para ChatGPT, Claude, Gemini e Microsoft Copilot. Inclui 5 variáveis personalizáveis e pode copiá-lo gratuitamente com um clique.

Avançado · Texto · Pendente de revisão editorial

Pensado para:

Prompt

Atua como analista de experimentação com boa base estatística. Explicas os resultados para que uma equipa não técnica possa decidir, sem exagerar o que os dados dizem.

Dados do teste:
- O que foi testado e qual era a hipótese: {{descricao_teste}}
- Resultados por variante (utilizadores ou sessões e conversões): {{resultados}}
- Métrica principal: {{metrica}}
- Duração e datas: {{duracao}}
- Nível de confiança acordado: {{confianca}}

Se faltar a dimensão de alguma variante, a unidade de aleatorização ou a duração, pergunta-me antes de calcular.

Entregáveis:
1. Verificações prévias: desequilíbrio de amostras (sample ratio mismatch), duração em semanas completas, alterações durante o teste, espreitadelas antecipadas e efeito novidade.
2. Taxa de conversão por variante, diferença absoluta e uplift relativo.
3. Um teste de duas proporções: estatística z, p-valor e intervalo de confiança da diferença, mostrando as fórmulas e os passos.
4. Interpretação: significância estatística versus relevância prática (compensa a mudança?) e potência aproximada se a amostra parecer pequena.
5. Avisos sobre segmentar a posteriori e sobre métricas secundárias ou de controlo (por exemplo, valor médio da encomenda ou taxa de devoluções).
6. Decisão recomendada: implementar, iterar ou continuar a recolher dados, com o motivo e o risco de cada opção.
7. Um resumo de 5 linhas para a equipa e uma lista de aprendizagens para o próximo teste.

Restrições:
- Não inventes valores nem resultados de segmentos que não te dei: usa [PREENCHER].
- Indica os pressupostos (independência, aleatorização correta) e que os cálculos devem ser confirmados com uma calculadora estatística ou com código.
- Se os dados não permitirem concluir, di-lo claramente.

Formato: tabela de resultados, bloco de cálculo e resumo final.

Como utilizar

Exporte da sua ferramenta de experimentação os utilizadores e conversões por variante. Cole também a hipótese inicial para que a interpretação se mantenha fiel ao que queria testar.

Exemplo de utilização

Teste: botão de compra verde versus laranja · Resultados: A 10.240 utilizadores e 512 compras, B 10.180 utilizadores e 571 compras · Métrica: conversão em compra · Duração: 14 dias.

Exemplo de resultado

Verificações prévias

  • Divisão 50,1 % / 49,9 %: sem desequilíbrio de amostra aparente.
  • 14 dias = duas semanas completas. ✔
  • Alterações durante o teste ou espreitar resultados todos os dias? [COMPLETAR]

Resultados

VarianteUtilizadoresComprasConversão
A (controlo)10.2405125,00 %
B (avaliações no topo)10.1805715,61 %

Diferença absoluta: +0,61 pp · melhoria relativa: +12,2 %

Teste de duas proporções

p_conjunta = (512 + 571) / (10.240 + 10.180) = 0,0530
EP  = √[p(1−p)(1/nA + 1/nB)] = 0,00314
z   = 0,00609 / 0,00314 = 1,94
p   ≈ 0,052 (bilateral)
IC 95 % da diferença: −0,01 pp a +1,22 pp

Interpretação

Com os 95 % de confiança acordados, o resultado não é estatisticamente significativo: o intervalo inclui o zero, por muito pouco. O sinal é promissor, mas os dados não permitem declarar B vencedora.

Decisão recomendada

Continuar a recolher dados durante mais uma ou duas semanas completas, sem alterações, e acompanhar as métricas de controlo (valor médio da encomenda, devoluções). Lançar já é aceitar o risco de a melhoria real ser nula.

Pressupostos: utilizadores independentes e aleatorização correta. Confirme com uma calculadora estatística. …

Dados-chave

Categoria
Gestão de dados · Análise de dados
Tipo de resultado
Texto
Nível
Avançado
Pensado para
ChatGPT, Claude, Gemini e Microsoft Copilot
Verificado em
Pendente de verificação editorial
Variáveis
O que foi testado, Resultados por variante, Métrica principal, Duração e Nível de confiança
Idioma
Português
Preço
Gratuito, sem registo
Atualizado
07/11/2026

Perguntas frequentes

O que é o sample ratio mismatch?

É quando a distribuição real de utilizadores entre variantes se afasta muito da prevista (por exemplo, 50/50). Costuma indicar um problema técnico e pode invalidar o resultado.

Se o p-valor for inferior a 0,05, já posso implementar?

Não necessariamente. Também importa que a melhoria seja relevante para o negócio, que o teste tenha durado o suficiente e que as métricas de controlo não piorem.

Para que serve este prompt?

Interprete um teste A/B com rigor: verificações prévias, taxas de conversão, uplift, intervalo de confiança e p-valor, relevância prática e uma recomendação clara para a equipa.

Com que ferramentas de IA funciona?

Foi pensado para ChatGPT, Claude, Gemini e Microsoft Copilot. Ainda não o verificámos nestas ferramentas, pelo que os resultados podem variar entre elas.

Como personalizo o prompt?

Clique em “Personalizar” e preencha as variáveis (O que foi testado, Resultados por variante, Métrica principal, Duração e Nível de confiança). O texto atualiza-se instantaneamente e pode depois copiá-lo com um clique. Os valores ficam guardados apenas no seu navegador.

Preciso de experiência para o utilizar?

É de nível avançado: destina-se a pessoas com experiência no tema, capazes de avaliar e ajustar o resultado.

Este prompt é gratuito?

Sim. Todos os prompts do HomeCasa Prompts são gratuitos, sem registo nem subscrição. Pode também utilizá-los em projetos profissionais.

Posso confiar no resultado da IA?

Trate-o como um rascunho de qualidade: verifique sempre os dados, os números e as afirmações importantes antes de publicar ou tomar decisões.

Prompts relacionados