HomeCasa Prompts

A/B-Test-Ergebnisse auswerten und fundiert entscheiden

Werte einen A/B-Test sauber aus: Plausibilitätsprüfungen, Konversionsraten, Uplift, Konfidenzintervall und p-Wert, praktische Relevanz und eine klare Empfehlung fürs Team. Entwickelt für ChatGPT, Claude, Gemini und Microsoft Copilot. Er enthält 5 anpassbare Variablen und lässt sich kostenlos mit einem Klick kopieren.

Experte · Text · Redaktionelle Prüfung ausstehend

Entwickelt für:

Prompt

Handle als Experimentation-Analyst mit soliden Statistikkenntnissen. Du erklärst Ergebnisse so, dass ein nicht technisches Team entscheiden kann, ohne mehr hineinzulesen, als die Daten hergeben.

Testdaten:
- Was getestet wurde und die Hypothese: {{testbeschreibung}}
- Ergebnisse je Variante (Nutzer oder Sitzungen und Konversionen): {{ergebnisse}}
- Hauptmetrik: {{metrik}}
- Laufzeit und Daten: {{laufzeit}}
- Vereinbartes Konfidenzniveau: {{konfidenz}}

Fehlt die Stichprobengröße einer Variante, die Randomisierungseinheit oder die Laufzeit, frag nach, bevor du rechnest.

Liefere:
1. Plausibilitätsprüfungen: Sample Ratio Mismatch, Laufzeit in vollen Wochen, Änderungen während des Tests, mögliches vorzeitiges Hineinschauen und Neuheitseffekte.
2. Konversionsrate je Variante, absolute Differenz und relativer Uplift.
3. Einen Zwei-Stichproben-Test für Anteile: z-Wert, p-Wert und Konfidenzintervall der Differenz, mit Formeln und Rechenschritten.
4. Interpretation: statistische gegen praktische Signifikanz (lohnt sich die Änderung?) und ungefähre Teststärke, falls die Stichprobe klein wirkt.
5. Warnhinweise zu nachträglicher Segmentierung und zu Neben- oder Guardrail-Metriken (zum Beispiel durchschnittlicher Warenkorb oder Retourenquote).
6. Empfohlene Entscheidung: ausrollen, iterieren oder weiter Daten sammeln, jeweils mit Begründung und Risiko.
7. Eine Zusammenfassung in 5 Zeilen fürs Team und eine Liste von Learnings für den nächsten Test.

Vorgaben:
- Erfinde keine Zahlen oder Segmentergebnisse, die ich nicht geliefert habe: nutze [AUSFÜLLEN].
- Nenne die Annahmen (Unabhängigkeit, korrekte Randomisierung) und dass die Rechnung mit einem Statistikrechner oder Code geprüft werden sollte.
- Lassen die Daten keinen Schluss zu, sag das klar.

Format: Ergebnistabelle, Rechenblock und abschließende Zusammenfassung.

So verwenden Sie ihn

Exportiere Nutzer und Konversionen je Variante aus deinem Testing-Tool. Füge auch die ursprüngliche Hypothese ein, damit die Auswertung bei der eigentlichen Fragestellung bleibt.

Anwendungsbeispiel

Test: grüner gegen orangefarbenen Kaufen-Button · Ergebnisse: A 10.240 Nutzer und 512 Käufe, B 10.180 Nutzer und 571 Käufe · Metrik: Kaufkonversion · Laufzeit: 14 Tage.

Beispielergebnis

Plausibilitätschecks

  • Aufteilung 50,1 % / 49,9 %: kein erkennbares Sample Ratio Mismatch.
  • 14 Tage = zwei volle Wochen. ✔
  • Änderungen während des Tests oder tägliches Reinschauen? [ERGÄNZEN]

Ergebnisse

VarianteNutzerKäufeKonversion
A (Kontrolle)10.2405125,00 %
B (Bewertungen oben)10.1805715,61 %

Absolute Differenz: +0,61 Prozentpunkte · relativer Uplift: +12,2 %

Zwei-Proportionen-Test

p_gepoolt = (512 + 571) / (10.240 + 10.180) = 0,0530
SE  = √[p(1−p)(1/nA + 1/nB)] = 0,00314
z   = 0,00609 / 0,00314 = 1,94
p   ≈ 0,052 (zweiseitig)
95-%-KI der Differenz: −0,01 bis +1,22 Prozentpunkte

Einordnung

Beim vereinbarten Konfidenzniveau von 95 % ist das Ergebnis nicht statistisch signifikant: Das Intervall schließt die Null knapp ein. Das Signal ist vielversprechend, reicht aber nicht, um B zum Sieger zu erklären.

Empfohlene Entscheidung

Weiter Daten sammeln, ein bis zwei volle Wochen ohne Änderungen, und Guardrail-Metriken prüfen (Warenkorbwert, Retourenquote). Wer jetzt ausrollt, nimmt das Risiko in Kauf, dass der echte Effekt null ist.

Annahmen: unabhängige Nutzer, korrekte Randomisierung. Mit einem Statistikrechner gegenprüfen. …

Wichtige Fakten

Kategorie
Datenmanagement · Datenanalyse
Ausgabetyp
Text
Niveau
Experte
Entwickelt für
ChatGPT, Claude, Gemini und Microsoft Copilot
Verifiziert in
Redaktionelle Prüfung ausstehend
Variablen
Was getestet wurde, Ergebnisse je Variante, Hauptmetrik, Laufzeit und Konfidenzniveau
Sprache
Deutsch
Preis
Kostenlos, ohne Anmeldung
Aktualisiert
07.11.2026

Häufig gestellte Fragen

Was ist ein Sample Ratio Mismatch?

Die tatsächliche Verteilung der Nutzer auf die Varianten weicht deutlich von der geplanten ab (zum Beispiel 50/50). Das deutet meist auf ein technisches Problem hin und kann das Ergebnis entwerten.

Ist der p-Wert unter 0,05, kann ich dann ausrollen?

Nicht unbedingt. Die Verbesserung muss auch geschäftlich relevant sein, der Test lange genug gelaufen sein und Guardrail-Metriken dürfen sich nicht verschlechtern.

Wofür ist dieser Prompt gedacht?

Werte einen A/B-Test sauber aus: Plausibilitätsprüfungen, Konversionsraten, Uplift, Konfidenzintervall und p-Wert, praktische Relevanz und eine klare Empfehlung fürs Team.

Mit welchen KI-Tools funktioniert er?

Er ist für ChatGPT, Claude, Gemini und Microsoft Copilot entwickelt. Wir haben ihn in diesen Tools noch nicht überprüft, daher können die Ergebnisse variieren.

Wie passe ich den Prompt an?

Klicken Sie auf „Anpassen“ und füllen Sie die Variablen aus (Was getestet wurde, Ergebnisse je Variante, Hauptmetrik, Laufzeit und Konfidenzniveau). Der Text wird sofort aktualisiert und lässt sich anschließend mit einem Klick kopieren. Die Werte werden nur in Ihrem Browser gespeichert.

Brauche ich Erfahrung, um ihn zu verwenden?

Er ist für Experten: Er richtet sich an Personen mit Erfahrung im Thema, die das Ergebnis beurteilen und anpassen können.

Ist dieser Prompt kostenlos?

Ja. Jeder Prompt von HomeCasa Prompts ist kostenlos, ohne Anmeldung und ohne Abonnement. Sie können ihn auch in beruflichen Projekten verwenden.

Kann ich der KI-Ausgabe vertrauen?

Betrachten Sie sie als hochwertigen Entwurf: Prüfen Sie Daten, Zahlen und wichtige Aussagen immer, bevor Sie etwas veröffentlichen oder Entscheidungen treffen.

Ähnliche Prompts