p-Wert einfach erklärt
Der p-Wert sagt, wie gut ein Ergebnis zur Annahme passt, dass es gar keinen Effekt gibt. Wir erklären ihn ohne Formeln und zeigen die häufigsten Fehlinterpretationen.
Der p-Wert taucht überall auf, wo es um Signifikanz geht, und er wird fast so oft falsch verstanden wie zitiert. Dabei ist die Grundidee einfach, wenn man sie einmal sauber erklärt bekommt. Wir nehmen uns den p-Wert hier ohne Statistik-Formeln vor und zeigen, was er sagt, was er nicht sagt und wie du ihn im Marketing richtig liest.
In drei Sätzen
- 01Der p-Wert sagt, wie wahrscheinlich ein beobachtetes Ergebnis wäre, wenn die Maßnahme gar keine Wirkung hätte.
- 02Ein kleiner p-Wert spricht dafür, dass das Ergebnis kein Zufall ist, ein großer mahnt zur Vorsicht.
- 03Der p-Wert sagt nichts über die Größe oder die geschäftliche Bedeutung eines Effekts.
Die einfache Definition
p-Wert
Der p-Wert beantwortet also nicht direkt, ist mein Effekt echt, sondern die Frage, wie gut passt mein Ergebnis zu der Annahme, dass es gar keinen Effekt gibt. Je schlechter es zu dieser Null-Annahme passt, desto kleiner der p-Wert und desto eher glauben wir an einen echten Effekt.
Der p-Wert an einem Beispiel
Ein Onlineshop testet zwei Varianten seiner Produktseite mit je 10.000 Besuchern. Variante A kommt auf 300 Bestellungen, also 3,0 Prozent, Variante B auf 340, also 3,4 Prozent. B liegt gut dreizehn Prozent vorn. Der p-Wert dieses Unterschieds liegt aber bei rund 0,11. Wenn beide Varianten in Wahrheit gleich gut wären, käme ein so großer Abstand also in etwa jedem neunten Test allein durch Zufall zustande. Das ist zu häufig, um sich darauf zu verlassen.
Derselbe Unterschied bei je 40.000 Besuchern, also 1.200 gegen 1.360 Bestellungen, ergibt einen p-Wert von etwa 0,001. Der Effekt ist gleich groß geblieben, nur die Datenmenge hat sich vervierfacht. Daran sieht man gut, was der p-Wert misst: nicht, wie groß ein Unterschied ist, sondern wie gut er sich vom Zufall trennen lässt. Wie viele Besucher ein Test braucht, zeigt der Beitrag zur Stichprobengröße.
Was sagt der p-Wert aus? Eine Lesehilfe
| p-Wert | Übliche Lesart | Was du daraus machst |
|---|---|---|
| unter 0,01 | sehr deutlicher Hinweis gegen Zufall | Effektgröße prüfen, dann entscheiden |
| 0,01 bis 0,05 | signifikant nach der üblichen Schwelle | Effektgröße und Konfidenzintervall ansehen |
| 0,05 bis 0,10 | schwacher Hinweis | nicht als Beweis werten, eventuell länger testen |
| über 0,10 | kein Beleg gegen Zufall | kein Effekt nachgewiesen, was nicht heißt, dass keiner da ist |
Die übliche Schwelle und ihre Tücke
In der Praxis gilt oft ein p-Wert unter 0,05 als signifikant. Diese Schwelle ist eine Konvention, keine Naturkonstante. Ein p-Wert von 0,049 ist nicht grundlegend anders als einer von 0,051, auch wenn die starre Grenze das suggeriert. Behandle die Schwelle als Anhaltspunkt, nicht als magische Grenze zwischen wahr und falsch.
Der p-Wert ist ein Maß gegen den Zufall, kein Maß für die Größe der Wirkung. Signifikant heißt nicht automatisch bedeutsam.
Die häufigsten Fehlinterpretationen
Zwei Missverständnisse sind besonders verbreitet. Erstens, der p-Wert ist nicht die Wahrscheinlichkeit, dass die Maßnahme keine Wirkung hat. Er sagt etwas über die Daten unter der Annahme keiner Wirkung, nicht umgekehrt. Zweitens, ein kleiner p-Wert bedeutet nicht, dass der Effekt groß ist. Bei sehr vielen Daten kann selbst ein winziger, geschäftlich belangloser Effekt einen sehr kleinen p-Wert haben.
Warum das Konfidenzintervall oft die bessere Wahl ist
Genau wegen dieser Schwächen lohnt sich der Blick auf das Konfidenzintervall. Es zeigt nicht nur, ob ein Effekt wahrscheinlich echt ist, sondern auch, wie groß er ungefähr ist und wie sicher die Schätzung. Damit triffst du bessere Entscheidungen als mit dem p-Wert allein, der nur ein Ja oder Nein zur Frage Zufall liefert.
Wie du den p-Wert im Marketing liest
Nutze den p-Wert als Warnlampe gegen den Zufall, nicht als alleinigen Schiedsrichter. Wenn ein Kampagnen-Effekt einen kleinen p-Wert hat, ist er wahrscheinlich kein Zufall, aber schau zusätzlich, wie groß er ist und ob er sich geschäftlich lohnt. Werkzeuge wie die Causal-Impact-Analyse liefern dir p-Wert und Effektgröße gemeinsam, damit du beides im Blick hast.