Fast jeder neue Kunde fragt irgendwann nach A/B-Tests. Verständlich: Testen klingt nach Daten statt Bauchgefühl. Nur braucht ein Test genug Bestellungen, um überhaupt etwas zu zeigen. Unter 1.000 Bestellungen im Monat misst er vor allem Zufall. Hier ist die Rechnung, und was du stattdessen tun kannst.
Woher die Frage kommt
Wenn wir einen neuen Kunden onboarden und den Shop richtig anschieben wollen, fällt früher oder später der Satz: „Können wir das nicht erst mal A/B-testen?“ Die Idee dahinter ist gut. Nicht raten, sondern messen. Große Marken machen das ständig, und die Tools dafür kosten nicht viel.
Das Problem ist nicht der Test. Das Problem ist die Datenmenge. Ein A/B-Test braucht genug Bestellungen, damit ein Unterschied mehr ist als Zufall. Und die haben die meisten Shops nicht.
Die Rechnung, die vorher keiner macht
Nehmen wir einen Shop mit 2 % Conversion-Rate. Er will wissen, ob eine neue Produktseite 10 % mehr verkauft, also 2,2 % statt 2 %. Für ein Ergebnis mit der üblichen Sicherheit (95 % Signifikanz, 80 % Teststärke) braucht jede Variante rund 80.000 Besucher. Das sind etwa 1.600 Bestellungen pro Variante.
So lange dauert das je nach Shopgröße:
- 300 Bestellungen im Monat: knapp 11 Monate
- 500 Bestellungen im Monat: gut 6 Monate
- 1.000 Bestellungen im Monat: gut 3 Monate
Sucht man nur nach großen Effekten, etwa 20 % mehr Umsatz, geht es schneller. Bei 300 Bestellungen sind es dann knapp 3 Monate, bei 1.000 Bestellungen unter einem Monat. Nur bringt eine neue Buttonfarbe oder ein anderer Satz im Banner keine 20 %.
Unter 1.000 Bestellungen im Monat bringen A/B-Tests so gut wie nichts. Der Shop hat schlicht zu wenig Daten, um kleine Unterschiede von Zufall zu trennen.
Warum lange Tests trotzdem nicht helfen
Man könnte sagen: Dann läuft der Test ein Jahr. Aber in einem Jahr ändert sich alles andere auch. Saison, Werbebudget, Preise, Sortiment, Wettbewerb. Am Ende misst der Test nicht die Produktseite, sondern alles, was in der Zeit passiert ist.
Der häufigste Fehler: zu früh aufhören
Viele Test-Tools zeigen schon nach wenigen Tagen eine Wahrscheinlichkeit an, dass Variante B gewinnt. Wer dann abbricht, sobald die Zahl grün wird, baut oft einen Zufallstreffer ein. Ein paar Wochen später ist der Effekt weg, weil er nie da war. Bei kleinen Datenmengen schwanken die Werte am Anfang stark. Genau das sieht wie ein Gewinner aus.
Was kleine Shops stattdessen tun sollten
Für die meisten Shops liegt das Geld nicht in Tests, sondern in Fehlern, die man nicht testen muss:
- Ladezeit. Zu viele Apps, zu große Bilder, zu viel fremder Code. Jede Sekunde mehr kostet Käufe.
- Der Warenkorb am Handy. Einmal selbst auf einem kleinen Handy bis zur Kasse klicken. Oft hakt es an Stellen, die am Desktop keiner sieht.
- Versandkosten und Lieferzeit früh zeigen. Wer erst an der Kasse erfährt, was der Versand kostet, bricht ab.
- Klare Produktseiten. Was ist das, für wen, was kostet es, wann kommt es. Mehr dazu in unserem Artikel zur Produktseite.
Dazu kommen Session-Aufnahmen und Heatmaps. Schon zwanzig aufgezeichnete Besuche zeigen oft, wo Kunden hängen bleiben. Das ist kein statistischer Beweis, aber es zeigt Fehler, die man sofort beheben kann.
Ab wann sich A/B-Tests lohnen
Ab etwa 1.000 Bestellungen im Monat werden Tests sinnvoll, zuerst für große Änderungen: ein neuer Aufbau der Produktseite, ein anderes Angebot, eine neue Preisstruktur. Je mehr Bestellungen, desto kleinere Unterschiede lassen sich sauber messen. Wer darunter liegt, fährt besser damit, bekannte Fehler zu beheben und Änderungen nacheinander zu vergleichen, mit dem Wissen, dass das kein sauberer Test ist.
Häufige Fragen
Ab wie vielen Bestellungen lohnt sich ein A/B-Test?
Als Faustregel ab etwa 1.000 Bestellungen im Monat, und dann zuerst für große Änderungen. Darunter dauert ein sauberer Test für typische Effekte mehrere Monate bis über ein Jahr.
Wie viele Besucher braucht ein A/B-Test?
Das hängt von Conversion-Rate und erwartetem Effekt ab. Bei 2 % Conversion-Rate und 10 % erwarteter Verbesserung sind es rund 80.000 Besucher pro Variante, bei 20 % Verbesserung rund 21.000.
Kann ich einen A/B-Test abbrechen, sobald das Tool einen Gewinner zeigt?
Besser nicht. Am Anfang schwanken die Werte stark, und ein früher Gewinner ist oft Zufall. Testdauer und Stichprobe vorher festlegen und erst dann auswerten.
Was mache ich mit wenig Traffic statt A/B-Tests?
Bekannte Fehler beheben: Ladezeit, Warenkorb am Handy, frühe Angabe von Versandkosten und Lieferzeit, klare Produktseiten. Session-Aufnahmen zeigen, wo Kunden hängen bleiben.
