A/B-Testing

Inhaltsverzeichnis

Was ist A/B-Testing?

A/B-Testing bietet Betreibern von Webseiten, mobilen Apps oder Online-Werbung die Möglichkeit, ihren “Auftritt” durch den Vergleich zweier Varianten (A und B) einzelner Details nach und nach zu optimieren. Dabei ist wichtig, bei jedem Test nur kleine Veränderungen vorzunehmen, um aussagekräftige Ergebnisse zu erhalten. Daraufhin folgt eine Analyse zur Ermittlung der Version, die langfristig mehr Erfolg verspricht.

Was sind typische Anwendungen für A/B-Testing?

Die Dinge, die mittels A/B-Testing geprüft werden, sind vielfältig. Am häufigsten unterzieht der Webmaster folgende Elemente seiner Webseite, App oder Werbung einem Test:

allgemeines Design und Layout (Farbe, Schriftgröße, Schriftart etc.)
Überschriften auf Haupt- oder Unterseiten (Wording, Länge etc.)
Call-to-Action (konkretes Wording, Länge, Farbe, Platzierung etc.)
Kategorie- oder Produktbeschreibung (Stil, Länge, Keywords etc.)
Bilder, Grafiken oder Videos (Art, Größe bzw. Länge, Umfang etc.)
Preise oder Rabatte (unter Einbeziehung psychologischer Faktoren)
auszufüllende Felder in Formularen (Art, Anzahl, Anordnung etc.)

Hier einige Beispiele in etwas detaillierterer Form:

A/B-Test eines neuen Webdesigns

Kommt das neu gestaltete Webdesign besser oder schlechter bei den Kunden an als die alte Version? Diese Frage lässt sich mittels A/B-Testing beantworten. Bei der Neuerstellung eines Templates werden oftmals das neue und das alte Design online geschaltet, um herauszufinden, welches die User mehr anspricht. Im Fokus stehen dabei zum einen die Verbesserung der Usability und zum anderen das Erhöhen der Konversionsrate.

A/B-Tests von speziellen Features

Webmaster, die bei ihrer Webseite die Navigation und Nutzerführung überarbeiten oder neue Features wie Filter, Suchfunktion oder Kaufberater einführen wollen, machen häufig Gebrauch vom A/B-Testing. So wird klar, ob die Veränderungen tatsächlich sinnvoll sind und den Erfolg steigern. Durch einen solchen Check ist es beispielsweise möglich, Bedienfehlern auf die Schliche zu kommen und sie zu beheben.

A/B-Tests in Bezug auf Landingpages

Zweifelt ein Seitenbetreiber, ob eine bestimmte Landingpage seines Internetauftritts schon das maximale Conversion-Potenzial ausschöpft, kann er parallel eine zweite Landingpage schalten, die ein bisschen anders aufgebaut ist als die ursprüngliche. Das A/B-Testing beantwortet dann die Frage, welche der Landingpage-Versionen die höhere Konversionsrate einbringt. Anschließend wird die Verlierer-Variante entfernt.

A/B-Test für mehr Anmeldungen

Webmaster streben immer danach, die Zahl der Anmeldungen zu erhöhen (Kundenkonto, Newsletter etc.). Mit A/B-Testing lässt sich herausfinden, was Besucher der Webseite abhält/motiviert, sich zu registrieren. So können etwa die Art der Anmeldefelder, die optische Erscheinung des Anmeldebuttons oder auch die Call-to-Action-Formulierung für eine bestimmte Zeit in zwei Varianten online gestellt werden.

Wie funktioniert A/B-Testing?

Der Webseitenbetreiber programmiert den A/B-Test so, dass sich der eingehende Traffic aufteilt. Während die Hälfte des Besucherstroms nach wie vor auf der ursprünglichen Variante der jeweiligen Webseite landet, wird die andere Hälfte von dieser abgezweigt und stattdessen auf die abgewandelte Page geleitet. Dabei ist entscheidend, dass dieses Splitting unwillkürlich erfolgt und der Nutzer selbst nichts davon weiß.

Konkret gibt es zwei Möglichkeiten, A/B-Testing aufzusetzen:

1) Austausch der zu testenden Elemente vor dem Laden der Webseite (klassisches A/B-Testing)

Wird ein einzelnes Element einer Webseite getestet, etwa der Anmeldebutton, muss der Webmaster mit seiner A/B-Testing-Software zwei Varianten dieses Buttons erstellen. Bei aktiviertem Test wählt die Software per Zufall aus, welcher Besucher welche Button-Version angezeigt bekommt.

2) Umleitung auf eine andere Seite (Split-URL-Testing)

Bezieht sich der A/B-Test auf eine komplette Seite (Beispiel: Eignet sich Grün oder doch Rot als Grundfarbe auf der Page besser?) muss der Webseitenbetreiber eine neue Seite kreieren und zusätzlich zur eigentlichen Page online stellen. Wiederum leitet die A/B-Testing-Software die Besucher zufällig auf eine der beiden Seiten.

Tipp

Ist die eigentliche Seite etwa unter https://beispiel.com/landingpage zu erreichen, könnte die andere Version die URL https://beispiel.com/landingpage1 erhalten. Dies kann von Suchmaschinen als Duplicate Content eingestuft werden. Verhindern können Sie das z.B. über die noindex-Angabe.

Wiederum leitet die A/B-Testing-Software die Besucher zufällig auf eine der beiden Seiten.

Welche durchzuführende Schritte gibt es für den Webmaster?

Um einen A/B-Test richtig umzusetzen, ist zunächst eine Hypothese zu formulieren. Hierbei sind Webmaster im Vorteil, die ihre Zielgruppe gut kennen. Im Prinzip ist eine Hypothese für einen solchen Test eine auf eine bestimmte Komponente der Page, App oder Werbung bezogene Annahme über die Zielgruppe.

Sogenanntes Tracking – vorab durchgeführt – hilft herauszufinden, welche Komponenten es überhaupt wert sind, einem Test unterzogen zu werden. Zu diesem Tracking gehören unter anderem Eye-Tracking, Heatmaps oder Neuronale Netze.

Die allgemeine Formel einer Hypothese für einen A/B-Test lautet ungefähr so:

“Wenn ich aufgrund der Beobachtung X die Komponente A infolge meiner Zielgruppenannahme Z durch die Maßnahme B anpasse, kann ich mein Conversion-Ziel C erreichen.”

In diesem Sinne braucht der Webseitenbetreiber:

ein Conversion-Ziel (C)
eine Zielgruppenannahme (Z)
eine Beobachtung (X)
eine Maßnahme (B)
eine Test-Komponente (A)

Bei A handelt es sich um die ursprüngliche Version, bei B um die neue Variante.

Was ist die Bedeutung zeitlicher Faktoren für A/B-Testing?

Beim A/B-Testing müssen stets beide Varianten zur gleichen Zeit getestet werden – das heißt in der Regel, dass immer abwechselnd ein Besucher der Seite Version A und einer Version B zu Gesicht bekommt. Nimmt der Webmaster den Wechsel in größeren Intervallen vor (etwa im Stundentakt, nach einem Tag oder nach einer bestimmten Besucheranzahl), drohen verfälschte Ergebnisse.

Es hängt nämlich nicht allein von der Gestaltung der Webseite ab, wie viele Personen diese aufrufen und welche Anmelde- oder Kaufbereitschaft sie mitbringen. Bedeutsam sind verschiedene Faktoren – sowohl innerhalb der Menschen als auch “außen”. Zu den äußeren Variablen zählen beispielsweise der Tag und die genaue Uhrzeit (Arbeitstag-Wochenende, Vormittag-Nachmittag-Abend, Arbeitszeit-Feierabend et cetera).

Hinweis

Neben A/B-Testing gibt es auch das sogenannte Multivariate Testing (MVT). Mit diesem Instrument können mehrere Veränderungen gleichzeitig getestet werden (beispielsweise Überschrift, Beschreibung und Bilder). Diese spezielle Form prüft sämtliche Kombinationsmöglichkeiten aller Variationen und ermittelt die beste Komposition. Aber: Multivariate Testing erfordert ein sehr hohes Traffic-Niveau auf der Webseite.

Welche Vor- und Nachteile von A/B-Tests gibt es?

A/B-Testing geht mit einigen Vor-, aber auch mehreren Nachteilen einher. Die Vorteile beziehen sich auf den Nutzen des Testinstruments, die Nachteile im Wesentlichen auf die Tatsache, dass es beim Testen vieles zu berücksichtigen gilt, um wirklich aussagekräftige Resultate zu erwirken.

Pro

Oft weicht die persönliche Ansicht des Webmasters von der Betrachtungsweise der Zielgruppe ab, was die jeweiligen Details der Webseite betrifft. So hat der Betreiber durch A/B-Testing die Möglichkeit, sein eigenes Empfinden mit dem der Besucher zu vergleichen.
Kurzum: Mit jedem A/B-Test vertieft der Webseitenbetreiber die Kenntnis über sein Publikum: Was mag es, was sucht es, welche Bedürfnisse und Gewohnheiten hat es?
Mithilfe geeigneter Tools ist A/B-Testing einfach durchzuführen und erfordert im Normalfall keinen großen Aufwand. Zudem bedarf es nicht zwingend technischer Vorkenntnisse.
Richtig durchgeführt, liefert die Analyse des A/B-Tests eindeutige Ergebnisse. So kann die Webseite nach Testende gleich so um- oder eingestellt werden, dass die Besucher nur noch zur erfolgversprechenderen Version gelangen.
Bauchentscheidungen haben in der Marketingstrategie keinen Platz mehr, stattdessen wird alles getestet, was sich positiv auf die Konversionsrate auswirkt.
Richtig durchgeführt, liefert die Analyse des A/B-Tests eindeutige Ergebnisse. So kann die Webseite nach Testende gleich so um- oder eingestellt werden, dass die Besucher nur noch zur erfolgversprechenderen Version gelangen.
Durch die Resultate von A/B-Tests und die folgenden Maßnahmen investiert der Webseitenbetreiber seine Zeit und sein Geld in das, was seine Besucher am meisten anspricht.
A/B-Testing ist vielseitig einsetzbar. Es eignet sich für Unternehmen mit vielen Besuchern pro Tag ebenso wie für “kleinere” Blogs oder Ähnliches mit vergleichsweise wenigen Gästen.

Contra

A/B-Testing bringt nur klare Erkenntnisse, wenn die beiden zu vergleichenden Versionen lediglich in einem Detail voneinander abweichen. Testet der Webseitenbetreiber mehrere Stellen gleichzeitig, hat er bei der Auswertung der Resultate keine Chance, den direkten Auslöser des Erfolgs beziehungsweise Misserfolgs zu ermitteln. So muss der Webmaster viele Einzeltests vollziehen, wenn er diverse Bereiche seines Auftritts optimieren will. Dies kann den Aufwand unter Umständen stark erhöhen.
Beim A/B-Testing gibt es immer nur einen Sieger. Somit wird lediglich diese eine Variante weiterverfolgt, während die andere nach dem Test komplett ausscheidet. Die Hälfte der Informationen geht verloren. Dies hinterlässt stets eine gewisse Unsicherheit, wenn die siegreiche Variante hinterher einem weiteren A/B-Testing unterzogen wird (ein anderes Detail variiert). Wie die zuvor ausgeschiedene Version mit der Änderung des neuen Tests in puncto Conversion abgeschnitten hätte, bleibt unklar.
Grundsätzlich sollte der Webmaster mit A/B-Testing vorsichtig verfahren. Zu starke Änderungen, die wenig später wieder rückgängig gemacht werden, führen bei Bestandskunden eventuell zu enormer Verwirrung. Deshalb empfiehlt es sich, den Test ausschließlich mit neuen Besuchern durchzuführen.
Um tatsächlich aussagekräftig zu sein, sollten die Daten eine statistische Signifikanz erreichen. Dafür wird eine große Besucheranzahl benötigt. Bei kleineren Webseiten mit eher wenigen Besuchern oder niedriger Conversion kann dies eine Weile dauern.
Bevor es gelingt, spielerisch und sicher mit A/B-Testing zu operieren, ist es unumgänglich, sich intensiv in die Thematik einzuarbeiten oder sich von Experten umfassend beraten zu lassen.

Spezifische Tipps zum A/B-Testing

Grundsätzlich gilt: Der A/B-Test sollte nicht zu früh abgebrochen beziehungsweise beendet werden. Es sind sehr viele Besucher notwendig, um ein aussagekräftiges Ergebnis zu erhalten. Für den Signifikanz-Check gibt es Online-Rechner (zum Teil auch kostenlos), die auf A/B-Testing abzielen und dem Webmaster helfen, die Resultate dahingehend richtig zu interpretieren. In jedem Fall dürfen auch Schlussfolgerungen nicht zu früh gezogen werden.

Zu lange sollte der Test allerdings auch nicht laufen, ansonsten entgehen dem Unternehmen gegebenenfalls weitere Verkäufe oder Anmeldungen, weil die “schlechtere” Version immer noch angezeigt wird.

Abgesehen davon, dass der Webmaster gut daran tut, Bestandskunden nicht ins A/B-Testing einzubeziehen, ist es auch sinnvoll, die wiederkehrenden neuen Besucher stets zur gleichen Variante zu lotsen (dies lässt sich im Tool entsprechend festlegen).

Ein anderer entscheidender Punkt: Die Webseite sollte in sich konsistent sein – das heißt, das veränderte Detail (etwa der Anmeldebutton für den Newsletter) muss überall auf der Page in derselben Form angezeigt werden. Ansonsten stiftet der Webmaster Verwirrung bei den Besuchern. Auch beeinträchtigte Resultate können daraus folgen.

Was ist der allgemeine Nutzen von A/B-Testing für Unternehmen?

Das Userverhalten auf Webseiten ist für erfolgreiche Conversions extrem wichtig. Zudem stellen Signale wie die Verweildauer auf der jeweiligen Seite oder Absprungraten bedeutsame Kriterien für Suchmaschinen dar, um die Qualität der Zielpage zu ermitteln. Aus diesen Gründen wird A/B-Testing zunehmend unverzichtbar. Durch das Testen lassen sich wesentliche Besucherkennzahlen langfristig optimieren. Bei Webseiten, die im E-Commerce “zuhause” sind, hilft A/B-Testing, die Umsätze zu steigern.

Änderungen an einer Webseite infolge eines A/B-Tests können sich sofort auf den Traffic auswirken. Unter anderem passen sich Verweildauer und Bounce Rate an; zum Teil machen die Werte dieser Komponenten sogar große Sprünge. A/B-Testing ermöglicht eine schrittweise Optimierung der erfolgsrelevanten Faktoren. Je nach individueller Zielsetzung zählt etwa eine Steigerung der Konversionsrate oder eine erhöhte Anzahl von Abonennten eines Newsletters als Erfolg.

Hinweis

Rund 75 Prozent aller Webseiten, die mehr als eine Million Besucher pro Monat verzeichnen, sind inzwischen zum A/B-Testing übergegangen. Dies untermauert die enorme Bedeutung des Instruments.

Fiktives Beispiel für A/B-Testing

Die Webseite XY hat das Ziel, Gutscheine an den Mann und die Frau zu bringen. Mittels A/B-Testing will der Betreiber herausfinden, ob ein prominent platziertes Secure-Banner auf einer bestimmten Landingpage zu einer Steigerung der Klickzahlen auf den Gutschein-Button führt. Somit erstellt er eine zweite Variante der ursprünglichen Seite und fügt in der neuen Version den Secure-Banner hinzu.

Entgegen der Erwartungen steigert das Banner das Vertrauen der Besucher in die Webseite nicht. Es scheint eher vom Eigentlichen abzulenken. So ergibt sich, dass die Konversionsrate für die Variante ohne Banner um 300 Prozent höher liegt als für die Version mit Banner. Der Webmaster entfernt demnach die letztgenannte Landingpage und belässt es bei der klassischen Seite ohne Secure-Banner.

Was sind häufig verwendete Tools für A/B-Testing?

Es gibt zahlreiche Tools, mit denen Webseitenbetreiber A/B-Testings realisieren können. Hier eine Auswahl der häufig genutzten Programme:

a) Google Content Tests (früher Google Website Optimizer): Das kostenlose Angebot von Google ist Teil von Google Analytics. Im Vergleich zu anderen Diensten bietet das Tool logischerweise weniger Möglichkeiten.

b) Optimizely: Das einfach zu bedienende System eignet sich für KMU und auch für große Unternehmen. Es zeichnet sich unter anderem durch den WYSIWYG-Editor und Ergebnisse in Echtzeit aus. Das Optimizely-Tool kann 30 Tage kostenlos getestet werden.

c) Visual Website Optimizer: Der Dienst beinhaltet ebenfalls den WYSIWYG-Editor. Hinzu kommen zahlreiche Zusatzfunktionen, etwa Heat- und Clickmaps. Auch bei diesem Tool wartet ein kostenloser Probemonat.

d) Kameleoon: Das System ist binnen weniger Minuten installiert und lässt sich dank WYSIWYG-Editor (mit einfachem oder erweitertem Reporting) intuitiv bedienen. Es gibt die Option, einen kostenlosen Account zu erstellen (“Starter”). Die kostenpflichtigen Pakete (“Enterprise”) bieten natürlich mehr Leistungsumfang.

Für sehr große Unternehmen können auch preisintensivere Lösungen wie Adobe Omniture, Sitespect oder HP Optimost nützlich sein.

Sie haben noch Fragen?

Kontaktieren Sie uns