A/B-Test
Mit einem A/B-Test können Sie ein Mailing in unterschiedlichen Varianten an einem kleinen Teil der Empfängerliste testen, bevor Sie den eigentlichen Versand starten. Die Variante, die in den von Ihnen definierten Kriterien am Besten abschneidet, können Sie im Anschluss an die restlichen Empfänger versenden.
In der Regel unterscheiden sich Varianten (Split-Mailings) nur in wenigen Parametern voneinander. Die gängigsten Variationsmöglichkeiten sind:
- Betreffzeile. Testen Sie, wie sich verschiedene Betreffzeilen auf die Öffnungsrate auswirken.
- Kopfbild, Titel, Einführungstext. Testen Sie verschiedene Kopfgrafiken, Titel, Einführungstexte usw.
- Zielgruppenspezifisches Testen. Testen Sie ein Mailing beziehungsweise eine Mailing-Variante an verschiedenen Zielgruppen (z. B. Männer und Frauen).
- Versandzeitpunkt. Testen Sie, welcher der optimale Versandzeitpunkt Ihres Mailings ist.
A/B-Test in Smart Campaigns
Um einen A/B-Test in Smart Campaigns durchzuführen, gehen Sie wie folgt vor:
- Wählen Sie im Optimizely Campaign Menü Kampagnen > Smart Campaigns.
- Klicken Sie auf Erstellen….
- Ziehen Sie aus dem linken Aktionsbereich den Empfänger-Knoten in die Arbeitsfläche und wählen Sie eine Empfängerliste aus.
- Ziehen Sie einen A/B-Test-Knoten aus dem linken Aktionsbereich auf die Arbeitsfläche.
- Verbinden Sie den Empfänger-Knoten mit dem A/B-Test-Knoten.
- Ziehen Sie einen Nachrichtenknoten (E-Mail oder Mobile Push) auf die Arbeitsfläche. Erstellen Sie eine neue Nachricht oder bearbeiten Sie eine vorhandene Nachricht.
- Ziehen Sie einen weiteren Nachrichtenknoten desselben Typs auf die Arbeitsfläche. Wählen Sie die Nachricht aus, die sie im ersten Nachrichtenknoten verwendet haben und ändern Sie den Inhalt gemäß der zu testenden Kriterien.
- Fügen Sie gegebenenfalls weitere Nachrichtenknoten hinzu und folgen Sie der Beschreibung in Punkt 7.
- Verbinden Sie jeden Nachrichtenknoten mit dem A/B-Test-Knoten.
- Stellen Sie im A/B-Test-Knoten optional Automatische Optimierung aktivieren und/oder Versandzeitoptimierung ein. Stellen Sie z. B. ein, dass das Mailing mit der besten uniquen Öffnungsrate automatisch drei Tage nach Versand der Split-Mailings an die restliche Empfängerliste versendet wird. Für weitere Informationen siehe A/B-Test-Knoten und Versandzeitoptimierung im A/B-Test-Knoten einstellen.
- Im Bearbeiten-Menü der jeweiligen Verbindung können Sie u. a. einstellen, wie viele Empfänger das Split-Mailing erhalten sollen. Wählen Sie z. B. für zwei Split-Mailings jeweils 10 %, so wird nach Abschluss des A/B-Tests das Mailing an die verbleibenden 80 % der Empfängerliste versendet. Für weitere Informationen siehe A/B-Test-Knoten.
- Klicken Sie auf Speichern und schließen. Nach erfolgreicher Validierung können Sie Ihre A/B-Test-Kampagne aktivieren.
A/B-Test für Transaktions-Mails
Mit einem A/B-Test können Sie unterschiedliche Varianten einer Transaktions-Mail versenden und anhand der Kennzahlen ermitteln, welche Variante besser funktioniert. Um die Mailing-Kennzahlen auszuwerten, können sie zum Beispiel das Analyse-Tool Deep Analytics verwenden.
Um mit Transaktions-Mails einen A/B-Test durchzuführen, gehen Sie wie folgt vor:
- Wählen Sie im Optimizely Campaign Menü Kampagnen > Transaktions-Mails.
- Klicken Sie auf Erstellen….
- Ziehen Sie aus dem linken Aktionsbereich den Empfänger-Knoten in die Arbeitsfläche.
- Wählen Sie in der Drop-down-Liste Empfängerlisten eine Transaktions-Empfängerliste aus.
Note
Die Kundenbetreuung hat für Sie eine gesonderte Transaktions-Empfängerliste eingerichtet. Verwenden Sie ausschließlich diese Transaktions-Empfängerliste und keine reguläre Empfängerliste. Ob eine Empfängerliste eine Transaktions-Empfängerliste ist, sehen Sie in der Spalte Transaction API.
- Ziehen Sie aus dem linken Aktionsbereich den A/B-Test-Knoten in die Arbeitsfläche.
- Verbinden Sie den Empfänger-Knoten mit dem A/B-Test-Knoten.
- Ziehen Sie aus dem linken Aktionsbereich mindestens zwei Nachrichtenknoten des gewünschten Marketing-Kanals in die Arbeitsfläche. Empfängerliste und Marketing-Kanal einer Transaktions-Mail müssen kompatibel sein. Für A/B-Tests in Transaktions-Mails stehen die folgenden Marketing-Kanäle zur Auswahl:
Marketing-Kanal | Versendet | Erforderlicher Empfängerlistentyp |
|---|---|---|
E-Mail oder eine multiple Liste | ||
SMS | SMS | SMS oder eine multiple Liste |
Mobile Push | Push-Nachricht an ein mobiles Gerät | Push oder eine multiple Liste |
Web Push | Push-Nachricht, die im Web-Browser des Empfängers erscheint | Push oder eine multiple Liste |
- Geben Sie im Kontextmenü im Feld Name einen Namen für die Transaktions-Mail (z. B. Split 1) ein.
- Geben Sie im Feld Beschreibung optional eine Beschreibung ein (z. B. Optimierte Betreffzeile).
- Klicken Sie auf Inhalt bearbeiten… und konfigurieren Sie die Nachricht, wie unter Inhaltsart auswählen und Mailing-Inhalt bearbeiten beschrieben.
- Verbinden Sie den A/B-Test-Knoten mit den Nachrichtenknoten.
- Klicken Sie an den ausgehenden Verbindungen auf Eigenschaften .
- Legen Sie fest, an wie viele Empfänger das Split-Mailing versendet werden soll.
- Prozent. Geben Sie den prozentualen Anteil der Empfänger an, die das Split-Mailing erhalten sollen.
Note
Die Summe der Prozentangaben in allen ausgehenden Verbindungen muss 100 Prozent betragen.
- Empfänger. Geben Sie die Anzahl der Empfänger an, die das Split-Mailing erhalten sollen.
- Keine Einschränkung. Wählen Sie diese Option, wenn Sie die Empfängeranzahl nicht einschränken möchten.
Note
Sie können diese Option nur für eine ausgehende Verbindung wählen.
Tip
Wenn Sie beim ersten Split-Mailing beispielsweise 20 % eingeben und beim zweiten Split-Mailing Keine Einschränkung auswählen, wird das zweite Split-Mailing an die übrigen 80 % der Empfänger versendet.
- Klicken Sie auf Speichern und schließen.
- Um den A/B-Test zu aktivieren und den Versand der Split-Mailings zu starten, wählen Sie das Mailing in der Transaktions-Mail-Übersicht aus und klicken Sie auf Starten.
Tip
Um in Deep Analytics Reports über die einzelnen Split-Mailings zu konfigurieren oder Zielgruppen für die Segmentierung zu erstellen, wählen Sie den Mailing-Typ Transaktions-Nachricht aus.
A/B-Test in Mailings Classic
Ein Split-Mailing in Mailings Classics ist eine Variante eines regulären Mailings, die von diesem abgespalten (gesplittet) wird. Jedes Split-Mailing kann wie ein reguläres Mailing bearbeitet werden und daher ganz anders aussehen als das Haupt-Mailing.
Note
Ein Split-Mailing ist immer mit einem Haupt-Mailing verknüpft, selbst wenn das Haupt-Mailing in einen anderen Ordner verschoben wird.
Um Split-Mailings in Mailings Classics zu erstellen, gehen Sie wie folgt vor:
- Wählen Sie im Fenster Mailings in der Mailing-Übersicht das gewünschte Mailing aus (Haupt-Mailing bezeichnet) und klicken Sie auf Split-Versand. Das Fenster Split-Versand öffnet sich.
- Sie haben zwei Optionen:
- Klicken Sie auf Split hinzufügen (Haupt-Mailing), um eine Kopie mit den gleichen Inhalten des Haupt-Mailings zu erstellen. Nutzen Sie diese Option, wenn Sie nur kleine Änderungen oder Variationen des Haupt-Mailings vornehmen möchten.
- Klicken Sie auf Split hinzufügen (neues Mailing), um ein neues Mailing ohne Inhalt anzulegen. Fügen Sie Inhalte hinzu, wie im Kapitel Mailings Classics beschrieben.
Im Bereich Splits sehen Sie die neuen Splits sowie bestehende Splits des ausgewählten Haupt-Mailings. Einige Parameter können Sie im Bereich Split im Fenster Splitversand bearbeiten, darunter:
- Name. Dieser Name wird intern verwendet. Standardmäßig erhält der Split den gleichen Namen wie das Haupt-Mailing.
- Betreff. Um verschiedene Betreffzeilen gegeneinander zu testen, geben Sie hier Ihre Varianten ein.
- Maximale Anzahl Empfänger. Legen Sie fest, an wie viele Empfänger der Split versendet werden soll (bezogen auf die Empfänger des Haupt-Mailings, als absolute Zahlen oder als Prozentwert). Siehe Empfänger.
- Zielgruppen. Wählen Sie bis zu drei Zielgruppen für den Split aus. Siehe Zielgruppen.
- Versanddatum. Legen Sie das Versanddatum jedes einzelnen Splits fest. Siehe Versandreihenfolge.
- Klicken Sie auf Einstellungen speichern. Der Split erscheint in der Liste Ihrer Mailings. Splits erscheinen eingerückt unter dem Haupt-Mailing, aus dem sie erstellt wurden. Sie sind in der Spalte Typ als Split bezeichnet.
Empfänger
Um einen A/B-Test durchzuführen, bei dem aus zwei Splits A und B der beste ausgewählt und als Haupt-Mailing verschickt wird, werden Sie die Splits i. d. R. an einen kleinen Teil der Empfänger verschicken. Sie können dazu für jeden Split einen Absolutwert oder einen Prozentwert von Empfängern festlegen, an die er versendet wird. Wenn Sie einen Prozentwert angeben, dient immer die berechnete Empfängerzahl des Haupt-Mailings als Grundlage.
Für die Auswahl einer Teilmenge von Empfängern aus einer Empfängerliste:
- Prozent. Geben Sie im Feld Maximale Empfängerzahl einen Prozentwert an. Die Empfängerzahl wird basierend auf der Empfängerzahl des Haupt-Mailings berechnet.
Sie können auch einen Absolutwert angeben. Sofern der Split eine entsprechende Anzahl von Empfängern erhält, wird er an genau diese Zahl verschickt.
- Zufall. Die Empfänger werden zufällig aus der Liste ausgewählt. Wenn Sie diese Option nicht wählen, werden E-Mails an Split-Empfänger entsprechend der Listenreihenfolge geschickt.
In beiden Fällen werden Empfänger, die einen Split erhalten haben, nicht ein weiteres Mal angeschrieben. Auch Empfänger, die in mehreren Listen stehen, werden nur einmal beschickt. Optimizely Campaign gleicht beim Versenden alle E-Mail-Adressen ab und stellt sicher, dass jeder Empfänger nur eine E-Mail erhält (Split oder Haupt-Mailing).
Empfängerlisten
In den meisten Fällen werden für Haupt-Mailing und Split dieselbe(n) Empfängerliste(n) verwendet. Sie können jedoch in einem Split auch andere Empfängerlisten angeben als die des Haupt-Mailings. Die Berechnung der Empfängerzahl erfolgt immer auf Basis der Empfängerliste des Haupt-Mailings.
Wenn Sie für das Haupt- und das Split-Mailing unterschiedliche Empfängerlisten verwenden möchten, müssen Sie im Fenster Split-Versand in der Drop-down-Liste Automatische Auswahl des besten Splits für das Haupt-Mailing die Option Aus wählen.
Wenn Sie unterschiedliche Empfängerlisten in Verbindung mit empfängerdatenbasierten Zielgruppen verwenden, beachten Sie mögliche Konflikte zwischen den verschiedenen Empfängerlisten. Lesen Sie mehr unter Zielgruppen.
Empfängerberechnung
Die Gesamtzahl der Empfänger (Haupt-Mailing und Splits) wird vor jedem Versand – auch einzelner Splits – berechnet. Das folgende Schema verdeutlicht die Berechnung der Teilmengen und der Gesamtmenge der Empfänger während des Versands.
Empfängerberechnung
- Das Zeichen bedeutet, dass eine Teilmenge aus der Gesamtmenge gebildet wird.
- Ist ein prozentualer Wert für die Empfängerzahl des Splits angegeben, kann es zu Abweichungen zwischen den einzelnen Splits kommen, weil Abbestellungen und Bounce-Overflows jeweils berücksichtigt werden. Dies verringert die mögliche Gesamtempfängerzahl und die daraus berechneten Prozentwerte.
- Die Anzahl der möglichen Empfänger berücksichtigt die Zielgruppen des Haupt-Mailings. Enthält eine Zielgruppe mit der Empfängerliste des Haupt-Mailings weniger Treffer als die gleiche Zielgruppe mit der Empfängerliste des Splits, dann werden nur so viele Empfänger angeschrieben, wie für die Zielgruppe und Empfängerliste des Haupt-Mailings berechnet wurden.
- Wird während des Versendens eines Splits bereits die mögliche Gesamtempfängerzahl erreicht, werden alle nachfolgenden Splits und das Haupt-Mailing an keinen Empfänger verschickt (siehe Beispiel 1 und Beispiel 2).
Zielgruppen
Zielgruppen, die Sie im Haupt-Mailing verwenden, werden an die Split-Mailings vererbt. Sie können in Split-Mailings weitere Zielgruppen verwenden, indem Sie sie per UND-Logik mit den Zielgruppen des Haupt-Mailings verknüpfen.
Die Treffer einer Zielgruppe mit der Empfängerliste des Haupt-Mailings bestimmen zudem die maximal mögliche Anzahl der Empfänger dieser Zielgruppe. Enthält die Empfängerliste eines Splits mehr zutreffende Empfänger für diese Zielgruppe, werden dennoch nur so viele Empfänger angeschrieben, wie zuvor über die Zielgruppe und die Empfängerliste des Haupt-Mailings berechnet wurden.
Note
Haupt-Mailing vs. Split-Zielgruppen
Verwenden Sie im Haupt-Mailing und Split keine Zielgruppen, die sich gegenseitig ausschließen (z. B. Männer und Frauen), da Sie sonst keine Empfänger für den Split erhalten.
Beachten Sie, dass Zielgruppen, die empfängerbasierte Kriterien verwenden, nur dann zutreffen können, wenn das entsprechende Kriterium als Listenfeld in der Empfängerliste definiert ist. Wenn Sie im Split eine andere Empfängerliste als im Haupt-Mailing verwenden, muss diese genauso wie die Liste des Haupt-Mailings aufgebaut sein - oder wenigstens die in der Zielgruppe des Haupt-Mailings verwendeten Listenfelder in der Empfängerliste des Split vorhanden sein. Die Bezeichnung der entsprechenden Listenfelder muss exakt übereinstimmen, einschließlich Groß- und Kleinschreibung.
Beispiel
Wird im Haupt-Mailing eine Zielgruppe mit dem Kriterium Alle Empfänger mit dem Interesse "Fußball" verwendet, müssen sowohl die Empfängerlisten des Haupt-Mailings als auch des Splits ein entsprechendes Feld enthalten, beispielsweise Interests.
Versand
Um einen Split im Fenster Split-Versand zu starten, klicken Sie auf Split starten oder aktivieren Sie das Kontrollkästchen unter Versanddatum und geben Sie im Kalender einen Zeitpunkt für den Versand ein.
Versandreihenfolge
Verändern Sie die Reihenfolge der Splits im unteren Bereich des Fensters Split-Versand mit den Pfeiltasten rechts neben jedem Split. Splits eines Haupt-Mailings stehen in einer Hierarchie, die durch die Reihenfolge der Splits in der Liste bestimmt wird. Diese Split-Hierarchie wird bei der Berechnung der Empfänger aller Splits und des Haupt-Mailings angewendet.
Note
Split-Hierarchie vs. Versandreihenfolge
Wenn Sie einzelne Splits manuell starten, bleibt die Split-Hierarchie unabhängig von der Versandreihenfolge bestehen. Wird beispielsweise der letzte Split in der Liste zuerst verschickt, werden die Empfänger für alle Splits und Haupt-Mailings zunächst entsprechend der Split-Hierarchie berechnet und dann der Versand des Splits gestartet.
Dies kann dazu führen, dass ein Split, obwohl zuerst gestartet, an weniger Empfänger als vorgesehen oder an gar keinen Empfänger verschickt wird. Der Grund ist, dass Splits, die in der Liste weiter oben stehen, bereits die Gesamtzahl der möglichen Empfänger zugeteilt bekommen haben und für den untergeordneten Split keine Empfänger mehr übrig bleiben. Weitere Informationen erhalten Sie unter Split-Mailing-Beispiele.
Wird der Split-Versand automatisch gestartet, werden die Split-Mailings in der Reihenfolge der Split-Hierarchie verschickt.
Haupt-Mailing optimieren und versenden
Mit dem A/B-Test können Sie die Performance jedes Splits analysieren und die Variante Ihres Mailings versenden, das die beste Performance hatte.
Optimizely Campaign bietet Ihnen aber auch die Möglichkeit einer automatischen Optimierung. Um sie zu aktivieren, wählen Sie einen der folgenden Messwerte aus der Drop-down-Liste Automatische Auswahl des besten Splits für das Haupt-Mailing aus. Dieser Messwert bestimmt, welcher Split für das Haupt-Mailing verwendet werden soll.
Note
Welchen Messwert Sie zur Optimierung Ihres Mailings benutzen, hängt u. a. von der Art des Mailings, von der Qualität Ihrer Empfängerlisten und natürlich vom Ziel Ihrer Marketingmaßnahme ab.
- Beste unique Öffnungsrate. Split, der von den meisten Empfängern geöffnet wurde (prozentual).
- Beste unique Klickrate. Split, der die meisten Klicks von einzelnen Empfängern erzeugt hat (prozentual).
- Beste effektive Klickrate. Split mit dem besten Verhältnis von unique Öffnungen und unique Klicks gewählt.
- Niedrigste unique Abbestellrate. Split, der die wenigsten Abbestellungen von einzelnen Empfängern erzeugt hat (prozentual).
- Höchster Umsatz. Split, der den höchsten Umsatz generiert hat. Diese Option liefert nur dann sinnvolle Werte, wenn Ihr Mandant für Post-Click-Tracking konfiguriert ist. Andernfalls erhalten alle Splits den Wert "0".
- Niedrigste Bounce-Rate. Split, der prozentual die wenigsten Rückläufer erzeugt hat.
Um das Haupt-Mailing zu starten, stehen Ihnen drei Optionen zur Verfügung.
- Wenn Sie das Haupt-Mailing manuell starten wollen, lassen Sie die Kontrollkästchen leer. Wählen Sie bei der Bearbeitung des Mailings im Reiter Optionen die Standardoption Mailing speichern und später manuell starten.
- Versanddatum des Haupt-Mailings. Geben Sie über das Kalender-Interface einen genauen Zeitpunkt für den Versand des Haupt-Mailings an und aktivieren Sie das Kontrollkästchen. Wählen Sie diese Option, wenn Sie beispielsweise Ihren Newsletter immer zu einem bestimmten Termin versenden.
- Verzögerung für den automatischen Start des Haupt-Mailings nach Beendigung aller Splits. Geben Sie hier eine Zeitspanne ein, die zwischen dem Versand des letzten Splits und dem Versand des Haupt-Mailings liegen soll. Klicken Sie zur Aktivierung das Kontrollkästchen an.
Tip
Nutzen Sie diese Option, wenn Sie den Split mit der besten Öffnungs- und Klickrate ermitteln möchten, da nicht alle Empfänger ihre E-Mails sofort abrufen und klicken.
Split-Mailing-Beispiele
Die folgenden Beispiele dienen dem besseren Verständnis des Split-Moduls und zeigen die Empfängerberechnung mit den sich daraus ergebenden Besonderheiten. Sie veranschaulichen die Hierarchien und Abhängigkeiten von Haupt-Mailing und Split.
In allen Beispielen wird davon ausgegangen, dass die Empfänger gültig sind: keiner ist gesperrt, hat abbestellt oder das Bounce-Limit überschritten.
Beispiel 1
Haupt-Mailing und Splits werden an dieselbe Empfängerliste verschickt. Im Haupt-Mailing ist eine Beschränkung der Empfängerzahl festgelegt. Bei den Splits handelt es sich um ein A/B-Testing (Split A gegen Split B) mit verschiedenen Zielgruppen. Die verwendete Empfängerliste enthält 100 Empfänger (40 Männer, 40 Frauen, 20 ohne Angabe des Geschlechts).
Mailing | Empfängerliste | Max. Empfängerzahl | Zielgruppe | Versendete E-Mails |
|---|---|---|---|---|
Haupt-Mailing | A | 28 % (= 28 Empfänger) | – | 0 |
Split 1 | A | – | Männer | 28 |
Split 2 | A | – | Frauen | 0 |
Ergebnis: Die Gesamtempfängerzahl, die im Haupt-Mailing festgelegt ist, wird bereits während des Versendens von Split 1 erreicht. Split 2 und Haupt-Mailing versenden daher keine Mails.
Beispiel 2
Haupt-Mailing und Splits werden an unterschiedliche Empfängerlisten verschickt. Im Haupt-Mailing ist eine Beschränkung der Empfängerzahl festgelegt. Die Empfängerliste A (Haupt-Mailing) enthält 200 Empfänger (60 Männer, 60 Frauen, 80 ohne Angabe des Geschlechts), die Empfängerliste B (Splits) enthält 100 Empfänger (40 Männer, 40 Frauen, 20 ohne Angabe des Geschlechts).
Mailing | Empfängerliste | Max. Empfängerzahl | Zielgruppe | Versendete E-Mails |
|---|---|---|---|---|
Haupt-Mailing | A | 28 % (= 56 Empfänger) | – | 0 |
Split 1 | B | – | Männer | 40 |
Split 2 | B | – | Frauen | 16 |
Ergebnis: Die Empfängerliste A und die Empfängerzahlbeschränkung des Haupt-Mailings bestimmen die Anzahl der möglichen Empfänger. Split 1, der nur an Männer verschickt wird und keine Empfängerzahlbegrenzung besitzt, wird an alle männlichen Empfänger der Liste B verschickt. Split 2 wird anschließend an 16 weibliche Empfänger derselben Liste verschickt. Damit ist die Gesamtempfängerzahl erreicht.
Beispiel 3
Haupt-Mailing und Splits werden an dieselbe Empfängerliste verschickt. Die Empfängerliste A enthält 100 Empfänger (20 Männer, 20 Frauen, 60 ohne Angabe des Geschlechts). Es werden 3 Splits angelegt.
- Split 1 erhält als Zielgruppe "Männer"
- Split 2 "Frauen"
- Split 3 erhält als Zielgruppe "Männer" ODER "Frauen" (Es muss also ein Geschlecht angegeben sein).
Das Haupt-Mailing wird mit keiner Zielgruppe belegt. Beim Versenden wird Split 3 zuerst verschickt.
Mailing | Empfängerliste | Max. Empfängerzahl | Zielgruppe | Versendete E-Mails |
|---|---|---|---|---|
Haupt-Mailing | A | – | – | 60 |
Split 1 | A | 10 % | Frauen | 10 |
Split 2 | A | 10 % | Männer | 10 |
Split 3 | A | 10 % | keine Angabe des Geschlechts | 0 |
Ergebnis: Während die beiden ersten Zielgruppen Teilmengen der Haupt-Mailing-Zielgruppe sind, schließen sich die Zielgruppe von Split 3 und Haupt-Mailing gegenseitig aus, sodass der Split 3 an keinen Empfänger versendet wird. Um auch die Empfänger zu erreichen, die kein Geschlecht angegeben haben, müsste die Zielgruppe des Haupt-Mailings lauten: "Männer ODER Frauen ODER leeres Feld".