A/B-Tests über mehrere Brands hinweg: So klappt's auch im großen Stil

Um Social Media über viele Brands hinweg per A/B-Test zu testen, fasst du Brands mit ähnlicher Zielgruppe zu einem Test zusammen, bildest Paare, testest dieselbe Variable im selben Zeitraum und bewertest jeden Post am Median seines eigenen Accounts. So wird aus sechs kleinen Tests, die nichts beweisen, ein Test, der wirklich etwas zeigt. Der Rest dieses Beitrags ist das operative Kleingedruckte.

TLDR: Ein einzelner Account postet selten genug, um einen Test auszuwerten. Fasse ähnliche Brands zu einer Zelle zusammen, verteile die Varianten gleichmäßig darauf, normalisiere die Ergebnisse auf den Median des jeweiligen Accounts und veröffentliche ein Fazit pro Test.

Warum Tests mit nur einer Brand ins Stocken geraten

Die meisten Brand-Accounts posten drei- bis fünfmal pro Woche. Ein fairer Test braucht 8 bis 10 Posts pro Variante. Ein einzelner Account braucht also einen Monat oder mehr pro Test, und bis dahin hat sich die Saison längst gedreht.

Das Rauschen ist das zweite Problem. In den Daten von Mydrop reichte die mittlere Hälfte der Instagram-Posts von 1,1 % bis 6,7 % Engagement. Mit nur zwei Posts in einem einzigen Account schaffst du diesen Vergleich fast nie.

Bündeln löst beides: Fünf Brands, die dreimal pro Woche posten, geben dir 15 Posts pro Woche zum Aufteilen.

Eine Test-Zelle entwerfen

Eine Zelle ist eine Gruppe von Brands, die sich fair vergleichen lassen.

Entscheidung	Regel
Wer in eine Zelle kommt	Brands mit ähnlicher Zielgruppe und ähnlichem Plattform-Mix
Varianten	Zwei, vielleicht drei, nie mehr
Zuweisung	Varianten pro Brand abwechseln, damit jede Brand beide durchläuft
Zeitraum	Gleiche Daten für jede Brand in der Zelle
Konstant gehalten	Format, Slot, Hashtag-Regel und Link-Regel
Messung	Post-Ergebnis geteilt durch den Median des jeweiligen Accounts

Das Teilen durch den Median des jeweiligen Accounts macht das Bündeln ehrlich. Ein kleiner Account mit 7 % und ein großer mit 1 % können im selben Test sitzen, weil beide an ihrem eigenen Normal gemessen werden. Mydrops eigene accountübergreifende Zahlen nutzen dieselbe Idee.

Regionen und Sprachen als eigene Zellen führen

Pack einen Account aus Madrid und einen aus Chicago nicht in eine Zelle, nur um eine Stichprobengröße zu erreichen. Sprache, Kultur und Zeitzone verändern, was funktioniert. Führe eine Zelle pro Region und vergleiche dann die Fazits, nicht die rohen Zahlen. Für Tests über 20 oder mehr Märkte siehe lokalisierte A/B-Tests automatisieren.

Alle Tests auf einen gemeinsamen Kalender

Im großen Stil ist der häufigste Fehler, dass zwei Teams gleichzeitig unterschiedliche Dinge am selben Account testen. Führe einen einzigen Test-Kalender, der jede Zelle, Variable und jeden Zeitraum auflistet, und gib jedem Test einen Owner, der eine Kollision ablehnen kann.

In Mydrop siehst du mit einem Multi-Brand-Kalender alle geplanten Posts jeder Brand in einer Ansicht und kannst Varianten-Posts markieren. Workspaces halten Daten und Berechtigungen jeder Brand getrennt, während der Test-Owner alles im Blick behält. Ergebnisse pro Post findest du in den Analytics, und eine Benchmark-Ansicht über mehrere Profile hilft dir, jeden Account mit seinem eigenen Baseline zu vergleichen.

Was du im großen Stil nicht testen solltest

Verschwende keine Zelle an Stellschrauben, die die Ergebnisse kaum bewegen. In Mydrops September-Daten verschob die Anzahl der Hashtags das mittlere Engagement um höchstens 5 %, und der Wochentag lag innerhalb von 2 % um den Median. Zellen sind teuer, also teste Format, Einstiegszeile, Angebot und Call to Action.

Ein Fazit pro Test berichten

Brand-Verantwortliche wollen keine zwölf Diagramme. Gib jedem Test ein Fazit in einer Zeile:

• Gewinner und die Höhe des Lifts gegenüber dem Median.
• Auf wie vielen Posts und Brands es beruht.
• Was sich dadurch im Playbook ändert.

Speichere das Fazit in einer gemeinsamen Bibliothek, damit eine neue Brand auf dem aufbauen kann, was schon funktioniert hat. Siehe eine wiederverwendbare Experiment-Bibliothek.

Drei Probleme, die dir in der ersten Zelle begegnen

• Eine Brand postet weniger als die anderen. Gewichte nach Posts, nicht nach Brand, oder begrenze den Beitrag jeder Brand, damit nicht der aktivste Account das Ergebnis entscheidet.
• Eine Brand hat mitten im Test ein Sonderevent. Markiere diese Posts und schließe sie vom Fazit aus.
• Verantwortliche drängen auf einen frühen Abbruch. Leg das Enddatum vorher fest und lass den Zeitraum zu Ende laufen.

Kleine, unspektakuläre Regeln wie diese halten einen gebündelten Test ehrlich.

Richte deine erste Zelle diesen Monat ein

Wähle drei Brands mit ähnlichen Zielgruppen, eine Variable und einen Zeitraum von fünf Wochen. Plane die Posts in einem Kalender und schreib die Fazit-Regel, bevor der erste Post rausgeht. Um mehrere Brands in einem Workspace einzurichten, starte kostenlos auf Mydrop.