A/B-тесты сразу для нескольких брендов: как запускать их в масштабе

Чтобы проводить A/B-тесты в соцсетях сразу для многих брендов, объединяйте бренды с похожей аудиторией в группы, разбивайте их на пары, запускайте одну и ту же переменную в одном окне и оценивайте каждый пост по медиане его собственного аккаунта. Так шесть мелких тестов, которые ничего не доказывают, превращаются в один тест, который доказывает. Дальше в статье вся рабочая механика.

Коротко: Один аккаунт редко публикует достаточно, чтобы тест что-то показал. Соберите похожие бренды в ячейку, распределите варианты поровну между ними, приведите результаты к медиане каждого аккаунта и опубликуйте один вердикт на тест.

Почему тесты в рамках одного бренда буксуют

Большинство брендовых аккаунтов публикуют три-пять раз в неделю. Честному тесту нужно 8-10 постов на вариант, значит одному аккаунту понадобится месяц или больше на один тест, а за это время сезон уже сменится.

Шум это вторая проблема. По данным Mydrop, средняя половина постов в Instagram набирала от 1,1% до 6,7% вовлечённости. Сравнение двух постов в одном аккаунте почти никогда не пробьётся сквозь этот разброс.

Объединение решает обе задачи: пять брендов с тремя постами в неделю дают вам 15 постов в неделю, которые можно разделить.

Соберите тестовую ячейку

Ячейка это группа брендов, которые можно честно сравнивать.

Решение	Правило
Кто входит в ячейку	Бренды с похожей аудиторией и набором платформ
Варианты	Два, максимум три, никогда больше
Распределение	Чередуйте варианты между брендами, чтобы каждый бренд прогнал оба
Окно	Одни и те же даты для всех брендов в ячейке
Что не меняется	Формат, слот, правило хештегов и правило ссылок
Что измеряем	Результат поста, делённый на медиану этого аккаунта

Именно деление на медиану каждого аккаунта делает объединение честным. Маленький аккаунт с 7% и крупный с 1% могут оказаться в одном тесте, потому что оба измеряются относительно своей нормы. Собственные межаккаунтные цифры Mydrop устроены по той же логике.

Регионы и языки ведите как отдельные ячейки

Не смешивайте аккаунт из Мадрида и аккаунт из Чикаго в одной ячейке только ради размера выборки. Язык, культура и часовой пояс меняют то, что работает. Ведите отдельную ячейку на каждый регион, а потом сравнивайте вердикты, а не сырые цифры. Если тестов больше 20 рынков, смотрите автоматизацию локализованных A/B-тестов.

Сведите все тесты в один общий календарь

В масштабе главный провал это когда две команды одновременно тестируют разное в одном аккаунте. Ведите единый календарь тестов, где указаны каждая ячейка, переменная и окно, и назначайте каждому тесту ответственного, который может сказать «нет» при пересечении.

В Mydrop календарь для нескольких брендов показывает запланированные посты всех брендов в одном окне и позволяет помечать посты вариантов, а рабочие пространства держат данные и права каждого бренда отдельно, при этом ответственный за тест видит их все. Результаты по каждому посту лежат в аналитике, а обзор с бенчмарками по нескольким профилям помогает сравнить каждый аккаунт с его собственной базой.

Что не стоит тестировать в масштабе

Не тратьте ячейку на рычаги, которые почти не двигают результат. По сентябрьским данным Mydrop количество хештегов меняло медианную вовлечённость максимум на 5%, а день недели держался в пределах 2% от медианы. Ячейки дорогие, поэтому тестируйте формат, первую строку, оффер и призыв к действию.

Выносите один вердикт на тест

Лидам брендов не нужны двенадцать графиков. Дайте каждому тесту вердикт в одну строку:

• Победитель и размер прироста относительно медианы.
• На скольких постах и брендах это держится.
• Что меняется в плейбуке по итогу.

Храните вердикт в общей библиотеке, чтобы новый бренд стартовал с того, что уже сработало. Смотрите библиотеку повторяемых экспериментов.

Три проблемы, с которыми вы столкнётесь в первой ячейке

• Один бренд публикует меньше остальных. Взвешивайте по постам, а не по брендам, или ограничьте вклад каждого бренда, чтобы самый активный аккаунт не решал исход.
• У бренда посреди теста особое событие. Помечайте такие посты и исключайте их из вердикта.
• Руководство просит остановиться пораньше. Договоритесь о дате окончания заранее и дайте окну закрыться.

Такие мелкие скучные правила и держат объединённый тест честным.

Запустите свою первую ячейку в этом месяце

Выберите три бренда с похожей аудиторией, одну переменную и окно на пять недель. Запланируйте посты в одном календаре и напишите правило вердикта до выхода первого поста. Чтобы настроить несколько брендов в одном рабочем пространстве, начните бесплатно в Mydrop.