Untuk A/B test media sosial di banyak brand, gabungkan brand yang punya tipe audiens sama, pasangkan berpasangan, jalankan variabel yang sama di periode yang sama, lalu nilai tiap postingan terhadap median akunnya sendiri. Cara ini mengubah enam test kecil yang tidak membuktikan apa-apa jadi satu test yang benar-benar meyakinkan. Sisa artikel ini membahas detail operasionalnya.
TLDR: Satu akun jarang posting cukup banyak untuk membaca hasil test. Kelompokkan brand yang mirip ke dalam satu cell, bagi varian secara merata, normalisasi hasil ke median tiap akun, lalu terbitkan satu kesimpulan per test.
Kenapa test di satu brand saja mandek
Kebanyakan akun brand posting tiga sampai lima kali seminggu. Test yang adil butuh 8 sampai 10 postingan per varian, jadi satu akun perlu sebulan atau lebih per test, dan saat itu musimnya sudah berganti.
Noise jadi masalah lainnya. Di data Mydrop, separuh tengah postingan Instagram berkisar dari 1,1% sampai 6,7% engagement. Perbandingan dua postingan di satu akun hampir tidak pernah bisa melewati rentang itu.
Menggabungkan akun menyelesaikan keduanya: lima brand yang posting tiga kali seminggu memberimu 15 postingan per minggu untuk dibagi.
Rancang satu cell test
Cell adalah kelompok brand yang bisa dibandingkan secara adil.
| Keputusan | Aturan |
|---|---|
| Siapa yang masuk cell | Brand dengan tipe audiens dan campuran platform yang mirip |
| Varian | Dua, mungkin tiga, jangan lebih |
| Penempatan | Ganti varian per brand, supaya tiap brand menjalankan keduanya |
| Periode | Tanggal yang sama untuk semua brand di cell |
| Yang dijaga tetap | Format, slot, aturan hashtag, dan aturan link |
| Ukuran | Hasil postingan dibagi median akun tersebut |
Membagi dengan median tiap akun inilah yang bikin penggabungan tetap jujur. Akun kecil dengan 7% dan akun besar dengan 1% bisa duduk di test yang sama, karena keduanya diukur terhadap kondisi normalnya sendiri. Angka lintas akun Mydrop sendiri memakai pendekatan yang sama.
Jalankan region dan bahasa sebagai cell terpisah
Jangan campur akun Madrid dan akun Chicago dalam satu cell hanya demi memenuhi ukuran sampel. Bahasa, budaya, dan zona waktu mengubah apa yang berhasil. Jalankan satu cell per region, lalu bandingkan kesimpulannya, bukan angka mentahnya. Untuk test di 20 pasar atau lebih, lihat mengotomatiskan A/B test yang terlokalisasi.
Taruh semua test di satu kalender bersama
Dalam skala besar, kegagalan utamanya adalah dua tim menguji hal berbeda di akun yang sama pada saat bersamaan. Simpan satu kalender test yang mencantumkan tiap cell, variabel, dan periode, lalu beri tiap test satu penanggung jawab yang bisa menolak kalau ada bentrok.
Di Mydrop, kalender multi-brand memungkinkanmu melihat postingan terjadwal semua brand dalam satu tampilan dan memberi label pada postingan varian, sementara Workspace menjaga data dan izin tiap brand tetap terpisah walau pemilik test bisa melihat semuanya. Hasil per postingan ada di analytics, dan tampilan benchmark multi-profil membantumu membandingkan tiap akun dengan baseline-nya sendiri.
Apa yang tidak perlu diuji dalam skala besar
Jangan habiskan satu cell untuk tuas yang hampir tidak menggerakkan hasil. Di data Mydrop bulan September, jumlah hashtag menggeser median engagement paling banyak 5%, dan hari dalam seminggu hanya berselisih dalam 2% dari median. Cell itu mahal, jadi ujilah format, kalimat pembuka, penawaran, dan call to action.
Laporkan satu kesimpulan per test
Brand lead tidak mau dua belas grafik. Beri tiap test satu kesimpulan satu baris:
- Pemenang dan besarnya kenaikan terhadap median.
- Berapa banyak postingan dan brand yang jadi dasarnya.
- Apa yang berubah di playbook sebagai hasilnya.
Simpan kesimpulan itu di library bersama supaya brand baru bisa mulai dari yang sudah terbukti berhasil. Lihat library eksperimen yang bisa dipakai ulang.
Tiga masalah yang akan kamu temui di cell pertama
- Satu brand posting lebih sedikit dari yang lain. Bobot berdasarkan jumlah postingan, bukan jumlah brand, atau batasi kontribusi tiap brand supaya akun paling ramai tidak menentukan hasil.
- Ada brand yang punya acara khusus di tengah test. Tandai postingan itu dan keluarkan dari kesimpulan.
- Lead mendorong untuk berhenti lebih awal. Sepakati tanggal akhir di awal dan biarkan periodenya tuntas.
Aturan kecil dan sederhana seperti ini yang menjaga test gabungan tetap jujur.
Siapkan cell pertamamu bulan ini
Pilih tiga brand dengan audiens serupa, satu variabel, dan periode lima minggu. Jadwalkan postingannya di satu kalender dan tulis aturan kesimpulannya sebelum postingan pertama tayang. Untuk menyiapkan beberapa brand dalam satu workspace, mulai gratis di Mydrop.
Ulasan Google
Ulasan Trustpilot
Product Hunt comment
