כדי לעשות בדיקות A/B בסושיאל על הרבה מותגים, מאחדים מותגים עם אותו סוג קהל, מתאימים אותם בזוגות, מריצים את אותו משתנה באותו חלון זמן, ושופטים כל פוסט לפי החציון של החשבון שלו. ככה שש בדיקות קטנות שלא מוכיחות כלום הופכות לבדיקה אחת שכן מוכיחה. את כל הפרטים התפעוליים תמצא בהמשך הפוסט.
TLDR: חשבון בודד כמעט אף פעם לא מפרסם מספיק כדי לקרוא בדיקה. מקבצים מותגים דומים לתא בדיקה, מפזרים את הווריאציות באופן שווה ביניהם, מנרמלים את התוצאות לחציון של כל חשבון, ומפרסמים מסקנה אחת לכל בדיקה.
למה בדיקות על מותג בודד נתקעות
רוב חשבונות המותג מפרסמים שלוש עד חמש פעמים בשבוע. בדיקה הוגנת צריכה 8 עד 10 פוסטים לכל וריאציה, כך שחשבון אחד צריך חודש או יותר לכל בדיקה, ועד אז העונה כבר התחלפה.
הרעש הוא הבעיה השנייה. בנתונים של Mydrop, החצי האמצעי של פוסטים באינסטגרם נע בין 1.1% ל-6.7% מעורבות. השוואה של שני פוסטים בחשבון בודד כמעט אף פעם לא תעבור את הטווח הזה.
איחוד פותר את שתי הבעיות: חמישה מותגים שמפרסמים שלוש פעמים בשבוע נותנים לך 15 פוסטים בשבוע לחלק.
איך בונים תא בדיקה
תא הוא קבוצה של מותגים שאפשר להשוות ביניהם בצורה הוגנת.
| החלטה | הכלל |
|---|---|
| מי נכנס לתא | מותגים עם סוג קהל דומה ותמהיל פלטפורמות דומה |
| וריאציות | שתיים, אולי שלוש, אף פעם לא יותר |
| שיוך | מחליפים וריאציות בין המותגים, כך שכל מותג מריץ את שתיהן |
| חלון זמן | אותם תאריכים לכל מותג בתא |
| נשאר קבוע | פורמט, סלוט פרסום, כלל האשטאגים וכלל קישורים |
| מדידה | תוצאת הפוסט חלקי החציון של אותו חשבון |
החלוקה בחציון של כל חשבון היא מה שעושה את האיחוד להוגן. חשבון קטן עם 7% וחשבון גדול עם 1% יכולים לשבת באותה בדיקה, כי שניהם נמדדים מול הנורמלי שלהם עצמם. גם המספרים החוצי-חשבוניים של Mydrop עצמה עובדים לפי אותו רעיון.
אזורים ושפות: כל אחד בתא נפרד
אל תערבב חשבון ממדריד וחשבון משיקגו באותו תא רק כדי להגיע לגודל מדגם. שפה, תרבות ואזור זמן משנים את מה שעובד. הריצו תא לכל אזור, ואז השוו מסקנות, לא מספרים גולמיים. לבדיקות על 20 שווקים ומעלה, ראו אוטומציה של בדיקות A/B מותאמות לשוק.
לוח בדיקות משותף אחד לכולן
בסקייל, הכשל העיקרי הוא שני צוותים שבודקים דברים שונים על אותו חשבון באותו זמן. נהלו לוח בדיקות אחד שמפרט כל תא, משתנה וחלון זמן, ותנו לכל בדיקה בעלים שיכול לומר לא כשיש התנגשות.
ב-Mydrop, לוח שנה לכמה מותגים מאפשר לראות את הפוסטים המתוזמנים של כל המותגים בתצוגה אחת ולתייג פוסטים של וריאציות, ו-Workspaces שומרים על הנתונים וההרשאות של כל מותג בנפרד בזמן שבעל הבדיקה רואה את כולם. תוצאות לכל פוסט נמצאות באנליטיקס, ותצוגת בנצ'מרק לכמה פרופילים עוזרת להשוות כל חשבון לקו הבסיס שלו עצמו.
מה לא כדאי לבדוק בסקייל
אל תבזבז תא על מנופים שכמעט לא מזיזים את התוצאות. בנתוני ספטמבר של Mydrop, מספר ההאשטאגים הזיז את חציון המעורבות ב-5% לכל היותר, ויום השבוע נשאר בטווח של 2% מהחציון. תאים יקרים, אז בדקו פורמט, שורת פתיחה, הצעה וקריאה לפעולה.
מסקנה אחת לכל בדיקה
מנהלי מותגים לא רוצים שנים-עשר גרפים. תנו לכל בדיקה מסקנה בשורה אחת:
- המנצח וגודל השיפור מול החציון.
- על כמה פוסטים וכמה מותגים היא נשענת.
- מה משתנה בפלייבוק כתוצאה מזה.
שמרו את המסקנה בספרייה משותפת כדי שמותג חדש יוכל להתחיל ממה שכבר עבד. ראו ספריית ניסויים לשימוש חוזר.
שלוש בעיות שתפגוש בתא הראשון
- מותג אחד מפרסם פחות מהאחרים. שקללו לפי פוסטים ולא לפי מותג, או הגבילו את התרומה של כל מותג כדי שהחשבון העמוס ביותר לא יחליט על התוצאה.
- למותג יש אירוע מיוחד באמצע הבדיקה. סמנו את הפוסטים האלה והוציאו אותם מהמסקנה.
- המנהלים לוחצים לעצור מוקדם. סכמו את תאריך הסיום מראש ותנו לחלון הזמן להסתיים.
כללים קטנים ומשעממים כאלה שומרים על בדיקה מאוחדת הוגנת.
הקימו את התא הראשון שלכם החודש
בחרו שלושה מותגים עם קהלים דומים, משתנה אחד וחלון זמן של חמישה שבועות. תזמנו את הפוסטים בלוח אחד וכתבו את כלל המסקנה לפני שהפוסט הראשון עולה. כדי להקים כמה מותגים ב-Workspace אחד, התחילו בחינם ב-Mydrop.
ביקורת גוגל
ביקורת Trustpilot
Product Hunt comment
