בדיקת multi-armed bandit מציגה כמה וריאציות קריאייטיב בו-זמנית ומעבירה תקציב לכיוון זו שמנצחת, בזמן שהבדיקה עדיין רצה. בדיקת A/B רגילה מחכה לסוף ואז בוחרת. אם יש לך חלון השקה קצר ותקציב ממומן, ה-bandit מבזבז פחות כסף על המפסידות.
TLDR: תשתמש ב-bandit כשיש לך 3 וריאציות או יותר, תקציב ממומן וחלון של שבוע עד שבועיים. בחר מספר אחד כיעד, תֵן לכל וריאציה התחלה הוגנת, ותן לחלוקה לזוז רק אחרי שלכל אחת יש מספיק חשיפות. בפוסטים אורגניים, תשתמש באותו היגיון ככלל של "לחזור על מה שעובד", לא כבדיקה קפדנית.
מתי bandit מנצח בדיקת A/B, ומתי לא
השם מגיע ממכונות מזל: כל "זרוע" היא וריאציה, ואתה רוצה למצוא את הזרוע הטובה ביותר בלי לבזבז יותר מדי מטבעות על הרעות.
| מצב | בחירה טובה יותר |
|---|---|
| 2 וריאציות, זמן ארוך, אתה רוצה תשובה נקייה | בדיקת A/B |
| 3 עד 8 וריאציות, תקציב ממומן, השקה בעוד 10 ימים | Bandit |
| פוסטים אורגניים, בלי שליטה במי רואה מה | כלל "לחזור על מה שעובד" |
| מותג אחד, שוק אחד, נפח נמוך | מדלגים על בדיקות, מפרסמים ובודקים פעם בחודש |
bandit הוא כלי להוצאה, לא לתיאוריה של למידה. אם שום דבר לא על הכף בזמן שהבדיקה רצה, בדיקת A/B נותנת לך קריאה נקייה יותר.
בעיית הרעש שרוב צוותי הסושיאל פוגשים ראשונים
תוצאות בסושיאל רועשות. בנתונים של Mydrop, החצי האמצעי של פוסטים באינסטגרם נע בין 1.1% ל-6.7% שיעור מעורבות. וריאציה שמקבלת 4% ביום הראשון שלה היא לא מנצחת. אולי היא פשוט הוצגה לקהל חם יותר.
בגלל זה bandit צריך התחלה הוגנת. תֵן לכל וריאציה את אותו מינימום לפני שהחלוקה יכולה לזוז. כלל פתיחה טוב הוא 1,000 חשיפות לכל וריאציה, או שלושה ימים, לפי המאוחר מביניהם.
תוכנית bandit בארבעה שלבים לקמפיין אחד
- בחר מספר אחד. קליקים על קישור, שמירות, או עלות לתוצאה. לא "ביצועים". אם תבחר שלושה מספרים, תבחר את המנצח שכבר אהבת.
- בנה את הזרועות. שנה דבר אחד בכל זרוע: ההוק, התמונה הראשונה, או שורת ההצעה. ארבע זרועות זה מספיק בהחלט. שמונה זרועות דורשות יותר תקציב ממה שיש לרוב הצוותים.
- קבע את ההתחלה ההוגנת ואת כלל ההזזה. אחרי המינימום, הזז 20% מהתקציב מהזרוע החלשה לחזקה בכל יום. אף פעם אל תוריד זרוע לאפס בשבוע הראשון.
- כתוב את כלל העצירה לפני שאתה מתחיל. למשל: עצור כשזרוע אחת הובילה 3 ימים ברצף, או כשהחלון נגמר.
השאר נתח קטן של "חקירה", סביב 10% מהתקציב, על הזרועות החלשות עד הסוף. זה מגן עליך ממובילה מזליקית בהתחלה.
להריץ את זה בין מותגים בלי לערבב את הנתונים
תוצאת bandit תקפה רק לקהל שעליו היא נבדקה. הוק שמנצח למותג A בארה"ב יכול להפסיד למותג B בברזיל.
שלושה הרגלים שומרים על בדיקות רב-מותגיות ישרות:
- בדוק בתוך מותג ואזור, לא ביניהם. אסוף תוצאות רק אחרי שאתה רואה את אותו מנצח פעמיים.
- תן שם לכל וריאציה באותה שיטה. מותג, אזור, מזהה בדיקה, זרוע. כלל שמות חוסך שעות כשאתה קורא תוצאות.
- תעד את הבדיקה ביומן. אם הבדיקה לא נראית ליד הפוסטים שהיא משפיעה עליהם, מישהו יתזמן מעליה.
ב-Mydrop, כל מותג יושב ב-Workspace משלו עם יומן משלו, כך שבדיקה של מותג אחד נשארת על לוח הזמנים של אותו מותג. היומן הרב-מותגי מציג את כל הווריאציות כפוסטים מתוזמנים, והאנליטיקס לכל פלטפורמה נותן לך את המספר לשלב 1.
מה עושים עם פוסטים אורגניים
אי אפשר לפצל חשיפה אורגנית לזרועות נקיות, אבל אפשר לשאול את הרעיון. פרסם שתיים או שלוש גרסאות של אותו נושא בשבועות שונים, ואז השווה כל אחת לפוסט טיפוסי של החשבון. האנליטיקס של Mydrop מראה איך פוסט רץ לעומת החציון שלך, וזה סרגל מדידה הוגן יותר מספירת לייקים גולמית.
הכלל פשוט: חזור על המבנה שניצח את החציון שלך פעמיים, הוצא לגמלאות את זה שהפסיד פעמיים, והשאר מקום אחד בשבוע למשהו חדש.
מתחילים עם קמפיין קטן אחד השבוע
בחר את ההשקה הממומנת הבאה שלך, בחר שלושה הוקים, ורשום את המספר האחד, ההתחלה ההוגנת וכלל העצירה בפתק אחד ביומן. הרץ את זה פעם אחת. אחרי זה תדע אם הנפח שלך גבוה מספיק ל-bandits, או אם בדיקת A/B פשוטה מתאימה יותר. אפשר לתכנן את הפוסטים ולראות את התוצאות במקום אחד עם חשבון Mydrop חינמי.
ביקורת גוגל
ביקורת Trustpilot
Product Hunt comment
