תארו לעצמכם מנהלת שיווק שמחליפה את הכפתור בדף הנחיתה מכחול לכתום. אחרי שבוע היא רואה שההמרות עלו מ-2.8 אחוז ל-3.4, שולחת הודעה מתרגשת להנהלה, ומחליפה את כל הקמפיינים לעיצוב החדש. שלושה שבועות אחר כך המספר חוזר ל-2.8. הכפתור לא עשה כלום. מה שעשה את הקפיצה היה סוף שבוע ארוך, שבו הגיעו לאתר אנשים עם כוונת קנייה גבוהה במיוחד.
זה הסיפור הנפוץ ביותר שאני שומע על בדיקות A/B. לא כי הכלי לא עובד, אלא כי רוב העסקים מריצים ניסוי בלי לדעת אם התוצאה שלו אמיתית. במדריך הזה אפרק איך בונים בדיקה שאפשר לסמוך עליה, כמה תנועה צריך כדי שיהיה בה טעם, מה כדאי לבדוק קודם, ואיפה העסק הממוצע מבזבז חודשים על ניסויים שלא מלמדים אותו כלום.
Pexels
מה זו בדיקת A/B ומה היא לא
בדיקת A/B היא ניסוי מבוקר: מראים לחצי מהגולשים את הגרסה הקיימת של הדף או המודעה, לחצי השני גרסה אחת שונה, ובודקים איזו מהשתיים מביאה יותר פעולות. הכל קורה במקביל, באותם ימים ובאותו מקור תנועה, ולכן אפשר לייחס את ההבדל לשינוי עצמו ולא לעונה, לחג או לתקציב.
זה גם מה שמבדיל בדיקה מ"החלפנו ובדקנו מה קרה". השוואה בין החודש שעבר לחודש הזה מערבבת עשרה משתנים. בדיקה מפרידה משתנה אחד מכל השאר.
ההבדל בין A/B, בדיקה רב-משתנית ובדיקת פיצול כתובות
שלושה מונחים שמתערבבים לעיתים קרובות:
- בדיקת A/B קלאסית משווה שתי גרסאות שנבדלות באלמנט אחד, למשל כותרת
- בדיקה רב-משתנית משלבת כמה שינויים בבת אחת ומחשבת איזה שילוב מנצח, ודורשת תנועה גדולה בהרבה
- בדיקת פיצול כתובות שולחת חלק מהגולשים לדף אחר לגמרי, שימושי כשמשווים שני עיצובים מלאים
לרוב העסקים שאני פוגש, בדיקה קלאסית אחת בכל פעם היא הבחירה הנכונה. היא הכי קלה לפירוש, והיחידה שהתנועה שיש להם מספיקה לה.
כמה תנועה צריך כדי שבדיקה תהיה שווה משהו
כאן נופלים רוב הניסויים, ואף אחד לא אוהב לדבר על זה. בדיקה על מעט מדי גולשים מייצרת רעש שנראה כמו תובנה.
דוגמה במספרים. דף נחיתה שממיר 3 אחוז, ואתם רוצים לזהות שיפור ל-3.6, כלומר עלייה יחסית של 20 אחוז. כדי להגיע לתוצאה שאפשר לסמוך עליה ברמת ביטחון של 95 אחוז, צריך בערך 13,000 גולשים בכל גרסה. זה 26,000 גולשים בסך הכל, לבדיקה אחת.
עכשיו תשוו לדף שמקבל 4,000 כניסות בחודש. הבדיקה הזו תרוץ יותר מחצי שנה, ובחצי שנה האתר, המחירים והמתחרים כבר ישתנו. במצב כזה אין טעם להריץ בדיקה על שינוי קטן, ועדיף לעשות שינוי גדול ולבדוק לפני ואחרי, בזהירות, או לבדוק במקום אחר שבו יש יותר נפח.
| אחוז המרה נוכחי | שיפור שרוצים לזהות | גולשים בכל גרסה (בערך) |
|---|---|---|
| 3% | 20% יחסית (3.6%) | 13,000 |
| 3% | 50% יחסית (4.5%) | 2,100 |
| 10% | 20% יחסית (12%) | 3,600 |
המספרים הם הערכה לפי נוסחת אצבע מקובלת, לא תחליף למחשבון של כלי הבדיקה. המסקנה שלהם חשובה יותר מהמספר המדויק: ככל שהשינוי הצפוי קטן יותר והמרה נמוכה יותר, צריך הרבה יותר תנועה.
מה בודקים קודם: סדר עדיפויות שחוסך חודשים
הטעות הפופולרית היא להתחיל מצבע הכפתור. זה הדבר הקל לשינוי, ולכן הוא נבדק ראשון, והוא כמעט אף פעם לא זה שמזיז את המחט. אני ממליץ לדרג רעיונות לפי שלוש שאלות: כמה זה קרוב לנקודת ההחלטה של הגולש, כמה זה שונה מהקיים, וכמה קל לבנות.
ההבטחה שבראש הדף
הכותרת וההצעה הראשית הן הדבר היחיד שכל גולש קורא. ניסוח אחר של התועלת, למשל "תקבלו הצעת מחיר תוך יום עבודה" מול "שירות מקצועי ואישי", יכול לשנות את התוצאה בעשרות אחוזים. זו הבדיקה הראשונה שכדאי לעשות כמעט בכל דף נחיתה.
הטופס
מספר השדות, סדרם, ועצם השאלה על טלפון. בעסקי שירות, טופס שמבקש שם וטלפון בלבד מביא בדרך כלל יותר פניות מטופס עם שבעה שדות, אבל הפניות פחות איכותיות. כאן בדיוק צריך להסתכל לא רק על כמות הלידים אלא על מה שקרה להם אחרי כן, וזה מה שמחבר את הבדיקה למעקב ההמרות ולטיפול בלידים.
הוכחה חברתית וסדר הדף
המלצות לקוחות מעל קפל המסך מול מתחתיו, לוגואים של לקוחות, דירוג כוכבים אמיתי. אלה שינויים בינוניים שכדאי לבדוק, אבל רק אחרי שההבטחה והטופס נבדקו.
מה לא שווה לבדוק כמעט אף פעם
גוון של כחול, ריווח של פיקסלים, אייקון מול אייקון אחר. אלה שינויים קטנים מדי בשביל התנועה של רוב העסקים, והבדיקות שלהם יסתיימו בלי מנצח. אם אין לכם עשרות אלפי כניסות בחודש, תחסכו את הזמן.
איך בונים ניסוי נכון, צעד אחר צעד
גם עם רעיון מצוין, ביצוע רשלני יהרוס את המסקנות. זה התהליך שאנחנו עובדים לפיו:
- מגדירים השערה ברורה, בנוסח "אם נחליף את הכותרת כך וכך, אחוז השארת הפרטים יעלה, כי הגולשים מחפשים מהירות". בלי "כי" אין מה ללמוד גם כשהבדיקה מנצחת.
- בוחרים מדד ראשי אחד לפני שמתחילים. פניות, רכישות, לחיצות על וואטסאפ. לא כולם ביחד, אחרת תמיד יימצא מדד שנראה טוב.
- מחשבים מראש כמה גולשים צריך ומה משך הבדיקה, ומתחייבים לא להפסיק לפני.
- מחלקים את התנועה באקראי, חצי חצי, ובודקים בטלפון ובמחשב שהשתי הגרסאות נטענות כמו שצריך.
- מריצים לפחות שבועיים מלאים, כדי לכסות את כל ימות השבוע. בסקטור שבו יש עונתיות, כולל חגים, יותר.
- קוראים את התוצאה רק בסוף, ומתעדים אותה, גם כשהיא מאכזבת.
הטעות הכי נפוצה: להציץ ולעצור באמצע
אחרי יומיים הגרסה החדשה מובילה ב-30 אחוז, וקשה לעמוד בפיתוי לסגור את הבדיקה ולהכריז על מנצח. הבעיה היא שבכל פעם שמסתכלים ובוחנים אם כבר "הגענו למובהקות", מעלים את הסיכוי לטעות. בנתונים מוקדמים הפערים מתנפחים באופן מלאכותי ומתכווצים כשהמדגם גדל. מי שעוצר ברגע שהגרף נראה טוב, מקבל בעיקר מזל.
בדיקה שנגמרת בלי מנצח היא עדיין תוצאה
הרבה בדיקות מסתיימות בהפרש שאינו מובהק. זה לא כישלון. זה אומר שהשינוי הזה לא משפיע מספיק כדי שנמדוד אותו, ושאפשר לעבור לרעיון גדול יותר. הכישלון האמיתי הוא לבחור גרסה "כי היא נראית יותר טוב" ולהציג את זה כתוצאה.
בדיקות A/B בקמפיינים ובמודעות
העיקרון זהה בדף נחיתה ובמודעה, אבל יש הבדלים מעשיים.
בגוגל אדס אפשר להריץ ניסויים על קמפיין שלם, למשל להשוות אסטרטגיית הצעות מחיר אחת לאחרת, עם חלוקת תקציב ותנועה מובנית. בפייסבוק ובאינסטגרם יש כלי ניסויים ייעודי במנהל המודעות. הוא מבטיח שאותו אדם לא יראה שתי גרסאות, בעיה שמתרחשת כשמשכפלים קבוצת מודעות ומפעילים את שתיהן במקביל, כי אז הן מתחרות זו בזו על אותו קהל במכרז.
במודעות כדאי לבדוק קודם את הזווית של הקריאייטיב, ורק אחר כך מילים. הצעת ערך מול הצעת ערך אחרת, סרטון מול תמונה, לקוח אמיתי מול איור. אחרי שמצאתם זווית מנצחת, אפשר לעדן ניסוחים. על הכתיבה של המודעות עצמן כתבתי בהרחבה במדריך על קריאייטיב למודעות.
איך מוודאים שהמדידה עצמה אמינה
בדיקה נבנית על נתונים, והנתונים צריכים להיות נכונים. לפני כל ניסוי, בדקו שהמרות נספרות פעם אחת בלבד, שדף התודה לא נטען מחדש בלחיצה על רענון, ושאותו ליד לא נספר גם בגוגל אדס וגם במטא. בעיות כאלה מעוותות את שתי הגרסאות, אבל לא תמיד באותה מידה, ולכן הן יכולות להפוך מנצח למפסיד. התהליך המלא של בדיקת מעקב המרות עדיף לסיים לפני שמתחילים להריץ ניסויים.
דבר שני הוא מהירות. גרסה כבדה יותר תפסיד כמעט תמיד, וזה לא קשור לעיצוב שלה. אם אתם בודקים עיצוב חדש עם גלריה כבדה, הפרש הטעינה יסתיר את התוצאה האמיתית. כדאי להתחיל משיפור מהירות האתר ורק אחר כך לבדוק עיצוב.
כלים להרצת בדיקות A/B
גוגל סגרה את Google Optimize בספטמבר 2023, והשאירה את השוק בלי כלי חינמי מובנה. מאז יש כמה מסלולים, ומה שמתאים תלוי בגודל התנועה והתקציב:
- כלים ייעודיים כמו VWO, Optimizely ו-AB Tasty, חזקים וגמישים, עם מחיר שמצדיק את עצמו בתנועה גבוהה
- תוספים לוורדפרס ובוני דפי נחיתה שמגיעים עם בדיקות מובנות, פשוטים יותר ומתאימים לרוב העסקים הקטנים והבינוניים
- הכלים המובנים של גוגל אדס ושל מטא, לבדיקות של קמפיינים ומודעות
הכלי חשוב פחות מהמשמעת. ראיתי עסקים עם כלי של אלפי דולרים בשנה שמריצים בדיקות גרועות, ועסקים עם תוסף זול שמשפרים בעקביות כל רבעון.
בדיקות A/B בוויראלי: איך זה נראה בעבודה שלנו
אצלנו בדיקות הן חלק מבניית דפי נחיתה וניהול קידום ממומן, לא תוספת אחרי. אנחנו מתחילים מבדיקת המדידה, בוחרים את ההשערה עם הנתונים הקיימים ולא עם תחושת בטן, ומתעדים כל ניסוי בדוח חודשי שמסביר מה למדנו, כולל מה לא עבד. כשהתנועה לא מספיקה לבדיקה, אנחנו אומרים את זה ומציעים דרך אחרת לשפר.
לעסקים שלא בטוחים מאיפה להתחיל, ביקורת שיווק היא נקודת פתיחה טובה, כי היא מראה איפה הדליפה הגדולה ביותר במשפך לפני שמשקיעים בבדיקות קטנות.
שאלות נפוצות על בדיקות A/B
כמה זמן צריך להריץ בדיקת A/B
לפחות שבועיים מלאים, ועד שהגעתם למספר הגולשים שחישבתם מראש. בדיקה של שלושה ימים כמעט תמיד מטעה, כי היא לא מכסה את כל ימות השבוע ואת הגולשים שמגיעים בסופי שבוע.
מה עושים כשאין מספיק תנועה לבדיקה
בוחרים שינוי גדול יותר ולא קטן, כי שינוי גדול נמדד עם פחות גולשים. אפשר גם להריץ את הבדיקה על מקור תנועה עם נפח גבוה, למשל המודעה שמקבלת הכי הרבה קליקים, או לאסוף נתוני התנהגות במקום ניסוי, כמו מפות חום והקלטות גולשים.
האם אפשר לבדוק כמה דברים במקביל
על אותו דף ואותו קהל, לא. שינויים חופפים מערבבים את התוצאות ואי אפשר לדעת מה עבד. כן אפשר לבדוק דברים שונים בדפים שונים, או בקהלים שאינם חופפים.
מה זו מובהקות סטטיסטית
הסיכוי שההפרש שמדדתם הוא לא מקרי. רמת ביטחון של 95 אחוז פירושה שבאחד מכל עשרים ניסויים בערך תקבלו "מנצח" שאינו אמיתי. לכן חשוב לא להריץ עשרות בדיקות קטנות ולהאמין לכל מי שיצא טוב.
האם בדיקות A/B פוגעות ב-SEO
בדרך כלל לא, אם עושים את זה נכון. גוגל אומרת שבדיקה זמנית לא פוגעת בדירוג, בתנאי שלא מציגים לרובוט תוכן שונה מזה שרואה הגולש, ושמשתמשים בהפניה זמנית ולא קבועה כשמפצלים כתובות. מסיימים את הבדיקה, מטמיעים את המנצח ומורידים את השאר.
מאיפה מתחילים
שלושה צעדים לשבוע הקרוב. הראשון, לבדוק כמה כניסות ושליחות טופס יש לדף הנחיתה החשוב ביותר שלכם בחודש, ולחשב אם יש מספיק נפח לבדיקה. השני, לכתוב שלוש השערות עם "כי", ולדרג אותן לפי כמה הן קרובות להחלטה של הגולש. השלישי, לוודא שההמרה נספרת נכון, כי בלי זה כל מה שיבוא אחר כך לא שווה.
ואם אתם רוצים שמישהו יסתכל על הדפים והקמפיינים שלכם, ויגיד מה שווה לבדוק קודם ומה לא שווה לגעת בו, מוזמנים לתאם שיחת ייעוץ.