Un test A/B pe site împarte vizitatorii la întâmplare între două variante ale aceleiași pagini și compară cât de des fac aceștia acțiunea urmărită, de exemplu o comandă sau trimiterea unui formular. Rezultatul este de încredere doar dacă fiecare variantă a primit suficienți vizitatori și dacă testul a rulat cel puțin o săptămână completă. Cu trafic mic, diferențele observate sunt de cele mai multe ori întâmplătoare.
Cum funcționează un test A/B?
Un test A/B funcționează prin compararea unei variante de control (A) cu o variantă modificată (B), afișate simultan unor grupuri de vizitatori alese aleatoriu. Pentru că cele două grupuri sunt expuse în aceeași perioadă, factorii externi, precum ziua săptămânii sau o campanie în desfășurare, le afectează la fel. Diferența dintre ele poate fi atribuită astfel modificării testate.
Regula de bază este o singură modificare importantă pe test: un titlu, un buton, o ofertă. Când se schimbă cinci lucruri deodată, un rezultat bun nu mai arată care dintre ele a contat.
De câți vizitatori are nevoie un test A/B?
Numărul de vizitatori necesar depinde de rata de conversie actuală și de mărimea diferenței care trebuie detectată: cu cât diferența căutată este mai mică, cu atât este nevoie de mai mult trafic. O aproximare folosită frecvent, pentru un prag de încredere de 95% și o putere statistică de 80%, este: vizitatori pe variantă ≈ 16 × p × (1 − p) / d², unde p este rata de conversie actuală, iar d este diferența absolută căutată.
| Rata de conversie actuală | Creștere de detectat (relativă) | Vizitatori pe variantă, aproximativ |
|---|---|---|
| 1% | 20% (de la 1% la 1,2%) | circa 40.000 |
| 3% | 20% (de la 3% la 3,6%) | circa 13.000 |
| 3% | 10% (de la 3% la 3,3%) | circa 52.000 |
| 10% | 20% (de la 10% la 12%) | circa 3.600 |
| 10% | 10% (de la 10% la 11%) | circa 14.400 |
Cifrele arată de ce site-urile mici nu pot testa detalii fine. O pagină cu câteva sute de vizite pe lună poate testa doar schimbări mari, nu nuanțe de culoare ale unui buton.
Cât timp trebuie să ruleze un test A/B?
Un test A/B rulează până atinge numărul de vizitatori calculat dinainte, dar nu mai puțin de o săptămână completă, iar de preferat două. Comportamentul vizitatorilor diferă între zilele lucrătoare și weekend, iar un test oprit după trei zile poate reflecta doar un tip de public.
La celălalt capăt, testele care durează mai mult de 6–8 săptămâni sunt afectate de alte schimbări: sezon, campanii, ștergerea fișierelor cookie de către vizitatori. Dacă traficul nu permite încheierea testului în acest interval, ipoteza trebuie reformulată pentru o diferență mai mare.
Ce greșeli dau rezultate false într-un test A/B?
- Oprirea testului imediat ce apare un câștigător: verificarea zilnică și oprirea la primul rezultat „semnificativ” crește mult șansa unui rezultat fals.
- Împărțirea inegală a traficului: dacă varianta B primește vizibil mai mulți sau mai puțini vizitatori decât s-a setat, testul are o eroare tehnică și rezultatul nu se folosește.
- Prea multe variante deodată: fiecare variantă în plus împarte traficul și mărește durata.
- Măsurarea unui indicator greșit: clicurile pe un buton pot crește în timp ce vânzările scad.
- Testarea în paralel a unor modificări pe aceeași pagină: efectele se amestecă.
Ce elemente de pe site merită testate întâi?
Primele teste se fac pe paginile cu cel mai mult trafic și cel mai aproape de decizia de cumpărare: pagina principală a unei oferte, coșul, formularul de contact. Acolo, o schimbare mică produce cel mai repede o diferență măsurabilă. Formularul este adesea primul candidat, iar elementele care îl fac să aducă cereri reale sunt descrise în articolul despre pagina de contact și formularul unei firme.
Ideile de test vin cel mai bine din date, nu din preferințe: paginile cu mulți vizitatori și puține conversii, câmpurile la care formularul este abandonat. Modul de citire a acestor date este explicat în ghidul despre instrumentele de analiză web, iar ideile generale de îmbunătățire sunt adunate în articolul despre optimizarea site-ului de prezentare pentru conversii.
Cum se documentează rezultatul unui test A/B?
Fiecare test se notează într-un registru simplu: ipoteza, pagina, perioada, numărul de vizitatori pe variantă, rezultatul și decizia luată. Testele fără câștigător se notează și ele, pentru că arată ce nu influențează publicul site-ului și evită repetarea lor. Aceeași disciplină se aplică și la e-mail, unde subiectul mesajului este cel mai des testat element, alături de alte detalii din articolul despre newsletterul pe care clienții îl deschid.
