Ai 400 de vizitatori pe lună. Testul A/B nu e pentru tine

Un magazin online din Sibiu a pornit în martie un test pe butonul de finalizare a comenzii. În august rula încă. Între timp proprietarul schimbase și textul paginii de produs, și fotografiile, așa că nimeni nu mai știa ce măsoară testul acela. Este exact tiparul descris în articolul despre greșelile care fac ca jumătate din teste să nu spună nimic util, dus însă mai departe de o cauză care ține de volum, nu de metodă.

Situația nu e rară. Sfatul „testează tot” circulă în marketing de ani buni, dar el vine din companii care primesc milioane de vizite lunar. Un site de firmă din România primește, de regulă, între trei sute și cinci mii de vizitatori pe lună. La volumele astea, un test A/B nu îți dă un răspuns greșit. Îți dă, mult mai des, niciun răspuns.

Testul nu are nevoie de vizitatori, are nevoie de conversii

Aici stă neînțelegerea de bază. Instrumentele de testare numără vizitatori, pentru că vizitatorii se împart ușor în două grupuri. Statistica din spate numără însă altceva: câte conversii adună fiecare variantă. Iar conversiile sunt cu două ordine de mărime mai puține decât vizitatorii.

Ia un caz concret. Un site cu 400 de vizitatori pe lună și o rată de conversie de 2% adună opt cereri lunar. Împărțite pe două variante, fiecare rămâne cu patru. Ca să distingi cu o încredere rezonabilă o rată de 2% de una de 2,4%, ai nevoie de câteva mii de conversii pentru fiecare variantă. Nu de câteva mii de vizitatori. De conversii. La ritmul de mai sus, testul s-ar închide cândva după pensionare.

Calculatorul de mai jos face socoteala pe cifrele tale, folosind formula uzuală de mărime a eșantionului pentru o putere statistică de 80%.

Ce faci în locul testului, când traficul e mic

Vestea bună e că lipsa testelor nu înseamnă lipsa deciziilor. Înseamnă doar că sursa deciziei se mută de la statistică la observație directă. La trafic mic, observația directă e chiar mai rapidă.

Urmărește unde se opresc oamenii, nu ce declară

Înregistrările de sesiuni (session recordings) și hărțile termice (heatmaps) nu au nevoie de semnificație statistică. Douăzeci de înregistrări urmărite cu atenție îți arată dacă vizitatorii ratează butonul, dacă se blochează la câmpul de cod poștal sau dacă părăsesc pagina exact acolo unde apare costul livrării. Nu e o dovadă, e un indiciu. La trafic mic, un indiciu bun bate un test care nu se termină.

Vorbește cu cinci clienți, nu cu o mie

Sună neserios și totuși funcționează. Sună cinci oameni care au cumpărat luna trecută și cinci care au cerut ofertă și nu au mai revenit. Întreabă-i ce căutau înainte să ajungă la tine și ce i-a făcut să ezite. Un atelier din Cluj-Napoca a aflat astfel că formularul lui cerea codul fiscal încă din primul pas, iar jumătate dintre cei care sunau erau persoane fizice. Niciun test A/B nu ar fi explicat vreodată de ce.

Schimbă lucruri mari, nu nuanțe

Cu cât diferența dintre variante e mai mare, cu atât ai nevoie de mai puține conversii ca să o observi. Culoarea butonului produce diferențe de fracțiuni de procent, deci rămâne invizibilă sub cinci mii de vizitatori. Rescrierea completă a paginii, eliminarea a patru câmpuri din formular sau afișarea costului de livrare încă de la primul pas produc diferențe pe care le vezi cu ochiul liber în raportul lunar.

Compară perioade, nu variante

Nu poți rula două variante simultan, dar poți compara luna aceasta cu aceeași lună de anul trecut, atât timp cât nu schimbi zece lucruri deodată. Metoda are un defect cunoscut, sezonalitatea, și de asta comparația se face an la an, nu cu luna precedentă. Un magazin de rechizite care schimbă pagina în august va vedea o creștere care nu are nicio legătură cu pagina.

Când merită totuși să testezi

Pragul practic pentru un test care se închide într-o lună este în jur de o mie de conversii lunare. Sub el, testarea rămâne utilă în două situații. Prima: muți măsurătoarea pe un eveniment mult mai frecvent decât comanda, cum ar fi clicul pe produs din pagina de listare, care adună volum de zeci de ori mai repede. A doua: accepți din start un test lung, de trei sau patru luni, pe o schimbare majoră, și tratezi rezultatul ca orientare, nu ca verdict.

Ce nu merită niciodată e testul oprit la jumătate. Închis după două săptămâni pentru că „se vede deja care câștigă”, el produce fix iluzia pe care testarea ar fi trebuit să o elimine, și o produce cu aerul unei decizii bazate pe date.

Cum te poate ajuta Emblematic

Lucrăm des cu site-uri de firmă care au trafic mic și obiective mari, iar prima discuție e aproape mereu despre ce se poate măsura realist la volumul lor. Uneori răspunsul e o rescriere de pagină, alteori e scoaterea a trei câmpuri dintr-un formular, și abia mai târziu ajungem la testare propriu-zisă.

Dacă vrei să afli ce schimbări merită făcute pe site-ul tău înainte să investești într-un instrument de testare, echipa Emblematic.ro este disponibilă pentru o consultație fără obligații. Contactează-ne și stabilim împreună pașii următori.