Test A/B sau multivariat: cât trafic îți trebuie pentru fiecare

Cineva îți propune să testezi simultan trei titluri, două imagini și două culori de buton pe pagina de ofertă. Sună a decizie bazată pe date. În realitate ai cerut 12 versiuni diferite ale aceleiași pagini, iar traficul tău se împarte la 12. Dacă pagina primea 3.000 de vizite pe lună, fiecare versiune ajunge la 250, iar la volumul ăsta nu poți deosebi un câștigător de zgomot. Am scris separat ce faci când traficul e prea mic pentru orice fel de test. Aici e întrebarea următoare: când ai trafic, care dintre cele două metode ți se potrivește?

Diferența, în trei propoziții

Testul A/B compară două versiuni ale unei pagini, care diferă între ele printr-o singură schimbare. Testul multivariat compară toate combinațiile posibile ale mai multor elemente schimbate simultan. Primul îți spune care variantă câștigă, al doilea îți spune și cum interacționează elementele între ele.

Numărul de combinații se calculează prin înmulțire, nu prin adunare. Două titluri, trei imagini și două butoane înseamnă 2 × 3 × 2, adică 12 versiuni. Adaugi un al patrulea element cu două variante și ajungi la 24. Creșterea e explozivă, iar traficul necesar crește odată cu ea.

Când alegi testul A/B

Aproape întotdeauna. E metoda potrivită când ai o ipoteză clară despre un singur lucru: butonul verde bate butonul gri, titlul care numește prețul bate titlul care promite calitate, formularul cu trei câmpuri bate formularul cu șapte.

Are trei avantaje care contează pentru o firmă mică. Rulează repede, pentru că traficul se împarte doar în două. Rezultatul e ușor de interpretat, fără interpretări statistice complicate. Și, cel mai important, îți spune ce să faci mai departe, pentru că știi exact ce ai schimbat.

Cum construiești un test A/B care nu se strică

O singură schimbare per test. Dacă schimbi și titlul, și butonul, iar versiunea nouă câștigă, nu știi care dintre cele două a produs câștigul, deci nu poți repeta rezultatul altundeva. Rulează testul cel puțin două săptămâni întregi, ca să acoperi ambele capete de săptămână, și nu îl opri în ziua în care variantă ta preferată e în față. Traficul de marți nu seamănă cu cel de duminică, iar o diferență de 20 la sută în ziua a treia dispare de obicei până în ziua a paisprezecea.

Când are sens testul multivariat

Când ai trafic mare și te interesează interacțiunea dintre elemente, nu doar câștigătorul. Un exemplu real: un titlu care promite livrare rapidă funcționează bine cu o imagine de produs curată și prost cu o imagine de ambalaj, pentru că a doua sugerează depozit și așteptare. Un test A/B pe titlu nu ar fi descoperit asta niciodată, pentru că ar fi ținut imaginea fixă.

Pragul de trafic e motivul pentru care metoda asta e rar potrivită firmelor mici din România. Un magazin din Sibiu cu 4.000 de vizite lunare pe pagina de categorie are volum pentru un test A/B serios și nu are volum pentru un test multivariat cu opt combinații. Diferența nu e de ambiție, e de aritmetică.

Pragul practic pe care îl folosim: sub 25 de combinații și cu cel puțin 1.000 de vizite lunare per combinație. Peste acest număr, testul devine imposibil de terminat într-un interval în care piața nu s-a schimbat între timp.

Ordinea care funcționează

Începe cu teste A/B ca să găsești structura de bază a paginii, adică ce secțiuni, în ce ordine, cu ce mesaj principal. Abia după ce structura e stabilă, folosește un test multivariat ca să reglezi detaliile în interiorul ei. Programele de optimizare care merg bine rulează cam zece teste A/B pentru fiecare test multivariat, nu invers.

Și mai există o variantă pe care o uită toată lumea: testul de redirecționare, în care compari două pagini complet diferite, la adrese diferite. E util când vrei să compari o abordare cu alta, nu o variație cu alta. Rezultatul îți spune mai puțin despre cauze, dar îți spune repede dacă merită să investești în direcția nouă.

Cum te poate ajuta Emblematic

Proiectăm programe de testare pornind de la traficul pe care îl are efectiv site-ul, nu de la ce ar fi frumos să testăm. Când volumul nu ajunge pentru teste, propunem alte metode de a lua decizii pe date, de la interviuri cu clienți la analiza traseelor din site.

Dacă vrei să afli ce se poate testa credibil pe site-ul tău la traficul actual, echipa Emblematic.ro este disponibilă pentru o consultație fără obligații. Contactează-ne și stabilim împreună pașii următori.