Până acum, ca să afli care set de imagini și titluri lucrează mai bine într-o campanie Performance Max, aveai două variante, amândouă proaste. Duplicai campania și împărțeai bugetul, deci plăteai de două ori învățarea algoritmului. Sau schimbai elementele și comparai o lună cu cea de dinainte, iar în rezultat se amestecau sezonul, licitația și concurența. Google a deschis acum, în beta, un experiment care compară două seturi de elemente în interiorul aceluiași grup, pe trafic împărțit. E un pas real. Nu schimbă însă problema de fond din articolul despre ce îți vinde de fapt Google Ads: platforma îți arată ce s-a întâmplat, nu de ce.
Răspunsul scurt: testul are sens numai dacă grupul de elemente testat aduce destule conversii ca fiecare braț să strângă în jur de o sută în cele patru până la șase săptămâni recomandate de Google. Un cont mic ajunge rar acolo. Google cere el însuși cel puțin 15 conversii în 30 de zile pentru ca o campanie Performance Max să aibă performanță stabilă, iar testul împarte conversiile unui singur grup în două. Deci o campanie aflată aproape de prag nu are din ce să hrănească două brațe. Mai e o limită, la fel de importantă: testul îți spune care set a câștigat, nu care element anume a făcut diferența.
Ce compari, de fapt, când pornești testul pe elemente
Mecanismul e simplu la suprafață. Alegi un grup de elemente (asset group), iar Google îi împarte conținutul în trei. Pagina de ajutor în română, unde Performance Max apare sub numele „Performanță maximă”, le numește „Grup de control (elemente A)”, „Grupul experimental (elemente B)” și „Elemente comune”. În control stau elementele de acum. În grupul experimental pui ce vrei să încerci, fie elemente care există deja, fie încărcate atunci. Restul rămân comune.
Pentru citirea rezultatului contează ultima categorie. Elementele comune se difuzează în continuare pe tot traficul campaniei, iar cele de control și cele experimentale respectă divizarea pe care ai stabilit-o. Asta înseamnă că nu compari două reclame, ci două amestecuri. Dacă în comun ai lăsat titlul care aduce majoritatea clicurilor, ambele brațe îl folosesc, deci diferența dintre ele se pierde în zgomot.
Ce rămâne în afara testului: bugetul, strategia de licitare, semnalele de public, feedul de produse și pagina de destinație. Niciunul nu face parte din seturile pe care le compari. Testul pe elemente răspunde la o întrebare despre creativ. Dacă problema contului stă în altă parte, el îți va arăta, corect, că nu se schimbă nimic.
O restricție o simți din prima zi. Cât rulează experimentul, elementele din grupul testat trec în modul de vizualizare, deci nu mai adaugi, nu mai scoți și nu mai corectezi nimic acolo. Google recomandă cel puțin patru până la șase săptămâni de rulare. Pune cele două laolaltă și obții o lună și jumătate în care grupul stă înghețat, exact perioada în care de obicei ai umbla la el. Un experiment acoperă un singur grup de elemente, iar Google nu îl lasă să pornească peste alt experiment programat în aceleași date. Un cont cu patru grupuri are deci nevoie de patru teste la rând, adică de aproape o jumătate de an pentru o rundă completă.
Rămâne întrebarea accesului. Pagina Google e tradusă în română și nu pomenește nicio restricție de țară, de limbă sau de tip de cont. Singurul semn de disponibilitate limitată e eticheta „beta” din titlu, iar Google nu confirmă nicăieri că funcția a ajuns în toate conturile. Deci un cont din România o poate avea deja sau nu, după cum a ajuns lansarea la el. Dacă nu vezi opțiunea, verifică întâi piedicile enumerate de Google: bugetul partajat cu alte campanii, strategia de licitare de portofoliu, explorarea licitării inteligente și un alt experiment programat în aceeași perioadă.
Cât volum de conversii îți trebuie ca testul să spună ceva
Aici cad cele mai multe teste din conturile mici, și nu din cauza creativelor. Experimentul împarte conversiile unui singur grup de elemente în două brațe. Dacă grupul aduce opt conversii pe săptămână, fiecare braț primește patru, iar după șase săptămâni ai 24 de conversii pe braț. Pe 24 de conversii nu se ia o decizie, oricât de convingător ar arăta scorul.
Reperul nostru de lucru e de o sută de conversii pe braț. Google nu publică o asemenea cifră pentru acest test, deci e o regulă practică a noastră. Aritmetica din spatele ei e scurtă. La o sută de conversii pe braț, un test la încredere de 95% deosebește de zgomot, aproximativ, numai diferențele de peste 28% între brațe. La 50 de conversii, pragul urcă în jur de 40%. Un creativ nou care aduce cu 15% mai mult rămâne, la aceste volume, invizibil.
Pragul de 15 conversii în 30 de zile măsoară stabilitatea campaniei. Pentru test e mult prea jos. O campanie aflată exact acolo, cu un singur grup de elemente și divizare egală, strânge în șase săptămâni cam zece conversii pe braț. Cu zece conversii nu alegi între două creative, alegi la întâmplare.
Cât ar dura testul pe grupul tău de elemente
Conversii pe săptămână în grupul testat: 16,8
Conversii pe săptămână în grupul experimental: 8,4
Conversii pe săptămână în grupul de control: 8,4
Săptămâni până la țintă pe brațul mai lent (plafon 99): 12
Cea mai mică diferență pe care o poți deosebi de zgomot, la încredere de 95% (aproximativ, %): 28
Ce faci cu asta: Depășești fereastra recomandată. Coboară ținta sau alege grupul de elemente care aduce cele mai multe conversii.
Un exemplu din Cluj-Napoca arată cum se leagă cifrele pe un cont real. Termoflux Someș montează pompe de căldură și strânge în jur de 180 de formulare pe lună din Performance Max, adică vreo 42 pe săptămână. Grupul de elemente pe care vrea să îl testeze, cel pentru case individuale, aduce cam 40% din conversii, deci 16,8 pe săptămână. La divizare egală, fiecare braț primește 8,4 conversii pe săptămână, așa că o sută de conversii pe braț cer 12 săptămâni. Adică dublul ferestrei recomandate de Google. Dacă firma ar alege divizarea prudentă, cu 80% control și 20% experiment, grupul experimental ar strânge sub 3,4 conversii pe săptămână, iar aceeași țintă ar cere în jur de 30 de săptămâni. Prudența la divizare se plătește în timp. La volumele obișnuite ale unei firme regionale, ea costă chiar posibilitatea testului.
Ce face atunci Termoflux Someș? Coboară ținta la 50 de conversii pe braț, rulează șase săptămâni și acceptă că va vedea numai diferențele mari, de ordinul a 40% în costul pe conversie. Sau testează grupul de elemente care aduce cel mai mult volum, chiar dacă nu e cel care o interesează cel mai tare. Ambele variante sunt decizii cinstite. Șase săptămâni cu 25 de conversii pe braț nu sunt o decizie.
Relația dintre trafic și tipul de test e desfăcută și în articolul despre câte vizite îți trebuie pentru un test A/B sau multivariat. Aritmetica e aceeași, doar că aici numeri conversii în locul vizitelor.
De ce rezultatul nu se citește ca un test între două campanii
Un test clasic între două campanii îți dă două sisteme separate, cu buget, licitare și învățare proprii. Experimentul pe elemente nu face asta. Cele două brațe trăiesc în aceeași campanie, cu același buget și aceeași strategie de licitare. Rezultatul îți arată cum s-a descurcat setul nou într-o campanie construită în jurul celui vechi. Cum s-ar descurca într-o campanie construită în jurul lui rămâne necunoscut.
Prima obiecție a apărut chiar în discuția de pe LinkedIn în care a circulat vestea: pe un buget mic, brațul câștigător poate fi pur și simplu cel care a prins clicuri mai ieftine în perioada respectivă. Deci nu citi numai numărul de conversii. Pune lângă el costul pe conversie și rata de conversie. Un set de elemente care aduce mai multe clicuri, dar o rată de conversie mai mică, atrage curioși, iar curioșii nu completează formulare.
Al doilea decalaj vine din felul în care Performance Max construiește reclama. Platforma asamblează anunțul din elementele disponibile, în combinații pe care nu le alegi tu. Când schimbi setul, schimbi spațiul combinațiilor posibile. Rezultatul spune că amestecul B a mers mai bine decât amestecul A, în campania aceasta, cu bugetul acesta, în perioada aceasta. Nu spune că imaginea cu pompa montată bate imaginea cu tehnicianul.
Un al treilea lucru nu îl lămurește documentația: dacă împărțirea traficului se face pe utilizator sau pe licitație. Dacă se face pe licitație, același om poate vedea luni elementele de control și joi pe cele experimentale, iar diferența dintre brațe se diluează. Există riscul ca efectul să fie mai mare la o firmă care vinde în trei județe decât la un magazin național, fiindcă un public mic întâlnește reclamele mai des.
Cum pregătești testul ca verdictul să valoreze ceva
Curăță grupul de elemente înainte de configurare
Deschide campania în Google Ads, apoi „Grupuri de elemente”, și numără elementele din grupul pe care vrei să îl testezi. Elementele de control și cele experimentale se adună la limitele grupului, iar pagina de depanare a Google spune că un grup cu peste 15 elemente poate atinge limita și bloca testul. Fă curățenia înainte de a deschide ecranul de configurare. Apoi scrie într-un document patru coloane: ce rămâne comun, ce intră în control, ce intră în grupul experimental și de ce ai mutat fiecare element.
Configurarea pornește din meniul Campanii, „Experimente”, butonul plus, apoi „Elemente”, „Elemente oferite de dvs.” și „Performanță maximă”. O poți porni și din editorul grupului de elemente, cu comutatorul care salvează modificările ca test A/B. Semnul că ai pregătit bine e vizibil pe loc: cardul secțiunii de control afișează exact elementele din coloana ta, fără surprize.
Notează în același document costul pe conversie și rata de conversie ale întregii campanii din ultimele 28 de zile. Nu le folosești la compararea brațelor. Îți trebuie ca să prinzi o scădere generală a campaniei în timpul testului, situația în care ambele brațe coboară și verdictul nu mai valorează nimic.
Scrie regula de decizie înainte să vezi datele
Înainte de pornire, scrie patru rânduri: valoarea de succes urmărită, nivelul de încredere la care accepți rezultatul, data de încheiere și ce faci la fiecare rezultat posibil. Rândul decisiv sună cam așa: „dacă grupul experimental are un cost pe conversie mai mic și raportul marchează diferența ca semnificativă la 95%, aplic schimbarea; altfel păstrez controlul”. L-ai scris corect dacă în ziua închiderii îl citești și îl execuți fără discuție.
Pagina Google despre urmărirea experimentelor spune că intervalul de încredere implicit e de 80% și că îl poți schimba, iar rezultatele semnificative statistic primesc un asterisc albastru. La 80%, când între brațe nu există nicio diferență reală, cam un test din cinci îți arată totuși una. Treci pe 95% și acceptă că aștepți mai mult. Altfel aplici în cont patru decizii bune și una luată pe zgomot.
Dacă pornești testul din editorul grupului de elemente, caseta care aplică automat modificările când grupul experimental câștigă e bifată implicit. Debifeaz-o. Altfel schimbarea se aplică după criteriul Google, înainte să apuci să îți citești regula.
Nu citi raportul înainte de termen
Pagina generală despre experimente recomandă două-trei săptămâni de colectare, iar cea despre testarea elementelor cere cel puțin patru până la șase. Ia termenul mai lung, fiindcă e scris pentru exact acest tip de test. Data de încheiere o propune sistemul de îndrumare al experimentelor, iar tu o poți muta. Pune-ți un memento în calendar la jumătatea perioadei, cu o singură sarcină: verifici că ambele brațe se difuzează și că niciun element nou nu a fost respins. Elementele încărcate pentru grupul experimental trec prin verificarea obișnuită de politici, iar unul respins nu se difuzează. Grupul experimental ar rula atunci cu o piesă lipsă, fără să te anunțe cineva.
Adaugă și o notă în graficul campaniei, cu data pornirii. Peste două luni nu vei mai ține minte când a început testul. Fără nota aceea, riști să pui pe seama lui o scădere de volum din săptămâna dinainte.
Ce merită testat primul, în ordinea în care poate aduce ceva
Ordinea nu ține de gust. Testezi întâi lucrul care poate produce o diferență mare, fiindcă diferențele mici cer un volum pe care contul tău probabil nu îl are. În practică, asta dă patru ipoteze, în ordinea descrescătoare a efectului.
Începi cu videoul propriu față de lipsa lui. Un grup fără video primește oricum clipuri generate automat din celelalte elemente, iar diferența dintre un clip filmat la o lucrare reală și unul asamblat de platformă se vede de obicei în rata de conversie. Urmează promisiunea din titluri. „Montaj pompă de căldură de la 2.900 de lei” și „Verificare gratuită la domiciliu, 0742 118 905” nu vorbesc cu același om, iar diferența dintre ele apare repede în costul pe conversie. Pe locul trei stă tipul imaginilor, produsul singur față de produsul montat, în casa clientului. La capătul listei intră titlul lung, singurul loc în care încape un argument întreg, dar și cel afișat în mai puține formate.
Ce nu afli, oricât de bine configurezi: care element individual a tras rezultatul. Testul compară seturi întregi. Dacă vrei să izolezi o imagine, pui în grupul experimental un singur element diferit față de control și lași restul comun. Testul devine curat, dar și foarte lent, fiindcă o diferență atât de mică are nevoie de mult mai multe conversii ca să iasă din zgomot.
Ce faci dacă volumul nu ajunge
Când calculatorul îți arată peste 12 săptămâni, nu porni testul. Fă schimbările evidente direct în grupul de elemente, toate odată, și urmărește tendința pe trei luni. E mai puțin elegant și mai cinstit decât un test care nu poate tranșa. Logica e aceeași ca la site-urile cu trafic mic, descrisă în articolul despre ce faci când ai 400 de vizitatori pe lună și testul A/B nu te ajută.
Dacă volumul îți ajunge, renunță la campaniile gemene ca metodă de testare a creativelor. Două campanii care se deosebesc numai prin imagini își împart bugetul și învață separat, iar experimentul pe elemente ține învățarea într-un singur loc.
Cine a citit articolele despre excluderea telefonului din Performance Max și despre experimentul AI Max vede direcția. Google deschide pe rând câte o fereastră în campaniile automatizate. Fiecare îți arată o bucată, iar niciuna nu îți redă controlul din campaniile vechi. E încă un motiv să îți scrii regulile de decizie înainte de a porni testul.
Cum te poate ajuta Emblematic
Un experiment pe elemente merită pornit într-un cont care are volumul necesar, cu o regulă de decizie scrisă dinainte și cu un grup de elemente curățat. Prin serviciile PPC Emblematic ne uităm la contul tău și îți spunem dacă volumul de conversii susține testul, ce ipoteză are cel mai mult de câștigat și ce lași comun ca să nu testezi două lucruri odată. Dacă site-ul e deja administrat de noi, pachetul „Creștere web” adaugă marketingul online peste administrare.
Dacă vrei să știi dacă merită să ții un grup de elemente înghețat șase săptămâni, scrie-ne. Îți trimitem câte conversii pe săptămână ar strânge fiecare braț în contul tău, ipoteza pe care am testa-o prima și data la care s-ar putea citi verdictul.
