Un distribuitor de materiale de construcții din Bacău a publicat un an întreg cele mai documentate ghiduri de termoizolație din județ. Raportul lui de vizibilitate în AI arată zero. Textul nu era problema: robotul care construiește lista de surse pentru căutarea din ChatGPT primea un refuz pe exact acele pagini, din cauza unei reguli de protecție puse la o migrare și uitate acolo.
Situația nu apare nicăieri unde te-ai uita din reflex. Nici în Search Console, nici în GA4, nici în rapoartele de vizibilitate. Un singur loc o arată: jurnalul serverului.
Ce vede jurnalul serverului și nu vede nimic altceva
Fiecare cerere primită de server ocupă un rând în jurnal: adresa IP, data și ora până la secundă, pagina și metoda, codul de răspuns, octeții trimiși și numele cu care s-a prezentat solicitantul. Unele configurări adaugă timpul de răspuns și dacă pagina a plecat din memoria cache.
Câmpul cu octeții e cel pe care îl ratează toată lumea. Pagina ta de servicii are patruzeci de mii de octeți de text, iar robotul a primit două mii și un cod 200, adică un răspuns reușit. A plecat deci cu un șablon gol. Celelalte rapoarte măsoară ce s-a întâmplat după, dacă ai fost citat și dacă a venit cineva; jurnalul măsoară intrarea. O vizibilitate pe zero nu spune că textul e slab, poate să spună doar că robotul nu a trecut de poartă.
Cât de complet e răspunsul primit de la cel care îți ține site-ul
Bifează ce ți s-a răspuns concret, cu nume de roboți și cifre, nu la nivel de principiu.
Puncte acoperite: 0 din 6, adică 0% din răspuns.
Bifează punctele primite, apoi apasă butonul.
Antrenarea și indexarea se blochează din aceeași linie, dar nu sunt același lucru
Roboții motoarelor AI se împart pe patru rosturi, fiecare cu altă consecință pentru tine:
- Antrenare, GPTBot și ClaudeBot: strâng text pentru antrenarea modelului. Dacă îi blochezi, prezența ta în răspunsuri rămâne neatinsă.
- Indexare, OAI-SearchBot și PerplexityBot: construiesc lista din care asistentul alege ce citează. Blochează-i și dispari din răspunsuri.
- Aducere la cerere, ChatGPT-User și Claude-User: iau pagina în clipa în care un om pune întrebarea, deci au răbdare scurtă.
- Acțiune în numele utilizatorului, cum face Google-Agent: parcurge site-ul pentru cineva și predă omului decizia.
Aici e capcana. Cineva a pus acum un an o regulă care blochează „roboții AI” la pachet, fără să despartă rosturile. Decizia de a nu-ți lăsa textele să antreneze un model e legitimă, iar proprietarul unui site are tot dreptul să o ia. Numai că regula pusă grosier taie și robotul de indexare, adică exact pe cel care te-ar fi citat. Ai refuzat antrenarea și, fără să vrei, ai refuzat citarea. Mai jos e altă problemă: numele cu care se prezintă un robot se falsifică ușor, iar verificarea serioasă cere adresele IP publicate de furnizor, DNS invers sau antete semnate.
Răspunsurile care explică o vizibilitate pe zero
- Cod 200 cu foarte puțini octeți. Răspunsul a reușit, conținutul nu a plecat: robotul a luat un șablon fără text, fiindcă pagina se compune în browser.
- Cod 403 întors în câteva milisecunde. Viteza spune că cererea nici nu a ajuns la site, deci o regulă de protecție a tăiat robotul la poartă.
- Cod 499 după peste treizeci de secunde. Robotul a închis conexiunea, adică a renunțat, iar răspunsul pentru omul care întreba s-a dat fără tine.
- Redirecționări în lanț, 404 și 410 pe adrese vechi. Cineva încă cere paginile acelea, iar tu nu trimiți nimic în loc.
Codul 499 se ratează ușor, fiindcă monitorizările urmăresc erorile de server, cele care încep cu cifra cinci. Unul singur nu dovedește nimic, oamenii închid file de browser. Un grup de 499 pe aceeași categorie de pagini, toate pe cereri care nu au prins memoria cache, e însă un tipar.
Semnele pe care le vezi fără să deschizi nimic
Nu analizezi singur jurnalele și nici nu trebuie. Patru semne se văd din scaunul tău: vizibilitate pe zero deși ai conținut tocmai pe subiectele acelea, concurenți citați pe întrebări pe care tu le-ai tratat mai pe îndelete, conținut care se arată în pagină abia după o fracțiune de secundă de la încărcare, și o protecție antirobot pusă acum un an, după un val de trafic suspect, pe care nimeni nu a mai atins-o. Firma din Bacău avea trei din patru, deci bănuiala nu a cerut niciun instrument.
Întrebările, în ordinea în care se pun
Trimiți un mesaj celui care îți ține site-ul și ceri răspuns punct cu punct. Ordinea contează, fiindcă primele două răspunsuri decid dacă mai are rost restul. Care roboți sunt blocați acum, pe nume. De când e pusă fiecare blocare și cine a cerut-o. Dacă regula desparte GPTBot de OAI-SearchBot sau îi prinde la grămadă. Ce coduri primesc GPTBot, OAI-SearchBot, ChatGPT-User, Claude-User și PerplexityBot pe cele mai importante zece pagini, câți octeți pleacă spre ei acolo și cât durează în medie răspunsul.
Un răspuns e complet când conține nume de roboți și cifre. „Am blocat roboții AI pentru securitate” nu e răspuns, e rezumat. Lista de mai sus îți arată cât ți s-a răspuns efectiv.
Ce ceri să se schimbe și cum verifici peste două săptămâni
Ceri trei schimbări și o măsurătoare: deblocarea pe tot site-ul a OAI-SearchBot, PerplexityBot, ChatGPT-User și Claude-User; păstrarea blocării pe roboții de antrenare, dacă așa vrei, fiindcă aceea rămâne decizia ta; scoaterea paginilor importante din regula care întorcea 403; și un export de jurnal pe două săptămâni, luat de la rețeaua de distribuție a conținutului (CDN), fiindcă jurnalul serverului nu vede cererile servite din memoria cache.
Peste două săptămâni ceri același tabel: roboții pe linii, codurile pe coloane. Dacă pe cele zece pagini nu mai apare niciun 403 și niciun 499 pentru roboții deblocați, iar octeții trimiși se apropie de lungimea reală a paginilor, schimbarea s-a făcut. Dacă 403 rămâne pentru un singur robot, regula a fost rescrisă pe jumătate. Cere și un rând din jurnal, nu doar confirmarea pe mesaj. Două săptămâni ajung pentru roboții care trec des; cei de antrenare ar cere peste nouăzeci de zile, dar pe aceia nu îi aștepți.
Cum te poate ajuta Emblematic
Partea de SEO pe care o facem pentru clienți începe cu eligibilitatea, nu cu textul. Cerem jurnalele, ne uităm ce coduri primesc roboții pe paginile care aduc bani și separăm blocarea antrenării de blocarea indexării, ca decizia să rămână a ta și să nu te mai coste citările.
Dacă vrei să știi care roboți sunt blocați pe site-ul tău chiar acum, scrie-ne. Îți trimitem lista roboților, codul pe care îl primește fiecare și ce am debloca întâi, în ordinea în care am face-o.
