Robots.txt: configurare corectă pentru SEO

Fișierul robots.txt este primul document pe care un crawler îl solicită înainte de a indexa un site. Un robots.txt configurat greșit poate bloca accidental Googlebot de la pagini importante sau poate lăsa expuse secțiuni pe care preferiți să nu le indexați. Impactul unui robots.txt incorect poate fi devastator: pagini importante deindexate, timp de crawl irosit pe conținut irelevant și vizibilitate organică redusă.

Spre deosebire de alte elemente SEO tehnice, robots.txt este simplu ca sintaxă dar subtil ca implicații. O singură linie greșită poate dezactiva indexarea întregului site sau poate bloca resursele CSS și JavaScript de care Google are nevoie pentru a randa corect paginile.

Acest ghid explică structura corectă a fișierului robots.txt, directivele disponibile, greșelile frecvente și modul în care robots.txt se integrează cu strategia generală de indexare SEO.

Robots.txt: configurare corectă pentru SEO

Robots.txt funcționează prin protocolul de excludere roboți (REP): crawlerele care respectă standardul citesc fișierul de la rădăcina domeniului (site.ro/robots.txt) și urmează instrucțiunile pentru user-agent-ul lor. Google respectă robots.txt în mod implicit, dar există nuanțe importante: o pagină blocată prin robots.txt poate apărea totuși în rezultatele de căutare dacă alte site-uri linkuiesc spre ea, deoarece Google cunoaște existența URL-ului chiar dacă nu poate accesa conținutul.

Robots.txt nu este o soluție de securitate: fișierul este public și orice utilizator îl poate citi. Conținutul pe care nu doriți să fie public trebuie protejat prin autentificare sau criptare, nu prin robots.txt.

Strategia de indexare selectivă merge mână în mână cu robots.txt: strategia de indexare selectivă detaliază cum să decideți ce pagini merită indexate și cum să direcționați bugetul de crawl al Googlebot spre conținut valoros.

Sintaxa corectă a fișierului robots.txt

Robots.txt este un fișier text simplu cu câteva directive de bază. User-agent specifică crawlerul căruia i se aplică regulile (asteriscul înseamnă toți crawlerele). Disallow blochează un URL sau un prefix de URL. Allow permite accesul la un URL specific, chiar dacă prefixul său este blocat. Sitemap indică locația sitemap-ului XML.

Exemplu de robots.txt corect pentru un site WordPress: User-agent: * cu Disallow pentru /wp-admin/ (excepție pentru admin-ajax.php care trebuie accesibil) și Allow pentru /wp-admin/admin-ajax.php. Blocarea întregului director /wp-admin/ fără excepția admin-ajax.php poate afecta funcționalități WordPress care depind de AJAX.

Ordinea regulilor contează: robots.txt se citește de sus în jos, iar prima regulă care se aplică unui URL are prioritate. Dacă Disallow și Allow se suprapun, regula cea mai lungă (mai specifică) câștigă conform specificației Google. Verificați întotdeauna robots.txt cu instrumentul de testare din Google Search Console.

Ce să blocați și ce să lăsați accesibil

Resursele CSS și JavaScript NU trebuie blocate prin robots.txt. Google are nevoie de ele pentru a randa corect paginile și pentru a evalua experiența utilizatorului. O greșeală frecventă în WordPress este blocarea directorului /wp-content/ sau /wp-includes/, ceea ce împiedică Google să încarce stylesheet-urile și scripturile site-ului.

Paginile care merită blocate în robots.txt includ: paginile de administrare (cu excepția admin-ajax.php), paginile de autentificare, paginile de căutare internă (generează conținut duplicat nevaloros), paginile de filtre URL cu parametri irelevanti și paginile de test sau staging accesibile public.

Paginile de produse, categorii, articole de blog și orice conținut care aduce valoare utilizatorilor trebuie lăsate accesibile. Erorile de crawl și indexare cauzate de blocări accidentale sunt frecvent diagnosticate prin raportul Coverage din Google Search Console.

Robots.txt și crawl budget-ul

Crawl budget-ul reprezintă numărul de URL-uri pe care Googlebot le va crawla pe site-ul dvs. într-un interval de timp. Blocarea paginilor neimportante prin robots.txt eliberează crawl budget pentru paginile valoroase, efect important mai ales pe site-uri mari cu mii de pagini.

URL-urile cu parametri de sesiune, tracking sau sortare care generează conținut duplicat consumă inutil crawl budget. Blocarea acestora prin robots.txt sau prin configurarea parametrilor URL în Google Search Console optimizează utilizarea bugetului de crawl. Viteza de încărcare influențează și ea crawl rate-ul: site-urile mai rapide sunt crawlate mai frecvent.

Robots.txt este un instrument de optimizare, nu de securitate. Configurarea corectă poate face diferența între un site bine indexat și unul cu pagini valoroase pierdute în umbra conținutului irelevant. Echipa Firma SEO auditează robots.txt ca parte din auditul SEO tehnic complet. Contactați-ne pentru o analiză detaliată.