Fișierul robots.txt: ce este și cum îl folosești

De ce contează fișierul robots.txt pentru SEO

Încă de la primele zile ale indexării, motoarele de căutare consultă fișierul robots.txt pentru a înțelege ce părți ale site‑ului trebuie să ignore. Dacă îl configurezi greșit, poți bloca accidental pagini valoroase, poți pierde trafic și poți afecta negativ bugetul de crawl. În contextul actual, unde majoritatea site‑urilor mari își optimizează bugetul de crawl prin directive specifice, un robots.txt bine pus la punct devine un instrument strategic, nu doar o formalitate.

Structura de bază a fișierului

Un robots.txt este un fișier text simplu, plasat în rădăcina domeniului (https://exemplu.com/robots.txt). Conținutul său este format din blocuri de directive, fiecare asociat unui user‑agent (bot). Cele mai comune directive sunt:

• User-agent: identifică botul pentru care se aplică regulile.
• Disallow: specifică calea pe care botul nu trebuie să o acceseze.
• Allow: inversează o regulă Disallow pentru sub‑directoare.
• Crawl-delay: indică intervalul de timp între două cereri consecutive.
• Sitemap: declară locația fișierului sitemap, facilitând descoperirea paginilor.

Exemplu minimal

Un fișier de pornire arată astfel:

User-agent: *
Disallow: /admin/
Sitemap: https://exemplu.com/sitemap.xml

Aici se spune tuturor roboților să nu acceseze directorul /admin/, în timp ce sitemap‑ul este expus pentru a accelera descoperirea paginilor importante.

Strategii avansate pentru controlul bugetului de crawl

Pe site‑urile cu sute de mii de pagini, bugetul de crawl devine un factor critic. Un studiu recent a arătat că peste 70% dintre site‑urile mari folosesc directive de limitare a crawl‑ului în robots.txt pentru a direcționa crawler‑ii spre paginile cu valoare SEO ridicată. Iată câteva tactici pe care le poți implementa:

1. Prioritizează paginile de valoare

Identifică secțiunile care aduc cel mai mult trafic organic – de exemplu, paginile de categorie și produsele cu vânzări mari – și asigură-te că nu sunt blocate. Pentru paginile cu conținut duplicat sau cu valoare scăzută (ex. pagini de filtrare a căutărilor interne), adaugă o regulă Disallow pentru a economisi crawl‑budget.

2. Folosește wildcard‑uri eficient

Wildcard‑urile (*) permit blocarea grupurilor de URL‑uri fără a lista fiecare cale în parte. De exemplu, pentru a împiedica accesul la toate paginile de sortare a produselor poți scrie:

User-agent: *
Disallow: /*?sort=

Această regulă acoperă orice URL care conține parametrul sort, reducând riscul de indexare a variantei infinite de pagini de sortare.

3. Controlează accesul la resurse statice

În multe cazuri, roboții încearcă să acceseze fișiere mari de tip PDF, imagini sau video care nu aduc valoare SEO. Poți restricționa accesul la aceste tipuri printr-o regulă de tip:

User-agent: *
Disallow: /*.pdf$
Disallow: /*.zip$

Astfel, bugetul de crawl se redirecționează către paginile HTML care contează pentru ranking.

4. Aplică Crawl-delay pentru boturi agresive

Unele roboți, în special cei mai puțin respectați, pot genera trafic semnificativ pe server. Dacă observi că serverul se supraîncarcă în timpul crawl‑ului, poți adăuga un Crawl-delay specific pentru acel bot:

User-agent: AhrefsBot
Crawl-delay: 10

Întârzierea de 10 secunde reduce impactul asupra performanței site‑ului fără a bloca complet accesul.

Integrarea cu Google Search Console

Google Search Console (GSC) oferă un instrument de testare a robots.txt care îți permite să verifici dacă o regulă blochează sau permite accesul la un URL specific. Folosind secțiunea „Testare fișier robots.txt”, poți introduce un URL și obține un răspuns instant, evitând erorile costisitoare de indexare.

Un alt avantaj al GSC este raportul „Acoperire”, care evidențiază paginile excluse prin robots.txt. Dacă observi că pagini importante apar în coloana “Excluse de robots.txt”, ajustează fișierul și re‑trimită-l pentru re‑procesare.

Ce nu trebuie să faci în robots.txt

• Nu bloca paginile de tip “noindex” – dacă vrei să elimini o pagină din index, folosește meta‑tagul noindex în loc de Disallow. Blocarea prin robots.txt împiedică crawler‑ul să vadă meta‑tagul și pagina poate rămâne în index.
• Nu folosi Disallow: / pentru a ascunde întregul site – aceasta nu este o metodă de securizare și poate duce la penalizări dacă Google consideră că site‑ul încearcă să ascundă conținut de calitate.
• Nu repeta aceleași directive – un fișier curat, cu reguli concise, este mai ușor de interpretat de către roboți și de către tine în timpul auditului.

Best practices pentru mentenanță și scalabilitate

Un robots.txt nu este un document static; evoluează odată cu site‑ul. Pentru a menține consistența, adoptă următoarele practici:

1. Versionare și backup

Stochează fișierul în sistemul de versionare (Git) și păstrează backup‑uri periodice. Astfel, poți urmări modificările și poți reveni rapid la o versiune anterioară în caz de eroare.

2. Documentare internă

Adaugă comentarii în fișier (linia începe cu #) pentru a explica motivele fiecărei reguli. De exemplu:

# Blocăm paginile de filtrare pentru a evita conținut duplicat
User-agent: *
Disallow: /*?filter=

3. Testare automată

Integrează verificarea robots.txt în pipeline‑ul de CI/CD. Un script simplu poate citi fișierul și poate valida sintaxa, precum și prezența directivei Sitemap. Dacă testul eșuează, build‑ul este blocat până la corectarea problemei.

4. Monitorizare a erorilor de crawl

Folosește rapoartele din GSC și din log‑urile serverului pentru a identifica accesările neprevăzute ale roboților. Dacă un bot încearcă să acceseze constant un director blocat, poți decide să adaugi o regulă de Crawl-delay sau să contactezi proprietarul botului.

Exemple concrete de configurare pe diferite tipuri de site

E‑commerce cu mii de produse

Obiectiv: protejează paginile de filtrare și sortare, prioritizează paginile de produs și categoriile principale.

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?sort=
Disallow: /*?filter=
Allow: /produse/
Allow: /categorii/
Sitemap: https://magazinul.com/sitemap.xml

Site de știri cu conținut zilnic

Obiectiv: asigură indexarea rapidă a articolelor noi și blochează arhivele vechi care nu aduc trafic.

User-agent: *
Disallow: /archive/2020/
Disallow: /archive/2021/
Allow: /articol/
Sitemap: https://stiri.ro/sitemap-news.xml

Blog personal cu pagini de tip “draft”

Obiectiv: împiedică indexarea paginilor în lucru, dar permite accesul la postările publicate.

User-agent: *
Disallow: /draft/
Allow: /post/
Sitemap: https://blogul.me/sitemap.xml

Întrebări frecvente și răspunsuri rapide

• Pot bloca un bot specific fără să afectez pe celelalte? Da, definește un bloc separat pentru acel User-agent și adaugă regulile dorite.
• Ce se întâmplă dacă uit să includ Sitemap în robots.txt? Motoarele pot găsi sitemap‑ul prin alte căi (ex. Search Console), dar includerea în robots.txt asigură o descoperire rapidă și completă.
• Este sigur să folosesc Crawl-delay pentru Googlebot? Google ignoră această directivă; pentru Googlebot, bugetul de crawl este gestionat automat. Folosește Crawl-delay doar pentru roboții care respectă această regulă.

Aplică imediat ce ai învățat

Închide sesiunea de lectură cu un plan de acțiune simplu: deschide fișierul robots.txt existent, adaugă comentarii pentru fiecare regulă, verifică dacă paginile cheie sunt Allow, blochează filtrele și parametrii inutili, și încarcă fișierul în Google Search Console pentru testare. După ce confirmi că nu există erori, publică modificările și monitorizează rapoartele de crawl în următoarele săptămâni. În câteva zile vei observa o distribuție mai eficientă a bugetului de crawl și, pe termen lung, o creștere a vizibilității paginilor cu adevărat valoroase.