Înainte de orice strategie de conținut, Google trebuie să poată găsi și citi site-ul tău. Două fișiere fac această muncă: sitemap.xml, care enumeră paginile importante, și robots.txt, care spune crawler-elor ce au voie să viziteze. E fundația tehnică a indexării și 90% din site-uri le au greșite.
Sitemap: harta site-ului pentru mașini
Un sitemap XML listă fiecare URL important: pagini, articole, proiecte. Reguli de aur:
- Include doar URL-uri canonice (nu versiuni cu parametri sau dubluri).
- Folosește
<lastmod>corect ca să anunți actualizările. - Decupează sitemap-urile mari în fișiere de sub 50.000 de URL-uri.
- Referențiază sitemap-ul în robots.txt și trimite-l în Search Console.
Pentru site-uri Next.js moderne, sitemap-ul e generat dinamic din datele reale – exact cum am structurat și sitemap-ul acestui site. Astfel, fiecare articol nou apare automat fără intervenție manuală.
Robots.txt: cine are voie unde
robots.txt nu e un sistem de securitate; e un semafor politicos pentru crawler-e. Folosește-l ca să blochezi zonele fără valoare (panouri admin, pagini de cont, fișiere interne), dar cu grijă:
- Nu bloca CSS-ul sau JavaScript-ul – Google are nevoie de ele ca să randeze paginile.
- Nu bloca pagini de produse sau articole din greșeală; verifică fiecare regulă.
- Permite explicit AI crawler-elor (GPTBot, ClaudeBot, PerplexityBot) dacă vrei să fii citat în răspunsurile generative.
- Referențiază sitemap-ul:
Sitemap: https://www.site.ro/sitemap.xml.
Greșelile care îngroapă site-uri bune
Cea mai frecventă: robots.txt copiat de pe un template care blochează jumătate din site. A doua: sitemap-uri cu URL-uri care returnează 404 sau redirect-uri. A treia: noindex uitat pe pagini importante. După orice modificare, verifică în Search Console că totul e indexat cum trebuie și monitorizează raportul de pagini timp de câteva săptămâni.
Fundația se verifică înainte de conținut
Poți scrie cel mai bun articol din România; dacă robots.txt îl blochează, nu există. De aceea, la orice proiect încep cu partea tehnică: sitemap, robots, redirect-uri, structura URL-urilor. Dacă nu știi dacă site-ul tău e „descifrabil”, un audit tehnic de SEO și infrastructură îți răspunde în câteva zile, cu priorități clare.
Întrebări frecvente
Sitemap-ul chiar ajută la indexare?
Da: e harta oficială pe care i-o dai lui Google cu toate paginile importante. Nu garantează indexarea, dar accelerează descoperirea paginilor noi și te ajută să semnalezi actualizările. Fără el, Google se descurcă, dar mai încet.
Ce pun în robots.txt?
Reguli pentru crawleri (ce să nu acceseze: admin, pagini interne) și adresa sitemap-ului. În 2026, important e și să permiți crawlerilor AI (GPTBot, PerplexityBot, ClaudeBot) dacă vrei vizibilitate în căutările AI.
Cât de des trebuie actualizat sitemap-ul?
La fiecare publicare de pagină sau articol. Platformele moderne (Next.js, WordPress cu plugin bun) îl generează automat. Un sitemap static, uitat, face mai mult rău decât bine.