Co to jest Meta Robots?
Meta Robots to znacznik w sekcji <head> strony, który przekazuje wyszukiwarkom instrukcje, jak traktować daną podstronę podczas indeksowania i prezentacji w wynikach wyszukiwania. Najczęściej występuje jako tag HTML: <meta name="robots" content="...">, ale te same dyrektywy można przekazać w nagłówku HTTP (X-Robots-Tag).
Jak działa Meta Robots?
Podczas crawlowania bot (np. Googlebot) odczytuje kod strony i sprawdza, czy w <head> znajduje się tag z dyrektywami. Na tej podstawie decyduje, czy stronę indeksować, jak traktować linki wychodzące oraz jaki fragment i w jakiej formie pokazać w SERP-ach. Można też kierować dyrektywy do konkretnego bota, używając name="googlebot", name="bingbot" itp.
Najważniejsze dyrektywy i ich znaczenie
- index / noindex – zezwala lub zabrania indeksacji URL. Brak tagu = domyślnie index.
- follow / nofollow – zezwala lub odradza podążanie za linkami na stronie. Dziś Google traktuje nofollow jako „wskazówkę”, nie twardy zakaz.
- all / none – skróty:
all=index,follow,none=noindex,nofollow. - noarchive – blokuje wyświetlanie wersji „Kopia” (cache) w wynikach.
- nosnippet – ukrywa fragment opisu; może też uniemożliwić wyświetlanie miniatur/rozszerzeń.
- max-snippet:[liczba] – limit znaków opisu (np.
max-snippet:160). - max-image-preview:[none|standard|large] – kontrola rozmiaru podglądu obrazów.
- max-video-preview:[liczba] – długość podglądu wideo w sekundach.
- noimageindex – zabrania indeksacji obrazów z danej strony.
- notranslate – wyłącza link „Przetłumacz tę stronę” w Google.
- unavailable_after:[data RFC 850] – prośba o wykluczenie z indeksu po wskazanej dacie.
- indexifembedded (Google) – pozwala indeksować treść osadzoną, nawet jeśli sam dokument ma
noindex.
Przykłady:
<!-- Cała strona nie do indeksacji, linki mogą być śledzone -->
<meta name="robots" content="noindex,follow">
<!-- Tylko dla Googlebota: brak fragmentu w SERP -->
<meta name="googlebot" content="nosnippet">
<!-- Kontrola podglądu obrazów -->
<meta name="robots" content="max-image-preview:large">
Znaczenie dla SEO
Meta Robots to precyzyjne narzędzie zarządzania widocznością URL-i:
- ogranicza indeksację stron niskiej jakości (np. filtry, wyniki wyszukiwania wewnętrznego, koszyk, panel użytkownika),
- porządkuje indeks i budżet crawl, kierując roboty na wartościowe treści,
- kontroluje sposób prezentacji wyniku (fragment, miniatury, cache),
- pomaga uniknąć duplikacji (w parze z kanonicznymi URL-ami i właściwą architekturą).
Dobre praktyki:
- Używaj noindex dla stron, które nie powinny pojawiać się w wynikach, ale nie blokuj ich crawlingu w
robots.txt(bot musi móc zobaczyć metatag). - Dla zasobów innych niż HTML (PDF, obrazy) stosuj nagłówek X-Robots-Tag.
- Nie polegaj na
nofollowjako metodzie blokowania indeksacji – to nie to samo conoindex. - Jeśli treść ma rangę i linki, preferuj rozwiązania informacyjne (np. rel=”canonical”) zamiast agresywnego wykluczania, gdy celem jest konsolidacja sygnałów.
Typowe zastosowania
- Strony podziękowania po konwersji:
<meta name="robots" content="noindex">. - Paginacje, warianty filtrów bez unikalnej wartości:
noindex,follow. - Wersje testowe/staging:
noindex(oraz najlepiej dodatkowe zabezpieczenie hasłem). - Kontrola snippetów na stronach z wrażliwymi danymi:
nosnippetlubmax-snippet.
Najczęstsze błędy i pułapki
- Blokowanie URL w
robots.txti jednoczesne dodanienoindexw HTML – bot nie pobierze strony, więc nie zobaczy tagu; adres może mimo to trafić do indeksu z samym URL-em. Aby wykluczyć: pozwól na crawl +noindex, albo zastosuj uwierzytelnianie/410. - Pozostawienie
noindexpo wdrożeniu produkcyjnym. - Nadużywanie
nofollow, co może ograniczyć odkrywanie ważnych treści. - Poleganie na przestarzałych dyrektywach (np.
noodp) – ignorowane.
Meta Robots daje granularną kontrolę nad tym, co i jak trafia do wyników wyszukiwania. Właściwe użycie dyrektyw, spójne z architekturą informacji i polityką indeksacji, poprawia jakość widoczności w Google, chroni przed duplikacją i wspiera efektywne wykorzystanie budżetu crawl, bez niezamierzonego ukrywania wartościowych podstron.
Dzięki wieloletniemu doświadczeniu, zdobytemu przy współpracy z różnymi branżami, potrafię dostosowywać podejście do indywidualnych potrzeb każdego klienta. Na stronie Biznesuj.pl dzielę się wiedzą oraz praktycznymi poradami na temat prowadzenia biznesu, aby inspirować i wspierać przedsiębiorców w ich codziennych wyzwaniach. Zapraszam do lektury moich artykułów, które mogą stać się drogowskazem w dążeniu do sukcesu.”
