Co to jest X-Robots-Tag?

X-Robots-Tag to nagłówek odpowiedzi HTTP, za pomocą którego właściciele stron mogą sterować indeksowaniem i sposobem prezentacji zasobów przez wyszukiwarki. Działa podobnie do znacznika meta robots w HTML, ale ma szersze zastosowanie — można go stosować do każdego typu pliku (HTML, PDF, obrazy, wideo, CSS, JS), ponieważ jest zwracany na poziomie serwera razem z odpowiedzią.

Jak działa X-Robots-Tag w praktyce?

Gdy robot (np. Googlebot) pobiera URL, analizuje nie tylko treść, ale również nagłówki HTTP. Jeśli znajdzie nagłówek X-Robots-Tag, interpretuje zawarte w nim dyrektywy i odpowiednio modyfikuje indeksowanie lub prezentację wyników. Nagłówek można:

• ustawić globalnie lub dla wybranych ścieżek/typów plików,
• powtórzyć wielokrotnie (kilka nagłówków dla różnych robotów),
• kierować do konkretnego user-agenta (np. googlebot:).

Przykładowa składnia:

• X-Robots-Tag: noindex, nofollow
• X-Robots-Tag: googlebot: noindex
• X-Robots-Tag: unavailable_after: Wed, 25 Jun 2025 15:00:00 GMT

Najważniejsze dyrektywy

• noindex – nie indeksuj danego URL.
• nofollow – nie podążaj za linkami wychodzącymi z zasobu (w Google traktowane jako wskazówka).
• none – równoważne noindex, nofollow.
• all – równoważne index, follow.
• noarchive – nie pokazuj kopii strony (cache).
• nosnippet – nie wyświetlaj fragmentu (snippetu) w wynikach.
• max-snippet:[liczba] – limit znaków w opisie (np. max-snippet: 160).
• max-image-preview:[none|standard|large] – kontrola rozmiaru podglądu obrazów.
• max-video-preview:[liczba] – limit w sekundach podglądu wideo.
• notranslate – nie proponuj tłumaczenia wyniku.
• noimageindex – nie indeksuj obrazów z tej strony; można też zastosować dla konkretnego pliku graficznego.
• indexifembedded – pozwól zindeksować zasób, gdy jest osadzony w innym dokumencie.
• unavailable_after: [data GMT] – po wskazanej dacie URL ma wypaść z indeksu.

Uwaga: niektóre dyrektywy (np. interpretacja nofollow) są przez Google traktowane jako sygnały, nie bezwzględne nakazy, a historyczne noodp/noydir są nieaktualne.

Różnice względem meta robots

• Zakres: meta robots działa tylko w dokumentach HTML, a X-Robots-Tag działa dla każdego typu pliku.
• Warstwa wdrożenia: meta wymaga edycji kodu strony; nagłówek można dodać na serwerze/CDN, regułami dla całych katalogów lub rozszerzeń.
• Elastyczność: łatwiej masowo wykluczyć np. wszystkie pliki PDF, obrazy w katalogu czy wersje testowe.

Znaczenie dla SEO

• Kontrola indeksacji w skali: szybkie zarządzanie tym, co trafia do indeksu (np. warianty filtrów, parametryczne wyniki wyszukiwania, staging).
• Obsługa plików nie-HTML: wykluczanie z wyników PDF-ów, obrazów, plików tymczasowych czy feedów.
• Czystsze wyniki i sygnały kanoniczne: zmniejszenie duplikacji, ograniczenie indeksacji niskiej jakości stron, wpływ na snippet i podglądy multimediów.
• Bezpieczne migracje: tymczasowe noindex podczas wdrożeń, a potem łatwe zdjęcie reguły z poziomu serwera.
• Zgodność z Google: Google w pełni wspiera X-Robots-Tag; pamiętaj jednak, że dyrektywy działają tylko, jeśli URL nie jest blokowany przez robots.txt (robot musi móc pobrać nagłówek).

Przykłady wdrożeń

• Apache (.htaccess):
• Blokada indeksacji PDF:
  • Header set X-Robots-Tag "noindex, noarchive" env=pdf
  • lub:
  • <FilesMatch "\.pdf$">
  • Header set X-Robots-Tag "noindex, noarchive"
  • </FilesMatch>
• Tylko dla Googlebota:
  • Header add X-Robots-Tag "googlebot: noindex"
• Nginx (konfiguracja serwera):
• location ~* \.(pdf|docx)$ { add_header X-Robots-Tag "noindex, noarchive"; }
• Data wygaśnięcia oferty:
• add_header X-Robots-Tag "unavailable_after: Wed, 25 Jun 2025 15:00:00 GMT";

Dobre praktyki

• Nie łącz noindex z blokadą w robots.txt dla tego samego URL — robot nie pobierze nagłówka i dyrektywa nie zadziała.
• Upewnij się, że nagłówek jest zwracany przy statusach 200/304; przekierowania mogą „gubić” nagłówki po drodze.
• Unikaj sprzecznych sygnałów (np. rel="canonical" do A, a noindex na A).
• Testuj w Search Console (Inspekcja URL) i w logach serwera; sprawdzaj też wpływ CDN/proxy na propagację nagłówków.
• Stosuj precyzyjne reguły (po rozszerzeniach, katalogach), aby nie wyindeksować przypadkowo kluczowych stron.
• Rozważ wpływ na CTR: nosnippet czy noimageindex mogą zmniejszyć atrakcyjność wyniku.

X-Robots-Tag jest jednym z najskuteczniejszych narzędzi technicznego SEO do zarządzania widocznością zasobów w wyszukiwarkach poza warstwą HTML. Pozwala centralnie sterować indeksacją, snippettami i podglądami multimediów dla dowolnych typów plików, co czyni go idealnym rozwiązaniem przy złożonych serwisach, migracjach oraz optymalizacji jakości indeksu. Właściwe użycie przekłada się na czystszy indeks, lepszą kontrolę nad prezentacją wyników i mniejsze ryzyko duplikacji.

Agata

Dzięki wieloletniemu doświadczeniu, zdobytemu przy współpracy z różnymi branżami, potrafię dostosowywać podejście do indywidualnych potrzeb każdego klienta. Na stronie Biznesuj.pl dzielę się wiedzą oraz praktycznymi poradami na temat prowadzenia biznesu, aby inspirować i wspierać przedsiębiorców w ich codziennych wyzwaniach. Zapraszam do lektury moich artykułów, które mogą stać się drogowskazem w dążeniu do sukcesu.”