X-Robots-Tag
Was ist ein X-Robots-Tag?
Ein X-Robots-Tag ist eine Anweisung im HTTP-Header einer Serverantwort, mit der Suchmaschinen das Indexieren einer URL oder das Verfolgen ihrer Links gesteuert wird. Im Unterschied zum Robots-Meta-Tag funktioniert der X-Robots-Tag auch bei PDF-Dateien, Bildern und anderen Ressourcen ohne eigenen HTML-Quellcode.
Der X-Robots-Tag, deutsch: Robots-Anweisung im HTTP-Header, übermittelt Regeln direkt mit der Antwort des Webservers. Suchmaschinen lesen diese Regeln beim Crawling aus und entscheiden anhand von Direktiven wie noindex, nofollow oder nosnippet, wie sie mit der abgerufenen Ressource umgehen.
Wie funktioniert der X-Robots-Tag?
Ein Webserver sendet für jeden erfolgreichen Abruf eine HTTP-Antwort, die aus Statuscode, Header-Feldern und dem eigentlichen Inhalt besteht. Der X-Robots-Tag wird als zusätzliches Header-Feld ausgeliefert. Eine Anweisung gegen die Aufnahme in den Suchindex sieht beispielsweise so aus:
X-Robots-Tag: noindex weist der Server Suchmaschinen an, die abgerufene Ressource nicht in den Suchindex aufzunehmen. Mehrere Direktiven lassen sich durch Kommas verbinden, zum Beispiel X-Robots-Tag: noindex, nofollow.Der X-Robots-Tag kann für eine einzelne Datei, einen Dateityp oder einen vollständigen Verzeichnisbereich konfiguriert werden. Die konkrete Umsetzung erfolgt je nach Infrastruktur beispielsweise in der Apache-Konfiguration, über Nginx, durch eine Anwendung oder über ein Content-Delivery-Network. Entscheidend ist das tatsächliche Ergebnis: Die Anweisung muss in der HTTP-Antwort jeder betroffenen URL enthalten sein.
Regeln für einzelne Suchmaschinen
Ein X-Robots-Tag kann auf einen bestimmten Crawler begrenzt werden. Die Angabe X-Robots-Tag: googlebot: noindex richtet sich beispielsweise nur an Googlebot. Ohne vorangestellten Crawler-Namen gilt die Direktive grundsätzlich für alle Bots, die den Standard unterstützen. Suchmaschinen können einzelne Direktiven unterschiedlich interpretieren, weshalb eine crawlerbezogene Konfiguration nur bei einem klaren technischen Zweck eingesetzt werden sollte.
Wichtige X-Robots-Tag-Direktiven
Die verfügbaren Direktiven regeln unterschiedliche Aspekte der Indexierung und Ergebnisdarstellung. Für die technische SEO sind vor allem folgende Angaben relevant:
Die Kombination noindex, follow soll eine URL aus dem Index halten, während Suchmaschinen ihre Links weiterhin auswerten dürfen. Suchmaschinen können Links einer dauerhaft nicht indexierten URL mit der Zeit seltener crawlen. Für dauerhaft relevante interne Verlinkungen ist eine indexierbare Übersichtsseite daher verlässlicher als eine langfristig auf noindex gesetzte Seite.
X-Robots-Tag oder Robots-Meta-Tag?
Der Unterschied zwischen X-Robots-Tag und Robots-Meta-Tag liegt im Übertragungsweg. Das Robots-Meta-Tag steht im <head> eines HTML-Dokuments. Der X-Robots-Tag wird dagegen als Teil der HTTP-Antwort ausgeliefert und kann deshalb auch Ressourcen steuern, die keinen HTML-Kopf besitzen.
| Merkmal | X-Robots-Tag | Robots-Meta-Tag |
|---|---|---|
| Position | HTTP-Header | HTML-Quellcode |
| Geeignete Ressourcen | HTML, PDF, Bilder und weitere Dateien | HTML-Dokumente |
| Konfiguration | Server, Anwendung oder CDN | Seitenvorlage oder CMS |
| Skalierung | Regeln für Dateitypen und URL-Bereiche möglich | Meist seitenbezogene Steuerung |
Für normale HTML-Seiten ist ein Robots-Meta-Tag häufig leichter im CMS zu verwalten. Der X-Robots-Tag eignet sich besonders für PDF-Dokumente, automatisch erzeugte Dateien oder serverweit definierte Regeln. Werden beide Varianten gleichzeitig ausgeliefert, dürfen sich die Angaben nicht widersprechen. Bei mehreren erkannten Regeln wenden Suchmaschinen in der Regel die restriktivere Direktive an.
Abgrenzung zur robots.txt
Der X-Robots-Tag und die robots.txt erfüllen verschiedene Aufgaben. Die robots.txt steuert, welche Bereiche ein Bot crawlen darf. Der X-Robots-Tag steuert, wie eine bereits abgerufene Ressource indexiert oder in Suchergebnissen dargestellt werden soll. Eine Crawling-Sperre ist deshalb keine zuverlässige Anweisung zur Entfernung aus dem Index.
noindex darf nicht gleichzeitig dauerhaft per robots.txt für den betreffenden Bot gesperrt sein. Kann die Suchmaschine die URL nicht abrufen, sieht sie den X-Robots-Tag nicht. Die URL kann dann weiterhin als Ergebnis ohne Inhaltsbeschreibung erscheinen, wenn Suchmaschinen sie über interne oder externe Links kennen.Wenn eine bereits indexierte URL entfernt werden soll, muss der Crawler die Ressource zunächst abrufen können. Der Server liefert dabei den X-Robots-Tag mit noindex und einen abrufbaren Statuscode aus. Soll der Inhalt endgültig verschwinden, können je nach Fall auch ein HTTP-Statuscode 404 oder 410 beziehungsweise eine Weiterleitung die passendere Lösung sein. Der Beitrag zu 404 und 410 bei Google erklärt die Unterschiede zwischen diesen Statuscodes.
X-Robots-Tag im technischen SEO
Ein X-Robots-Tag ist sinnvoll, wenn bestimmte Ressourcen erreichbar bleiben sollen, aber nicht als eigenständige Suchergebnisse vorgesehen sind. Typische Anwendungsfälle sind PDF-Versionen vorhandener Inhalte, interne Dokumente ohne Suchintention, Druckansichten oder automatisch erzeugte Dateien. Vertrauliche Inhalte dürfen jedoch nicht allein über noindex geschützt werden, da die Ressource weiterhin öffentlich abrufbar bleibt.
Bei PDF-Dateien kann eine Indexierung gewünscht sein, wenn das Dokument eigenständigen Informationswert besitzt. Enthält eine PDF-Datei lediglich dieselben Informationen wie eine HTML-Seite, kann noindex im X-Robots-Tag verhindern, dass beide Versionen als konkurrierende Suchergebnisse erscheinen. Bei ähnlichen HTML-Seiten kann dagegen ein korrekt gesetztes Canonical Tag geeigneter sein, weil es eine bevorzugte URL signalisiert, statt die alternative URL vollständig von der Indexierung auszuschließen.
X-Robots-Tag richtig prüfen
Messbar ist das zum Beispiel so: Rufe die URL mit den Entwicklerwerkzeugen des Browsers, einem HTTP-Header-Checker oder einem SEO-Crawler ab und kontrolliere die Serverantwort. Im Bereich der Response Headers muss ein Eintrag wie x-robots-tag: noindex erscheinen. Ein Technik-Crawler für automatisierte technische Checks kann solche Angaben über viele URLs hinweg erfassen und widersprüchliche Indexierungssignale sichtbar machen.
Ein einzelner Test reicht bei regelbasierten Serverkonfigurationen nicht aus. Prüfe mindestens eine betroffene und eine nicht betroffene URL, unterschiedliche Dateitypen sowie mögliche Varianten mit und ohne abschließenden Schrägstrich. Ein technisches SEO-Audit sollte außerdem Statuscode, Canonical Tag, robots.txt, Sitemap und interne Verlinkung gemeinsam bewerten. Einen umfassenderen Überblick bietet der Ratgeber zum Management technischer SEO-Fehler.
Häufige Fragen zum X-Robots-Tag
Kann ein X-Robots-Tag PDF-Dateien aus dem Google-Index entfernen?
Ja. Wird die PDF-Datei von Google gecrawlt und mit der Direktive noindex im HTTP-Header ausgeliefert, kann Google sie aus dem Suchindex entfernen. Die PDF-Datei muss dafür weiterhin abrufbar sein und darf nicht gleichzeitig per robots.txt gesperrt werden.
Wo wird der X-Robots-Tag eingetragen?
Der X-Robots-Tag wird in der Serverantwort konfiguriert. Abhängig von der technischen Umgebung erfolgt das beispielsweise über Apache, Nginx, die Webanwendung oder ein Content-Delivery-Network.
Kann ich den X-Robots-Tag im HTML-Quellcode sehen?
Nein. Der X-Robots-Tag gehört zum HTTP-Header und erscheint deshalb nicht im sichtbaren HTML-Quellcode. Du findest ihn in den Netzwerkdetails der Browser-Entwicklerwerkzeuge oder mit einem Werkzeug zur Prüfung von HTTP-Headern.
Was passiert bei widersprüchlichen Robots-Anweisungen?
Suchmaschinen fassen mehrere erkannte Robots-Anweisungen gewöhnlich zusammen und wenden die restriktivere Regel an. Eine Kombination aus index und noindex führt deshalb in der Regel zu noindex. Widersprüche sollten trotzdem behoben werden, damit die Indexierungssteuerung eindeutig bleibt.
Wie lange dauert die Entfernung einer URL aus dem Index?
Die Entfernung erfolgt erst, nachdem die Suchmaschine die URL erneut gecrawlt und die noindex-Direktive verarbeitet hat. Die Dauer hängt von der Crawl-Frequenz der betreffenden URL ab. Eine regelmäßige interne Verlinkung kann dazu beitragen, dass Suchmaschinen Änderungen schneller entdecken.
Schützt noindex vertrauliche Dateien?
Nein. Noindex verhindert nur die Aufnahme in unterstützende Suchmaschinen und ist keine Zugriffskontrolle. Vertrauliche Dateien müssen durch eine Anmeldung, eine serverseitige Berechtigungsprüfung oder einen vergleichbaren Zugriffsschutz abgesichert werden.
Wenn du Indexierungssignale, Server-Header und Crawling-Regeln deiner Website fachlich prüfen lassen möchtest, bietet ein unverbindlicher Potenzialcheck eine klare Grundlage für die nächsten technischen Maßnahmen.
Kostenlosen Potenzialcheck anfragen
Sie haben noch Fragen?
