Meta-Robots-Tag
Was ist ein Meta-Robots-Tag?
Ein Meta-Robots-Tag ist eine Anweisung im HTML-Quellcode, mit der du Suchmaschinen mitteilst, ob sie eine Seite indexieren und deren Links folgen dürfen. Häufige Werte sind index, noindex, follow und nofollow. Das Tag steuert die Verarbeitung einer einzelnen URL, sobald ein Crawler sie abruft.
Wie funktioniert das Meta-Robots-Tag?
Das Meta-Robots-Tag, auch Robots-Meta-Tag genannt, steht im <head>-Bereich eines HTML-Dokuments. Suchmaschinen lesen die darin enthaltenen Direktiven beim Crawling der URL aus. Fehlt das Tag, dürfen Suchmaschinen die Seite grundsätzlich indexieren und den enthaltenen Links folgen. Die implizite Standardeinstellung entspricht damit index, follow.
Eine typische Anweisung sieht so aus: <meta name="robots" content="noindex, follow">. Diese Kombination erlaubt das Verfolgen der Links, schließt die URL aber von der Indexierung aus. Mehrere Direktiven werden im content-Attribut durch Kommas getrennt.
| Direktive | Bedeutung | Typischer Einsatz |
|---|---|---|
index | Die Seite darf in den Suchergebnissen erscheinen. | Öffentlich relevante Inhalte |
noindex | Die Seite soll nicht in den Suchindex aufgenommen werden. | Interne Suchseiten oder technische Hilfsseiten |
follow | Suchmaschinen dürfen den Links auf der Seite folgen. | Standardfall bei crawlbaren Seiten |
nofollow | Suchmaschinen sollen den Links auf der Seite nicht folgen. | Seiten, deren Links nicht ausgewertet werden sollen |
nosnippet | Für die URL soll kein Textausschnitt in den Suchergebnissen erscheinen. | Inhalte ohne gewünschte Vorschau |
noimageindex | Bilder der Seite sollen nicht über diese URL indexiert werden. | Seiten mit nicht für die Bildersuche vorgesehenen Bildern |
Indexierung und Crawling trennen
Ein verbreiteter Denkfehler besteht darin, noindex mit einem Crawling-Verbot gleichzusetzen. Das Meta-Robots-Tag kann erst verarbeitet werden, nachdem der Crawler die Seite abgerufen hat. Eine mit noindex ausgezeichnete URL darf deshalb weiterhin gecrawlt werden, erscheint nach der Verarbeitung der Anweisung aber nicht im Suchindex.
Diese Trennung hat eine konkrete Folge: Sperrst du dieselbe URL zusätzlich über die Datei robots.txt, kann der Suchmaschinenbot das Meta-Robots-Tag möglicherweise nicht mehr lesen. Eine bereits bekannte URL kann dann weiterhin ohne Seiteninhalt in den Suchergebnissen auftauchen. Soll Google eine URL zuverlässig aus dem Index entfernen, muss die URL zunächst crawlbar bleiben, damit noindex erkannt wird.
noindex-Anweisung nicht mit einer Crawling-Sperre in der robots.txt, wenn eine URL aus dem Suchindex entfernt werden soll. Prüfe zuerst, ob der Suchmaschinenbot die Seite abrufen und das Meta-Robots-Tag auslesen kann.Meta-Robots-Tag richtig einsetzen
Das Meta-Robots-Tag eignet sich für URLs, die technisch erreichbar sein müssen, aber keinen eigenständigen Nutzen in den Suchergebnissen bieten. Dazu gehören abhängig vom Aufbau der Website interne Suchergebnisse, Login-Seiten, Bestätigungsseiten, Druckversionen oder bestimmte Filterkombinationen. Jede URL sollte einzeln geprüft werden, weil pauschales noindex auch wertvolle Landingpages aus dem Index entfernen kann.
Bei größeren Onlineshops sollte noindex nicht als Ersatz für eine saubere Steuerung der Facettennavigation verwendet werden. Interne Verlinkung, URL-Parameter, Canonical Tags, Sitemap und Crawling-Regeln müssen zusammenpassen. Der Beitrag zum Management technischer SEO-Fehler zeigt, wie solche Signale gemeinsam kontrolliert werden.
Meta-Robots-Tag und X-Robots-Tag
Der Unterschied zwischen Meta-Robots-Tag und X-Robots-Tag liegt im Übertragungsweg. Das Meta-Robots-Tag befindet sich im HTML-Code und eignet sich deshalb für HTML-Seiten. Das X-Robots-Tag wird als HTTP-Header übermittelt und kann auch für Dateien eingesetzt werden, die keinen HTML-<head> besitzen, etwa PDF-Dokumente oder Bilddateien.
Ein X-Robots-Tag kann beispielsweise mit der Direktive noindex in der Serverantwort einer PDF-Datei ausgegeben werden. Für die Wahl zwischen beiden Varianten zählt daher das Dateiformat: HTML-Seiten lassen sich direkt über das Meta-Element steuern, während nicht HTML-basierte Ressourcen einen HTTP-Header benötigen.
Abgrenzung zum Canonical Tag
Der Unterschied zwischen Meta-Robots-Tag und Canonical Tag liegt im Ziel der Anweisung. noindex verlangt den Ausschluss einer URL aus dem Suchindex. Ein Canonical Tag benennt dagegen die bevorzugte URL, wenn gleiche oder sehr ähnliche Inhalte über mehrere Adressen erreichbar sind. Die kanonische Seite soll weiterhin indexierbar bleiben.
Die Kombination aus noindex und einem Canonical Tag auf derselben URL erzeugt widersprüchliche Signale: Die eine Angabe schließt die URL aus, die andere soll ihre Beziehung zu einer indexierbaren Hauptversion vermitteln. Nutze bei Duplicate Content bevorzugt ein konsistentes Canonical-Konzept und setze noindex nur ein, wenn die betreffende URL tatsächlich nicht in der Suche erscheinen soll. Konkrete Fälle erklärt der Ratgeber zu Canonical Tags und ihrer korrekten Anwendung.
Meta-Robots-Tag technisch prüfen
Ein Meta-Robots-Tag muss im final ausgelieferten HTML-Code stehen. Wird die Anweisung erst durch JavaScript ergänzt oder verändert, hängt ihre Verarbeitung davon ab, ob und wann die Suchmaschine die Seite rendert. Verlässlicher ist eine korrekte Ausgabe bereits in der ursprünglichen Serverantwort.
Messbar ist die Umsetzung mit einem Technik-Crawler für technische SEO-Checks: Prüfe den HTTP-Status, die Robots-Direktive, den Canonical Tag und die Indexierbarkeit gemeinsam. Bei einzelnen URLs zeigt die URL-Prüfung der Google Search Console, ob Google die Seite abrufen darf und welche Indexierungsinformationen erkannt wurden.
Ein technischer Check sollte mindestens folgende Punkte erfassen:
Prüfe mit dem kostenlosen SEO-Check, ob Metadaten und weitere technische Signale deiner Website auffällig sind.
Relevanz für SEO und GEO
Für SEO bestimmt das Meta-Robots-Tag, welche URLs grundsätzlich als organische Suchergebnisse infrage kommen. Ein versehentliches noindex auf einer Produktkategorie, Leistungsseite oder einem Ratgeber kann vorhandene Rankings und organischen Traffic beseitigen, sobald die Suchmaschine die Direktive verarbeitet.
Für GEO, also Generative Engine Optimization, ist die Wirkung indirekter. Inhalte, die nicht in Suchmaschinen indexiert sind, können über suchbasierte Recherchewege schlechter auffindbar sein. Das Meta-Robots-Tag ist jedoch keine universelle Sperre für alle KI-Systeme oder KI-Crawler. Wer Zugriffe bestimmter Bots steuern möchte, muss zusätzlich deren technische Identifikation und die jeweiligen Crawling-Regeln prüfen.
Wenn du die Indexierungssteuerung deiner Website fachlich prüfen lassen möchtest, bietet ein technisches SEO-Audit eine vollständige Bewertung von Crawling, Canonicals, Weiterleitungen und Robots-Anweisungen.
Technisches SEO-Audit anfragen
Häufige Fragen zum Meta-Robots-Tag
Wo wird das Meta-Robots-Tag eingefügt?
Das Meta-Robots-Tag gehört in den head-Bereich des HTML-Dokuments. Eine Platzierung im sichtbaren body-Bereich ist technisch falsch und kann dazu führen, dass Suchmaschinen die Anweisung nicht berücksichtigen.
Wie kann ich eine Seite auf noindex setzen?
Füge im HTML-head die Robots-Direktive noindex ein oder sende sie bei nicht HTML-basierten Dateien über den X-Robots-Tag-Header. Die URL muss für den Suchmaschinenbot abrufbar bleiben, damit die Anweisung verarbeitet werden kann.
Wie lange dauert es, bis Google noindex erkennt?
Google erkennt noindex beim nächsten erfolgreichen Crawling der URL. Der genaue Zeitraum hängt unter anderem davon ab, wie häufig Google die betreffende Seite besucht und ob interne Links oder eine Sitemap auf die URL verweisen.
Ist index, follow im Meta-Robots-Tag notwendig?
Nein, index und follow entsprechen dem üblichen Standardverhalten, wenn kein Meta-Robots-Tag vorhanden ist. Eine ausdrückliche Angabe ist möglich, ändert in diesem Fall aber normalerweise nichts an der Verarbeitung.
Kann eine noindex-Seite trotzdem gecrawlt werden?
Ja, eine noindex-Seite muss zunächst gecrawlt werden, damit die Suchmaschine die Anweisung lesen kann. Noindex betrifft die Aufnahme in den Suchindex und ist kein Crawling-Verbot.
Was ist der Unterschied zwischen robots.txt und Meta-Robots-Tag?
Die robots.txt steuert, welche Bereiche ein Bot abrufen darf. Das Meta-Robots-Tag wird auf einer abgerufenen HTML-Seite gelesen und steuert unter anderem deren Indexierung sowie die Behandlung der enthaltenen Links.
Kann ich PDF-Dateien mit einem Meta-Robots-Tag sperren?
Ein klassisches Meta-Robots-Tag lässt sich nicht in den HTML-head einer PDF-Datei einfügen. Für PDF-Dateien und andere nicht HTML-basierte Ressourcen wird die entsprechende Direktive über einen X-Robots-Tag im HTTP-Header ausgeliefert.
Sie haben noch Fragen?
