Google-Extended

Was ist Google-Extended?

Google-Extended ist ein Produkt-Token für die robots.txt-Datei. Websitebetreiber steuern damit, ob von Google gecrawlte Inhalte zur Verbesserung bestimmter Gemini-Modelle sowie zur Fundierung generativer Antworten in ausgewählten Google-Produkten verwendet werden dürfen. Die Einstellung beeinflusst laut Google weder das Crawling noch die Platzierung in der klassischen Google-Suche.

Google-Extended einfach erklärt

Google-Extended gibt Websitebetreibern Kontrolle über die Verwendung ihrer öffentlich zugänglichen Inhalte für bestimmte generative KI-Produkte von Google. Der Eintrag wird in der robots.txt-Datei hinterlegt, die sich üblicherweise im Stammverzeichnis einer Domain befindet. Die Steuerung betrifft die KI-Nutzung von Inhalten, nicht deren grundsätzliche Auffindbarkeit in der Google-Suche.

Technisch handelt es sich um einen eigenständigen Produkt-Token und nicht um einen separat auftretenden Webcrawler. Deshalb erscheint Google-Extended normalerweise nicht als eigener User-Agent in Server-Logfiles. Google kann Inhalte weiterhin mit Googlebot abrufen, berücksichtigt bei der vorgesehenen KI-Nutzung aber die hinterlegte Regel.

So funktioniert die robots.txt-Regel

Die robots.txt-Datei enthält Anweisungen für Crawler und Produkt-Tokens. Mit einer eigenen Regelgruppe kannst du die Nutzung der gesamten Website oder einzelner Verzeichnisse steuern. Änderungen sollten technisch geprüft werden, weil fehlerhafte robots.txt-Regeln auch andere Bots betreffen können.

Um die vorgesehene KI-Nutzung für die gesamte Domain auszuschließen, wird folgende Regel verwendet: User-agent: Google-Extended
Disallow: /
Ein leeres Disallow: erlaubt dagegen den Zugriff im Rahmen dieses Produkt-Tokens.

Eine differenzierte Konfiguration ist ebenfalls möglich. Ein Unternehmen kann beispielsweise redaktionelle Ratgeber zugänglich lassen und ein internes Dokumentationsverzeichnis sperren. Für den Ausschluss eines Bereichs wird hinter Disallow: dessen Pfad eingetragen, etwa /intern/. Öffentlich sensible Inhalte sollten zusätzlich durch eine Zugriffskontrolle geschützt werden, da robots.txt-Dateien keine Sicherheitsbarriere darstellen.

  • Prüfe, ob bereits allgemeine Regeln für Googlebot oder andere Crawler vorhanden sind.
  • Lege Google-Extended als separate Regelgruppe an.
  • Definiere genau, ob die gesamte Domain oder nur bestimmte Pfade betroffen sind.
  • Kontrolliere die Datei nach jeder Änderung auf Syntaxfehler und unbeabsichtigte Sperren.

Unterschied zu Googlebot und GoogleOther

Der Unterschied zwischen Google-Extended und Googlebot liegt im Verwendungszweck. Googlebot crawlt Webseiten für Google-Dienste wie die klassische Websuche. Eine Sperre von Googlebot kann deshalb die Indexierung und SEO-Sichtbarkeit beeinträchtigen. Eine Beschränkung des KI-Produkt-Tokens soll dagegen keinen direkten Einfluss auf klassische Rankings haben.

BezeichnungHauptzweckMögliche SEO-Auswirkung einer Sperre
GooglebotCrawling für die Google-Suche und zugehörige SuchfunktionenSeiten können seltener gecrawlt oder aus dem Index entfernt werden.
Google-ExtendedSteuerung der Nutzung gecrawlter Inhalte für bestimmte generative KI-ProdukteKeine direkte Auswirkung auf das klassische Ranking vorgesehen.
GoogleOtherAllgemeiner Crawler für verschiedene Google-Produkte außerhalb der regulären SucheDie Auswirkung hängt vom jeweiligen Verwendungszweck ab.

Google-Extended ist außerdem nicht mit einer llms.txt-Datei gleichzusetzen. Die robots.txt-Regel kann den Zugriff oder die vorgesehene Verwendung begrenzen. Eine llms.txt-Datei soll KI-Systemen dagegen strukturierte Hinweise auf relevante Inhalte geben. Sie ist kein allgemein verbindlicher Standard und ersetzt keine robots.txt-Konfiguration.

Auswirkungen auf SEO und GEO 2026

Für SEO hat die Einstellung keine vorgesehene direkte Ranking-Wirkung, solange Googlebot weiterhin auf die Inhalte zugreifen darf. Unternehmen sollten die Regelgruppen deshalb sauber trennen. Wer versehentlich Googlebot sperrt, riskiert Einschränkungen beim Crawling, bei der Indexierung und bei der organischen SEO-Sichtbarkeit. Eine regelmäßige Kontrolle der technischen SEO reduziert dieses Risiko.

Für GEO, also Generative Engine Optimization, betrifft die Entscheidung die mögliche Nutzung von Inhalten in Teilen des Google-KI-Ökosystems. Eine Freigabe garantiert weder eine Erwähnung noch eine Quellenangabe. Eine Sperre kann zugleich begrenzen, wie Google Inhalte für die betroffenen Modelle und generativen Anwendungen heranzieht. Unternehmen sollten deshalb Urheberrecht, Reichweite und gewünschte KI-Sichtbarkeit gemeinsam bewerten.

Google-Extended steuert nicht automatisch die Darstellung in AI Overviews. Generative Funktionen innerhalb der Google-Suche können auf die Regeln und Systeme des regulären Google-Suchcrawlings zurückgreifen. Wer Google-Extended sperrt, sollte daher nicht davon ausgehen, dass die eigene Website aus allen KI-generierten Suchergebnissen oder Quellenangaben verschwindet.

Auch für SEA besteht keine direkte Steuerungswirkung. Google-Ads-Zielseiten und Anzeigen werden über andere Systeme und Crawler verarbeitet. Ob eine Landingpage für Anzeigen erreichbar und technisch geeignet ist, muss unabhängig von Google-Extended geprüft werden.

Freigeben oder sperren?

Die passende Entscheidung hängt von der Content-Strategie ab. Wissensportale, Hersteller und B2B-Unternehmen können eine Freigabe wählen, wenn ihre Inhalte als fachliche Grundlage in KI-Anwendungen dienen sollen. Anbieter kostenpflichtiger Datenbanken oder exklusiver Fachinhalte können dagegen eine vollständige oder pfadbezogene Beschränkung bevorzugen.

  • Freigabe: sinnvoll, wenn Reichweite, Markenpräsenz und mögliche Erwähnungen in Google-KI-Produkten im Vordergrund stehen.
  • Teilweise Sperre: geeignet, wenn öffentliche Ratgeber verfügbar bleiben, geschützte Content-Bereiche aber ausgenommen werden sollen.
  • Vollständige Sperre: eine Option, wenn Inhalte nicht für die vorgesehenen generativen KI-Zwecke genutzt werden sollen.
Eine robots.txt-Sperre schützt keine vertraulichen Informationen. Die Datei ist öffentlich einsehbar und verhindert weder direkte Seitenaufrufe noch Zugriffe durch Bots, die sich nicht an die Regeln halten. Vertrauliche Inhalte benötigen eine Anmeldung, serverseitige Berechtigungen oder einen vergleichbaren Zugriffsschutz.

Die Entscheidung sollte dokumentiert und regelmäßig überprüft werden. Google kann Anwendungsbereiche, Produktbezeichnungen und technische Hinweise verändern. Für Marketing-Verantwortliche zählt außerdem das Ergebnis: Die Messung von Erwähnungen in KI-Antworten zeigt, ob eine Marke tatsächlich präsent ist. Das KI-Analyse-Tool der Performance Suite erfasst dafür Empfehlungen und verwendete Quellen in ChatGPT, Perplexity, Gemini und Grok.

Wenn du deine technische Erreichbarkeit und KI-Sichtbarkeit auf einer gemeinsamen Datenbasis prüfen möchtest, kannst du einen kostenlosen Account mit SEO-Audit anlegen.

Free Account anlegen

Häufige Fragen zur Google-Steuerung

Ist Google-Extended ein eigener Crawler?

Nein. Es handelt sich um einen Produkt-Token für die robots.txt-Datei und nicht um einen separaten Crawler mit eigenem HTTP-User-Agent. Deshalb lässt sich die Nutzung nicht zuverlässig anhand eines eigenen Eintrags in den Server-Logfiles erkennen.

Schadet eine Sperre meinen Google-Rankings?

Eine korrekt eingerichtete Sperre dieses Produkt-Tokens soll das Crawling und Ranking in der klassischen Google-Suche nicht beeinflussen. Wichtig ist, Googlebot nicht versehentlich mitzusperren.

Verhindert die Sperre eine Anzeige in AI Overviews?

Nein, das lässt sich daraus nicht ableiten. AI Overviews gehören zur Google-Suche und können auf Inhalte zurückgreifen, die über das reguläre Suchcrawling verarbeitet werden.

Kann ich nur einzelne Verzeichnisse sperren?

Ja. Über pfadbezogene Disallow-Regeln können bestimmte Verzeichnisse ausgeschlossen werden, während andere Bereiche zugänglich bleiben. Jede Regel sollte vor der Veröffentlichung technisch geprüft werden.

Wie schnell wird eine Änderung berücksichtigt?

Die Umsetzung erfolgt nicht zwingend unmittelbar, da robots.txt-Dateien zwischengespeichert werden können. Websitebetreiber sollten nach einer Änderung ausreichend Zeit für den erneuten Abruf einplanen.

Entfernt eine Sperre bereits verwendete Trainingsdaten?

Eine neue robots.txt-Regel ist grundsätzlich keine rückwirkende Löschanweisung für bereits verarbeitete Daten. Sie steuert die vorgesehene Nutzung auf Basis der künftig abgerufenen Konfiguration.

Kann ich Googlebot erlauben und die KI-Nutzung sperren?

Ja. Beide Regeln können getrennt in der robots.txt-Datei stehen. Dadurch bleibt das Crawling für die klassische Google-Suche möglich, während die vorgesehene Nutzung für bestimmte generative KI-Produkte eingeschränkt wird.


Sie haben noch Fragen?

Kontaktieren Sie uns

Free Account erstellen


Weitere Inhalte