Crawl-Delay

Was ist ein Crawl-Delay?

Das Crawl-Delay legt eine Wartezeit zwischen zwei Abrufen eines Crawlers fest. Ein Wert von 5 bedeutet je nach Bot meist fünf Sekunden Abstand. Die Angabe kann die Serverlast begrenzen, wird jedoch nicht von jedem Crawler unterstützt. Googlebot ignoriert die robots.txt-Direktive und steuert seine Abrufrate automatisch.

Crawl-Delay bedeutet auf Deutsch Abrufverzögerung und beschreibt eine Pause, die ein Webcrawler zwischen aufeinanderfolgenden Anfragen einhalten soll. Websitebetreiber können damit verhindern, dass Bots in kurzer Zeit sehr viele URLs aufrufen und dadurch Webserver, Datenbanken oder Schutzsysteme überlasten.

So funktioniert das Crawl-Delay

Ein Crawl-Delay wird häufig in der robots.txt hinterlegt. Diese Datei liegt im Stammverzeichnis einer Domain und enthält Regeln für Suchmaschinen-Bots und andere automatisierte Programme. Die Anweisung kann für alle Bots oder für einen bestimmten User-Agent gelten. Ob ein Crawler die Angabe tatsächlich berücksichtigt, hängt von seiner technischen Implementierung ab.

Ein mögliches Beispiel lautet:

User-agent: *
Crawl-delay: 5

. Ein unterstützender Crawler wartet bei dieser Regel fünf Sekunden zwischen zwei Abrufen. Bei rein sequenzieller Verarbeitung sind damit theoretisch höchstens zwölf Anfragen pro Minute oder 720 Anfragen pro Stunde möglich. Antwortzeiten und weitere Pausen reduzieren den tatsächlichen Wert.

Der Zahlenwert ist keine allgemeingültige Empfehlung. Eine kleine Unternehmenswebsite auf einem stabilen Server benötigt meist keine künstliche Begrenzung. Bei großen Onlineshops, ressourcenintensiven Filtern oder empfindlichen Datenbankabfragen kann eine begrenzte Abrufgeschwindigkeit sinnvoll sein. Entscheidend sind die Serverantworten und die tatsächlich gemessene Last.

Unterstützt Google das Crawl-Delay?

Googlebot unterstützt die Crawl-delay-Anweisung in der robots.txt nicht. Google passt seine Crawl-Geschwindigkeit automatisch an die Reaktionsfähigkeit einer Website an. Langsame Antworten, Verbindungsabbrüche und wiederkehrende HTTP-Statuscodes wie 429 oder 503 können dazu führen, dass Google die Zahl der Abrufe reduziert.

Die fehlende Unterstützung durch Google ist ein verbreiteter Denkfehler im technischen SEO. Ein eingetragener Wert von zehn Sekunden zwingt Googlebot nicht zu einer entsprechenden Pause. Wenn Google eine Website zu stark belastet, solltest du Serverlogs, Antwortzeiten, Statuscodes und aufwendig erzeugte URLs untersuchen. Die robots.txt allein löst ein serverseitiges Kapazitätsproblem nicht.

Crawl-Delay und Crawl-Budget unterscheiden

Der Unterschied zwischen Crawl-Delay und Crawl-Budget liegt in der gesteuerten Größe. Das Crawl-Delay beschreibt den zeitlichen Abstand zwischen Anfragen. Das Crawl-Budget bezeichnet die Anzahl und Auswahl der URLs, die Google innerhalb eines Zeitraums auf einer Domain abrufen kann und abrufen möchte.

Begriff	Bedeutung	Steuerung
Crawl-Delay	Pause zwischen zwei Anfragen	Optionale Anweisung für unterstützende Crawler
Crawl-Rate	Geschwindigkeit und Parallelität der Abrufe	Durch den Crawler und die Serverreaktion
Crawl-Budget	Umfang der innerhalb eines Zeitraums gecrawlten URLs	Durch technische Qualität, Nachfrage und verfügbare Ressourcen
robots.txt	Regeln für den Zugriff auf bestimmte Verzeichnisse und URLs	Über User-Agent-, Allow- und Disallow-Angaben

Ein hohes Crawl-Delay kann das nutzbare Crawlvolumen eines unterstützenden Bots indirekt verkleinern. Benötigt ein Crawler fünf Sekunden Pause, kann er deutlich weniger URLs pro Stunde abrufen als bei einer Sekunde. Bei umfangreichen Websites kann eine zu starke Begrenzung deshalb dazu führen, dass neue oder aktualisierte Seiten später entdeckt werden.

Wann ist eine Verzögerung sinnvoll?

Ein Crawl-Delay eignet sich vor allem für eigene SEO-Crawler, Partner-Bots und andere Programme, deren Abrufverhalten du konfigurieren kannst. Eine Anpassung ist sinnvoll, wenn ein Crawl wiederholt Rate-Limits auslöst, die Serverauslastung erhöht oder wichtige Nutzeranfragen beeinträchtigt.

Der Server liefert während des Crawls wiederholt den Statuscode 429 für zu viele Anfragen.
Ein CDN oder eine Web Application Firewall blockiert den Crawler wegen hoher Abrufraten.
Dynamische Filterseiten erzeugen rechenintensive Datenbankabfragen.
Mehrere parallele Verbindungen erhöhen Antwortzeit und Serverlast deutlich.
Ein vollständiger Crawl konkurriert mit Bestellungen, Formularen oder internen Prozessen um Ressourcen.

Bei konfigurierbaren SEO-Crawlern kann die Verzögerung schrittweise erhöht werden. Das Handbuch der Performance Suite nennt bei auftretenden 429-Fehlern beispielsweise eine Anpassung auf 1.500 bis 3.000 Millisekunden, maximal ein bis zwei parallele Verbindungen und einen weiteren Test nach jeder Änderung. Für 429- oder 503-Antworten sollte außerdem ein vorhandener Retry-After-Header berücksichtigt werden.

Ein sehr hoher Crawl-Delay-Wert kann technische Analysen unnötig verlängern und bei unterstützenden Suchmaschinen-Bots die Erfassung neuer URLs verzögern. Setze deshalb keinen pauschalen Wert. Beginne mit einer moderaten Pause, beobachte Statuscodes und Antwortzeiten und erhöhe den Abstand nur bei messbarer Serverbelastung.

Crawl-Delay richtig prüfen

Messbar ist das Crawl-Delay über Serverlogs und den verwendeten Crawler. Serverlogs zeigen Zeitstempel, User-Agent, angeforderte URL und HTTP-Statuscode jeder Anfrage. Der Abstand zwischen zwei Einträgen desselben Bots macht sichtbar, ob eine Pause eingehalten wird und ob trotz Verzögerung Fehler auftreten.

Ein konfigurierbarer Technik-Crawler hilft dabei, Crawl-Zeitpunkt, Tiefe und Abrufverhalten an die Website anzupassen. Bei Rate-Limits empfiehlt sich ein schrittweises Vorgehen: Parallelität reduzieren, Crawl-Delay erhöhen, den Crawl wiederholen und anschließend prüfen, ob keine 429-Antworten mehr auftreten.

Für eine vollständige Bewertung reicht die robots.txt nicht aus. Ein laufender Prozess für technische SEO prüft zusätzlich Statuscodes, interne Links, Weiterleitungen, Ladezeiten und Indexierbarkeit. Ein technisches SEO-Audit eignet sich, wenn Crawling-Probleme mehrere Bereiche der Website betreffen.

Typische Fehler beim Crawl-Delay

Der häufigste Fehler besteht darin, das Crawl-Delay als verbindlichen Standard der robots.txt zu behandeln. Die Anweisung gehört nicht zu den Regeln, die jeder Bot unterstützt. Ein seriöser Crawler kann sie beachten, ein anderer Bot kann sie ignorieren. Kritische Serverbereiche benötigen deshalb technische Zugriffskontrollen wie Rate-Limits, Authentifizierung oder Firewall-Regeln.

Ein Wert wird eingetragen, ohne das Verhalten des betroffenen Bots zu prüfen.
Googlebot wird als unterstützender Crawler vorausgesetzt.
Ein Serverproblem wird ausschließlich über die robots.txt behandelt.
Alle Bots erhalten denselben Wert, obwohl sie unterschiedliche Aufgaben erfüllen.
Nach der Änderung werden weder Logs noch HTTP-Statuscodes kontrolliert.

Vor einer Anpassung solltest du außerdem kontrollieren, ob Parameter-URLs, interne Suchseiten oder endlose Kalenderstrukturen unnötig viele Abrufe erzeugen. Eine saubere URL-Steuerung reduziert die Crawl-Last meist gezielter als eine pauschale Pause. Der kostenlose SEO-Check liefert eine erste Prüfung von robots.txt, Statuscodes, Sitemap und weiteren technischen Signalen.

Häufige Fragen zum Crawl-Delay

Welcher Crawl-Delay-Wert ist sinnvoll?

Es gibt keinen allgemein passenden Wert. Beginne bei einem eigenen Crawler mit einer kurzen Pause und erhöhe sie schrittweise, wenn Serverlogs eine steigende Antwortzeit oder HTTP-Statuscodes wie 429 zeigen.

Beachtet Googlebot das Crawl-Delay?

Nein. Googlebot unterstützt die Crawl-delay-Anweisung in der robots.txt nicht. Google steuert die Abrufgeschwindigkeit automatisch anhand eigener Signale und der Reaktion des Servers.

Wo wird das Crawl-Delay eingetragen?

Das Crawl-Delay kann in der robots.txt unter dem gewünschten User-Agent eingetragen werden. Die Datei muss im Stammverzeichnis der Domain liegen, damit Crawler sie unter der üblichen Adresse abrufen können.

Kann ein Crawl-Delay die Indexierung verzögern?

Ja, wenn der betreffende Crawler die Anweisung unterstützt und der Wert sehr hoch ist. Der Bot kann dann pro Stunde weniger URLs abrufen, wodurch neue oder aktualisierte Inhalte später entdeckt werden.

Was bedeutet der Statuscode 429 beim Crawling?

Der HTTP-Statuscode 429 bedeutet, dass innerhalb eines Zeitraums zu viele Anfragen eingegangen sind. Der Crawler sollte seine Geschwindigkeit reduzieren und einen vorhandenen Retry-After-Header respektieren.

Wie erkenne ich, ob ein Bot die Pause einhält?

Prüfe die Zeitstempel aufeinanderfolgender Anfragen desselben User-Agents in den Serverlogs. Der gemessene Abstand zeigt, ob der Bot die eingestellte Verzögerung berücksichtigt.