Rate Limiting
Was ist Rate Limiting?
Rate Limiting bezeichnet die kontrollierte Begrenzung von Anfragen an einen Server, eine API oder einen Onlinedienst innerhalb eines festgelegten Zeitraums. Die Maßnahme schützt Systeme vor Überlastung, verteilt Ressourcen fair und begrenzt automatisierte Zugriffe. Überschrittene Limits führen häufig zum HTTP-Statuscode 429 und einer vorübergehenden Ablehnung weiterer Anfragen.
Wie Rate Limiting funktioniert
Rate Limiting prüft bei jeder Anfrage, ob ein definierter Grenzwert bereits erreicht wurde. Ein System kann beispielsweise höchstens 100 API-Anfragen pro Minute und API-Schlüssel zulassen. Solange der Grenzwert nicht ausgeschöpft ist, verarbeitet der Server die Anfragen regulär. Danach lehnt er weitere Zugriffe ab oder verzögert ihre Verarbeitung.
Ein Rate Limit kann sich auf unterschiedliche Merkmale beziehen. Häufig begrenzen Server die Zahl der Zugriffe pro IP-Adresse, Benutzerkonto, API-Schlüssel, Sitzung oder User-Agent. Der User-Agent ist eine Kennung, mit der sich ein Browser, Bot oder Crawler gegenüber dem Server identifiziert.
Die Grenzwerte hängen vom jeweiligen System und Anwendungsfall ab. Eine öffentliche Produktseite benötigt andere Regeln als eine interne API, ein Login-Formular oder ein automatisierter Website-Crawler. Betreiber definieren deshalb meist mehrere Limits für verschiedene Endpunkte, Nutzergruppen und Zugriffsmuster.
HTTP-Statuscode 429
Der HTTP-Statuscode 429 Too Many Requests zeigt an, dass ein Client innerhalb kurzer Zeit zu viele Anfragen gesendet hat. Die Begrenzung erfolgt typischerweise pro IP-Adresse, API-Schlüssel oder User-Agent. Ein Retry-After-Header kann zusätzlich mitteilen, nach welcher Wartezeit der Client erneut anfragen darf.
Verfahren zur Zugriffskontrolle
Rate Limiting lässt sich mit mehreren Algorithmen umsetzen. Die Wahl des Verfahrens beeinflusst, wie das System mit kurzfristigen Lastspitzen umgeht und wie gleichmäßig Anfragen verarbeitet werden.
| Verfahren | Funktionsweise | Typischer Einsatz |
|---|---|---|
| Fixed Window | Zählt Anfragen innerhalb eines festen Zeitfensters, etwa pro Minute. | Einfache APIs und interne Dienste |
| Sliding Window | Betrachtet einen gleitenden Zeitraum und verhindert starke Lastspitzen an Fenstergrenzen. | APIs mit gleichmäßiger Auslastung |
| Token Bucket | Jede Anfrage verbraucht einen Token. Neue Tokens werden mit einer festgelegten Rate ergänzt. | Dienste, die kurze Zugriffsspitzen erlauben |
| Leaky Bucket | Anfragen gelangen in eine Warteschlange und werden mit gleichmäßiger Geschwindigkeit verarbeitet. | Systeme mit kontrolliertem Datenfluss |
Der Token-Bucket-Algorithmus erlaubt kurzfristige Spitzen, solange genügend Tokens verfügbar sind. Das Leaky-Bucket-Verfahren glättet den Datenverkehr stärker, weil Anfragen mit einer konstanten Rate abgearbeitet werden. Sliding Window liefert eine genauere Kontrolle als Fixed Window, benötigt jedoch meist mehr Rechenleistung und Speicher.
Relevanz für SEO und Crawling
Rate Limiting beeinflusst SEO, wenn Suchmaschinen-Bots oder technische Analysewerkzeuge eine Website abrufen. Zu strenge Regeln können legitime Crawler verlangsamen oder blockieren. Dadurch werden neue und geänderte Seiten möglicherweise später gefunden, technische Prüfungen bleiben unvollständig und Monitoring-Daten weisen Lücken auf.
Eine pauschale Freigabe aller Bots ist keine belastbare Lösung. Website-Betreiber sollten bekannte Crawler anhand mehrerer Merkmale prüfen und für verifizierte Dienste passende Regeln definieren. Dazu gehören kontrollierte Grenzwerte, dokumentierte Ausnahmen und eine laufende Auswertung der Server-Logs.
Bei umfangreichen Onlineshops oder internationalen Websites kann ein vollständiger technischer Crawl viele Anfragen erzeugen. Ein automatisierter Technik-Crawler benötigt deshalb eine abgestimmte Zugriffsgeschwindigkeit. Treten Blockierungen auf, liefern Server-Protokolle und ein technisches SEO-Audit die Grundlage für eine gezielte Anpassung.
Rate Limits bei APIs und KI
APIs verwenden Rate Limits, um Rechenleistung kontrolliert zu verteilen und die Verfügbarkeit für alle Nutzer zu sichern. Das betrifft beispielsweise den Abruf von Keyword-Daten, Werbekonten, Produktinformationen oder KI-Antworten. Das Limit kann pro Sekunde, Minute, Stunde oder Abrechnungszeitraum gelten.
Für SEO, SEA und GEO (Generative Engine Optimization) entstehen Probleme, wenn automatisierte Datenprozesse das erlaubte Kontingent überschreiten. Fehlende API-Antworten können Berichte verzögern, Messreihen unterbrechen oder zu unvollständigen Analysen führen. Anwendungen sollten deshalb Antwortcodes protokollieren und abgebrochene Abrufe kontrolliert wiederholen.
Beim Exponential Backoff verlängert ein Client die Wartezeit nach jedem fehlgeschlagenen Versuch. Er wartet beispielsweise zunächst eine Sekunde, dann zwei, vier und acht Sekunden. Eine zufällige Zusatzverzögerung verhindert, dass viele Clients gleichzeitig erneut zugreifen und eine weitere Lastspitze auslösen.
Unterschiede zu ähnlichen Schutzmechanismen
Der Unterschied zwischen Rate Limiting und Throttling liegt in der Reaktion auf den Grenzwert. Rate Limiting lehnt zusätzliche Anfragen häufig vollständig ab. Throttling reduziert dagegen die Verarbeitungsgeschwindigkeit, stellt Anfragen in eine Warteschlange oder liefert Antworten verzögert aus. In der Praxis werden beide Bezeichnungen teilweise synonym verwendet.
Ein Nutzungskontingent begrenzt die Gesamtmenge über einen längeren Zeitraum. Eine API kann beispielsweise 10.000 Anfragen pro Monat erlauben und zusätzlich ein Rate Limit von 20 Anfragen pro Sekunde festlegen. Das Kontingent kontrolliert damit den Gesamtverbrauch, während das Rate Limit kurzfristige Lastspitzen steuert.
Eine Web Application Firewall, kurz WAF, bewertet Zugriffe anhand von Sicherheitsregeln. Sie kann verdächtige Anfragen, bekannte Angriffsmuster oder bestimmte Herkunftsadressen blockieren. Rate Limiting ist häufig eine Funktion der WAF, kann aber auch direkt im Webserver, CDN, CMS, Shopsystem oder API-Gateway eingerichtet sein.
Rate Limiting richtig konfigurieren
Ein sinnvoller Grenzwert basiert auf realen Zugriffsdaten. Server-Logs zeigen, wie viele Anfragen normale Nutzer, Suchmaschinen-Bots, interne Anwendungen und Analysewerkzeuge senden. Auf dieser Grundlage lassen sich Schwellenwerte definieren, die Ressourcen schützen und legitime Zugriffe weiter ermöglichen.
Eine kurze Praxisbeobachtung aus technischen SEO-Projekten: Unvollständige Crawls werden häufig zunächst dem Analysewerkzeug zugeschrieben. Die Server-Logs zeigen dann wiederkehrende 429-Antworten oder Regeln im CDN, die parallele Anfragen begrenzen. Die Ursache liegt in solchen Fällen in der Abstimmung zwischen Crawler und Serverkonfiguration.
Nach einer Anpassung sollte das Monitoring mindestens die Zahl der 429-Antworten, die betroffenen URLs, den jeweiligen Client und die Serverauslastung erfassen. Ergänzend helfen regelmäßige technische SEO-Kontrollen und ein Ladezeiten-Check, Überlastungen und Erreichbarkeitsprobleme voneinander zu unterscheiden.
Wenn du technische Crawls, API-Daten und Website-Monitoring zentral prüfen möchtest, kannst du einen kostenlosen Account anlegen.
Häufige Fragen zu Rate Limits
Wie erkenne ich, ob ein Rate Limit aktiv ist?
Ein aktives Rate Limit erkennst du häufig am HTTP-Statuscode 429, an entsprechenden Einträgen im Server-Protokoll oder an Hinweisen in der API-Dokumentation. Wiederholt fehlgeschlagene Anfragen nach kurzen Zugriffsspitzen sind ebenfalls ein typisches Signal.
Wie lange dauert eine Sperre durch Rate Limiting?
Die Dauer hängt von der Konfiguration des Dienstes ab. Eine Sperre kann wenige Sekunden, mehrere Minuten oder länger gelten. Enthält die Antwort einen Retry-After-Header, nennt dieser die vorgesehene Wartezeit.
Kann Rate Limiting das Google-Crawling verhindern?
Ja, zu strenge oder fehlerhafte Regeln können auch legitime Suchmaschinen-Bots begrenzen. Wiederkehrende Blockierungen können dazu führen, dass Google weniger Seiten abruft oder Änderungen später verarbeitet.
Was soll ein Client bei einem 429-Fehler tun?
Der Client sollte weitere Anfragen vorübergehend aussetzen, den Retry-After-Header beachten und die Abfragerate reduzieren. Wiederholungsversuche sollten mit zunehmenden Wartezeiten und einer zufälligen Zusatzverzögerung erfolgen.
Ist Rate Limiting ein Schutz vor DDoS-Angriffen?
Rate Limiting kann einfache Überlastungsversuche und ungewöhnlich viele Zugriffe begrenzen. Für umfangreiche DDoS-Angriffe reicht es allein meist nicht aus, da dafür zusätzliche Schutzmechanismen auf Netzwerk-, CDN- und Firewall-Ebene erforderlich sind.
Wo wird ein Rate Limit eingerichtet?
Rate Limits lassen sich im Webserver, CDN, API-Gateway, CMS, Shopsystem oder in einer Web Application Firewall einrichten. Mehrere aktive Regeln können sich überschneiden, weshalb bei der Fehlersuche alle beteiligten Ebenen geprüft werden sollten.
Sie haben noch Fragen?
