Liste der Googlebot-IP-Adressen veröffentlicht
Wenn Sie wissen, welcher Bot wirklich von Google stammt und welcher nicht, können Sie entscheiden, welche Rogue Bots Sie von Ihrer Website fernhalten sollten.
Google veröffentlicht vollständige IP-Adressen Liste
Google hat die vollständige Liste der IP-Adressen veröffentlicht, die es für das Crawling und den Zugriff auf Ihre Website unter den Googlebot-Nutzeragenten verwendet. Google sagte, wenn Sie nicht Reverse-DNS oder andere Methoden zur Überprüfung von Googlebot verwenden möchten, können Sie Googlebot anhand der IP-Adresse identifizieren, indem Sie die IP-Adresse des Crawlers mit der Liste der Googlebot-IP-Adressen abgleichen.
Wozu brauche ich das?
Wenn Sie glauben, dass jemand Ihre Website crawlt und vorgibt, Googlebot zu sein, und Sie überprüfen möchten, ob es sich bei diesem gefälschten Googlebot-Crawler wirklich um Google handelt, können Sie entweder die Befehlszeilenmethode oder die automatische IP-Listenmethode verwenden.
IP Liste von Google
Sie können die vollständige Liste der Googlebot-IP-Adressen hier in dieser JSON-Datei abrufen. Beachten Sie, dass Google diese Liste aktualisieren kann, daher sollten Sie die Datei wahrscheinlich täglich überprüfen. Sie können auch auf alle anderen Google-Crawler zugreifen, die die IP-Adresse des Crawlers mit der vollständigen Liste der Google-IP-Adressen abgleichen. Auch diese IP-Adressen können sich im Laufe der Zeit ändern, daher sollten Sie in Ihre Mechanismen eine Möglichkeit zur Aktualisierung der IP-Adressen auf Ihrer Seite einbauen.
Warum uns das wichtig ist
Oft können Websites verlangsamt werden und möglicherweise sogar offline gehen, weil gefälschte Bots die Website crawlen und spidern. In den seltensten Fällen möchten Sie Google daran hindern, Ihre Website zu crawlen, da dies zu Indizierungs- und Ranking-Problemen in der Google-Suche führen kann. Wenn Sie also wissen, welcher Bot wirklich Google ist und welcher nicht, können Sie entscheiden, welche Bots Sie von Ihrer Website fernhalten wollen.
Es gibt auch Dienste von Drittanbietern, wie Cloudflare und andere, die Ihnen bei der Verwaltung helfen.
Quelle: Searchengineland
Keine Kommentare vorhanden