Google: Das Crawling wird gestoppt, sobald der Aufruf der robots.txt-Datei zu einem 500er-Fehler führt

robots.txt 500er-Fehler

Copyright @ Shutterstock / Tatyaby


Google stoppt das Crawlen der Website, wenn der Aufruf der robots.txt-Datei zu einem 500er-Fehler führt. Vorsicht ist geboten, denn auf lange Sicht drohen verheerende Folgen.

HTTP-Status-Codes aus der 500er-Gruppe signalisieren Serverprobleme. Auf diese 500er-Fehler reagiert Google empfindlich. Das Crawlen der betreffenden Seite wird verlangsamt, wenn solche Fehler auftreten, um den betreffenden Server nicht noch weiter zu belasten. Über längere Zeit können diese Fehler sogar zum Deindexieren der Seite führen.

Wenn der Aufruf der robots.txt-Datei zu einem 500er-Fehler führt, ist die Lage noch prekärer. Das Crawlen der Website wird dann durch Google gestoppt, da nicht ersichtlich ist, ob Seiten für diesen gesperrt sind. Dadurch droht ein Deindexieren der Seite, wenn der Fehler länger vernachlässigt wird.

 

Kostenloser SEO-Check der OSG



Weitere Inhalte


Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*
*

go digital Fördermöglichkeit