Google: Das Crawling wird gestoppt, sobald der Aufruf der robots.txt-Datei zu einem 500er-Fehler führt
Copyright @ Shutterstock / Tatyaby
Google stoppt das Crawlen der Website, wenn der Aufruf der robots.txt-Datei zu einem 500er-Fehler führt. Vorsicht ist geboten, denn auf lange Sicht drohen verheerende Folgen.
HTTP-Status-Codes aus der 500er-Gruppe signalisieren Serverprobleme. Auf diese 500er-Fehler reagiert Google empfindlich. Das Crawlen der betreffenden Seite wird verlangsamt, wenn solche Fehler auftreten, um den betreffenden Server nicht noch weiter zu belasten. Über längere Zeit können diese Fehler sogar zum Deindexieren der Seite führen.
Wenn der Aufruf der robots.txt-Datei zu einem 500er-Fehler führt, ist die Lage noch prekärer. Das Crawlen der Website wird dann durch Google gestoppt, da nicht ersichtlich ist, ob Seiten für diesen gesperrt sind. Dadurch droht ein Deindexieren der Seite, wenn der Fehler länger vernachlässigt wird.
An HTTP 500 code on your robots.txt file means the crawler will stop crawling any URL on your site. Even if other URLs have a different status. And probably, if it persists for long, will end in a slow de-indexing. https://t.co/ntWKWWfkSL
— Pedro Dias: ~/pedro$ (@pedrodias) 1. Juli 2019
Keine Kommentare vorhanden