500 Fehlercodes: Wie sie die Google-Indizierung beeinflussen können

Copyright © Shutterstock/Roman Seliutin

John Mueller von Google beantwortete eine Frage darüber, ab wann 500-Fehlercodes dazu führen, dass der Googlebot Inhalte weniger oft crawlt. Mueller erläuterte Szenarien, in denen 500er-Antwortcodes keine Auswirkungen auf das Crawling haben und wann sie dazu führen können, dass Seiten aus dem Google-Index fallen.

500 Fehler verursacht: Googlebot wurde versehentlich blockiert

Die Person, die die Frage stellte, erklärte, dass ihr Content-Delivery-System so eingerichtet war, dass bösartige Bots blockiert wurden, während echte, menschliche Nutzer und legitime Bots die Website durchsuchen konnten.

Alles funktionierte einwandfrei, bis sie ihre “Server-Überwachungs-Suite” aktualisierten, und offenbar wurden die früheren Bot-Blockierungsfilter und -einstellungen nicht in das neue System übernommen.

Danach bemerkten sie, dass die Google Search Console anfing, 500 Fehler-Antwortcodes als Reaktion auf das Crawling durch Googlebot aufzulisten.

Nach der Schilderung des Geschehens wurde folgende Frage gestellt:

“The question came up from our technology team whether this represented real user impact and why we would look specifically at Googlebot and not real user metrics to prove that there’s an issue here.

So, given that context, I have a few questions.

[…]

From your perspective, how does Googlebot view 500 series errors and could you give any clarity on established …thresholds at which point Googlebot will …crawl source content …less, based on those errors?”

Was ist ein 500-Fehlercode?

Server übermitteln Browsern und Bots eine Vielzahl von Status-Antwortcodes. Diese Antwortcodes teilen z. B. mit, ob die Anforderung einer Seite erfolgreich oder nicht erfolgreich war oder auf eine andere Seite umgeleitet oder blockiert wurde.

• Der Antwortcode 200 teilt mit, dass die Anforderung einer Webseite erfolgreich war.
• Der Antwortcode 500 bedeutet, dass die Anfrage für eine Webseite nicht erfolgreich war.

Die formale Bezeichnung des Antwortcodes 500 lautet: “500 Internal Server Error”

Es gibt noch weitere Versionen des Antwortcodes 500, die einen bestimmten Grund dafür angeben, warum die Anfrage nach einer Webseite nicht erfolgreich war.

Der Antwortcode 500 ist insofern etwas allgemeiner, als er einfach bedeutet, dass die Seitenanforderung nicht erfolgreich war. Oft, aber nicht immer, bedeutet er, dass der Server nicht erreichbar war.

Google Search Console und 500-Fehlercodes

Es ist eine gute Idee, die Search Console auf 500 Fehlerantworten zu überwachen, denn sie sind ein deutlicher Hinweis darauf, dass etwas nicht stimmt.

Manchmal kann es bedeuten, dass der Server stark belastet und deshalb nicht in der Lage ist, Webseiten zu liefern, z. B. durch zu viele Bots.

In diesem Fall scheint das Problem auf eine Fehlkonfiguration im Content Delivery Network (CDN) zurückzuführen zu sein, die Google versehentlich den Zugriff auf Webseiten verwehrte.

Wie Googlebot-Indizierung durch 500 Fehler beeinträchtigt wird

Mueller erläuterte die Schritte, die Google als Reaktion auf 500-Fehlercodes unternimmt. Außerdem erklärte er, wie fortgesetzte Fehler schließlich dazu führen können, dass diese Webseiten aus dem Google-Suchindex entfernt werden.

Was also bei 500 Fehlern passiert, ist, dass versucht wird sie zu wiederholen. Wenn die 500 Fehler weiterhin sichtbar sind, dann wird das Crawling verlangsamt. Wenn sie dann immer noch zu sehen sind, dann werden diese URLs aus dem Index entfernt. Hin und wieder eine 500-Fehler-Seite zu haben, ist keine große Sache. Google wird es erneut versuchen, die Seite bleibt indiziert und wenn es das nächste Mal wieder gelingt, ist alles in Ordnung.

Als nächstes erklärt Mueller den Grund, warum Googlebot das Crawling verlangsamt. Googlebot selbst überlastet den Server.

“But if a large part of a site consistently has 500 errors and we might assume that maybe we’re causing the problem and we’ll slow down crawling of the whole site and at some point we’ll say well, it looks like these pages are really gone, we’re going to drop them.

So that’s essentially the effects that you would see there and if you’re talking about a large site and wondering like what percentage of 500 errors is okay… I don’t know.

My feeling is if you’re seeing something more than one percent then that sounds like something is kind of broken and probably would be something where we would start to slow down.

But I don’t think we have any hard thresholds where we’d say, this many requests and this many errors means this much slowing down.”

Google Search Console auf 500 Fehlercodes überwachen

Jeder Websitebetreiber muss selbst entscheiden, wie seine tägliche Routine aussieht. Für manche reicht es aus, die Search Console einmal pro Woche zu überprüfen. Manche finden es beruhigend, die Search Console einmal am Tag zu überprüfen, um auf unvorhergesehene Umstände reagieren zu können.

In jedem Fall sollten Sie die Search Console auf 500 Fehlercodes hin überwachen. Wie John Mueller bereits erwähnte, können umfangreiche 500er-Fehler ein Hinweis darauf sein, dass etwas nicht stimmt und sofortige Aufmerksamkeit benötigt wird.

Quelle: Search Engine Journal