Der Googlebot kennt zwei Arten von Crawling – Sie auch?

Copyright © pixabay/erik_stein

Beim Crawling von Webseiten durch den Googlebot gibt es zwei verschiedene Arten –die Entdeckung von neuem Content durch den discovery crawl und die Aktualisierung von bereits bestehendem Content durch den refresh crawl.

Die zwei Arten des Crawlings

Vorab ist laut John Mueller, Webmaster Trend Analyst bei Google, zu klären, dass Google nicht Webseiten crawlt, sondern vielmehr die verschiedenen Unterseiten einer Webseite. So kann es sein, dass der refresh crawl eine bereits indexierte Homepage einer Webseite besucht und dort einen Link zu einer neuen Unterseite findet. Dieser Link wird dann vom discovery crawl gefolgt. Somit ist grundsätzlich ein Mix der zwei Arten des Crawlings auf einer Webseite zu beobachten.

Welche Auswirkungen hat dies für Webseitenbetreiber?

Mueller erklärt weiter, was dies für Webseitenbetreiber bedeutet. Webseitenbetreiber können hierbei Schwankungen in den Häufigkeiten, mit denen ihre Seiten durch den Googlebot gecrawlt werden, erkennen. Dies ist auf die Änderungen auf den verschiedenen Seiten zurückzuführen: Wird der Content einer Seite mehrmals täglich aktualisiert, wird die Seite öfters gecrawlt. Seiten, die hingegen selten geändert werden, crawlt der Googlebot unregelmäßiger.

Laut Mueller hat die Häufigkeit, mit der eine Webseite gecrawlt wird, keine Auswirkungen auf das SEO-Ranking:

“And that’s not a sign of quality, or a sign of ranking, or anything like that. It’s really just purely from a technical point of view we’ve learned we can crawl this once a day, or once a week, and that’s okay.”

Quelle: searchenginejournal.com