Langsame Indexierung: Ist der Googlebot Desktop die Ursache?

Copyright © Shutterstock/Fabiano's_Photo

John Mueller von Google wurde gefragt, ob das Crawlen durch den Googlebot Desktop erklären kann, warum Websites unter einer verzögerten Indexierung leiden. Der Fragesteller war besorgt über die langsame Indexierung und wollte wissen, ob das Crawlen durch den Desktop-Googlebot anstelle des Googlebot Mobile der Grund dafür ist.

Indexierung durch den Googlebot Desktop und Mobile

Google hat eine Vielzahl von Website-Crawlern, die von Link zu Link gehen und neue Webseiten entdecken, die sie crawlen und indexieren.

Wenn Sie sich Ihre Traffic-Protokolle ansehen, sehen Sie vielleicht:

• Googlebot Desktop
• Googlebot Smartphone
• Googlebot Image
• Mediapartners-Google (Mobile AdSense)
• FeedFetcher-Google
• Google-Read-Aloud
• AdsBot-Google
• Googlebot-Video

Dies sind nur einige der Google-bezogenen Crawler, die eine Website besuchen können.

Die von John Mueller beantwortete Frage bezog sich in erster Linie auf Googlebot Desktop und Googlebot Smartphone und welche Auswirkungen die Desktop-Version auf die Indexierung haben könnte.

Er meinte, dass der Googlebot Desktop kein Grund für Probleme bei der Indexierung ist. In der Praxis wird immer mit beiden Crawlern gecrawlt. Normalerweise kommen etwa 80% vom mobilen Googlebot und vielleicht 20% vom Desktop-Googlebot. Diese Verteilung sei normal und bedeutet nicht, dass der Desktop-Googlebot langsamer ist, als der Googlebot Mobile.

Hier seine exakte Antwort auf die Frage:

“In practice, we always crawl with both of these crawlers.

It’s just a matter of how much we crawl and index with any of these crawlers.

So, usually you’ll see something like 80% is coming from mobile Googlebot and 20% maybe from desktop Googlebot.

And that kind of ratio, that is essentially normal and doesn’t mean that things are slower than anything else.”

Mehrere Versionen von Googlebot crawlen Websites

Auf der Googlebot-Supportseite heißt es, dass beide Versionen des Googlebot Webseiten besuchen.

In der offiziellen Dokumentation von Google heißt es:

“Your website will probably be crawled by both Googlebot Desktop and Googlebot Smartphone.

You can identify the subtype of Googlebot by looking at the user agent string in the request.”

Laut John Mueller und Google ist es also völlig normal, von beiden Googlebots gecrawlt zu werden. Der Googlebot Desktop hat dabei keine Auswirkungen auf die Indexierung.

Quelle: Search Engine Journal