Google: Großteil der Websites muss sich keine Gedanken über das Crawl-Budget machen
Copyright © Shutterstock / Arthur_Shevtsov
Google stellt für jede Website ein Crawl-Budget zur Verfügung. Dieses Budget bestimmt, wie oft der Googlebot die Website crawlt, um nach Seiten zum Indizieren zu suchen.
Laut dem Google Search Relations Team müssen sich die meisten Websites keine Sorgen um ihr Crawl-Budget machen – einige müssen sich dennoch darum kümmern. Google hat deshalb im letzten Monat eine ganze Episode der YouTube-Serie SEO Mythbusting dem Thema Crawl-Budget gewidmet.
Insbesondere die Anzahl der Seiten ist hier von Bedeutung: Auch wenn Google Mitarbeiter Gary Illyes hierzu nicht gerne harte Zahlen liefert, gibt er an, dass etwa eine Million URLs die Grundlinie sind, bevor sich ein Website-Eigentümer wirklich um das Crawl-Budget kümmern muss. Sites mit einer geringeren Anzahl an URLs müssen sich keine Gedanken um das Budget machen.
Illyes unterbreitet zwei Lösungsvorschläge bei Problemen mit dem Crawl-Budget:
- Entferne nicht benötigte Seiten, denn schließlich reduziert jede Seite, die vom Googlebot gecrawlt werden muss, das Crawl-Budget für andere Seiten auf der Website. Es besteht also die Gefahr, dass durch unnötige Seiten, kein Budget mehr für das Crawlen von wichtigem Content bleibt.
- Vermeide es „Back off“- Signale an den Googlebot zu senden. Back off-Signale sind bestimmte Sever-Codes, die den Googlebot anweisen, das Crawling einer Website sofort zu beenden.
Zusammenfassend lässt sich sagen, dass das Thema Crawl Budget, stets aus Sicht des Users betrachtet werden sollte. Ziel jedes Website-Betreibers sollte es sein, dass Nutzer möglichst schnell die gesuchten Inhalte erreichen. Wenn man dieses Ziel immer im Hinterkopf behält, sollte auch das Crawl-Budget kein Problem sein.
Mit unserem kostenlosen SEO Check kannst du deine Website direkt analysieren und erhältst Optimierungsvorschläge, die dir helfen dein Crawl-Budget optimal zu nutzen!
Quelle: searchenginejournal.com
Kommentare
Jan-Peter Ruhso 28. August 2020 um 9:42
Um das Crawl-Budget (also das reine Volumen) muss man sich keine Sorgen machen, das ist in den meisten Fällen ausreichend vorhanden. Kritisch wird es aber bei der Effizienz des eingesetzten Crawl-Budgets. Es bringt dem Webseitenbetreiber nichts, wenn das gesamte Budget z.B. für eine Handvoll URLs ver(sch)wendet wird z.B. aufgrund mangelnder Strukturen, vielen Fehlerseiten etc. Auch der Bot selbst kann schon mal schnell in einen Loop geraten und sich in eine URL verlieben, diese zum Abwinken crawlen und andere gar nicht beachten… ;-) Mein Fazit: Die Crawl-Effizienz betrifft definitiv auch Webseiten unter 1 Mio URLs. LG Jan :)