Google: Großteil der Websites muss sich keine Gedanken über das Crawl-Budget machen

Google Großteil der Websites muss sich keine Gedanken über das Crawl-Budget machen

Copyright © Shutterstock / Arthur_Shevtsov


Google stellt für jede Website ein Crawl-Budget zur Verfügung. Dieses Budget bestimmt, wie oft der Googlebot die Website crawlt, um nach Seiten zum Indizieren zu suchen.

Laut dem Google Search Relations Team müssen sich die meisten Websites keine Sorgen um ihr Crawl-Budget machen – einige müssen sich dennoch darum kümmern. Google hat deshalb im letzten Monat eine ganze Episode der YouTube-Serie SEO Mythbusting dem Thema Crawl-Budget gewidmet.

Insbesondere die Anzahl der Seiten ist hier von Bedeutung: Auch wenn Google Mitarbeiter Gary Illyes hierzu nicht gerne harte Zahlen liefert, gibt er an, dass etwa eine Million URLs die Grundlinie sind, bevor sich ein Website-Eigentümer wirklich um das Crawl-Budget kümmern muss. Sites mit einer geringeren Anzahl an URLs müssen sich keine Gedanken um das Budget machen.

Illyes unterbreitet zwei Lösungsvorschläge bei Problemen mit dem Crawl-Budget:

  • Entferne nicht benötigte Seiten, denn schließlich reduziert jede Seite, die vom Googlebot gecrawlt werden muss, das Crawl-Budget für andere Seiten auf der Website. Es besteht also die Gefahr, dass durch unnötige Seiten, kein Budget mehr für das Crawlen von wichtigem Content bleibt.
  •  Vermeide es „Back off“- Signale an den Googlebot zu senden. Back off-Signale sind bestimmte Sever-Codes, die den Googlebot anweisen, das Crawling einer Website sofort zu beenden.

Zusammenfassend lässt sich sagen, dass das Thema Crawl Budget, stets aus Sicht des Users betrachtet werden sollte. Ziel jedes Website-Betreibers sollte es sein, dass Nutzer möglichst schnell die gesuchten Inhalte erreichen. Wenn man dieses Ziel immer im Hinterkopf behält, sollte auch das Crawl-Budget kein Problem sein.

Mit unserem kostenlosen SEO Check kannst du deine Website direkt analysieren und erhältst Optimierungsvorschläge, die dir helfen dein Crawl-Budget optimal zu nutzen!

 

Quelle: searchenginejournal.com

Kostenloser SEO-Check der OSG



Weitere Inhalte


Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*
*