Crawl-Budget
Copyright © Shutterstock / boonchoke
Was ist das Crawl Budget?
Definition
Das Crawl-Budget ist die Zahl der Haupt- und Unterseiten, die Google pro Webseite (Haupt-URL) maximal crawlt. Diese Zahl legen die Suchmaschinenalgorithmen von Google und anderen Suchmaschinen selbst fest, sie hängt stark vom Ranking einer Seite ab. Von Haupt-URLs mit einem hohen PageRank werden die Unterseiten häufiger gecrawlt. Die wichtigsten Unterseiten erfasst die Suchmaschine dabei besonders häufig, auch crawlt sie in tiefere Ebenen.
Wie lässt sich das Crawl Budget verbessern?
Mittels Crawl Optimization versucht man den Suchmaschinenbot dahingehend zu steuern, dass das vorhandene Crawl Budget möglichst sinnvoll aufgeteilt wird und insbesondere wichtige Seiten indexiert werden. Maßnahmen im Rahmen der Crawl Optimization sind:
- Verwirklickung einer flachen Seitenstruktur
- interne Verlinkung von Seiten, die viele Backlinks besitzen mit Seiten, die häufiger gecrawlt werden sollen
- Ausschluss unwichtiger Seiten vom Crawling-Prozess (z. B. durch robots.txt)
- Ausschluss des Crawlings mithilfe der Meta-Angabe “noindex“
- XML-Sitemap mit wichtigsten Unterseiten
Sie haben noch Fragen?
