Crawl-Budget

Das Crawl-Budget ist die Zahl der Haupt- und Unterseiten, die Google pro Webseite (Haupt-URL) maximal crawlt. Diese Zahl legen die Suchmaschinenalgorithmen von Google und anderen Suchmaschinen selbst fest, sie h├Ąngt stark vom Ranking einer Seite ab. Von Haupt-URLs mit einem hohen PageRank werden die Unterseiten h├Ąufiger gecrawlt. Die wichtigsten Unterseiten erfasst die Suchmaschine dabei besonders h├Ąufig, auch crawlt sie in tiefere Ebenen.

Wie l├Ąsst sich das Crawl Budget verbessern?

Mittels Crawl Optimization versucht man den Suchmaschinenbot dahingehend zu steuern, dass das vorhandene Crawl Budget m├Âglichst sinnvoll aufgeteilt wird und insbesondere wichtige Seiten indexiert werden. Ma├čnahmen im Rahmen der Crawl Optimization sind:

  • Verwirklickung einer flachen Seitenstruktur
  • interne Verlinkung von Seiten, die viele Backlinks besitzen mit Seiten, die h├Ąufiger gecrawlt werden sollen
  • Ausschluss unwichtiger Seiten vom Crawling-Prozess (z. B. durch robots.txt)
  • Ausschluss des Crawlings mithilfe der Meta-Angabe “noindex
  • XML-Sitemap mit wichtigsten Unterseiten

Sie haben noch Fragen?

Kontaktieren Sie uns

Kostenloser SEO-Check der OSG


Weitere Inhalte