Deep Crawl

deep crawl

Copyright © Shutterstock / Black Creator 24

Der Begriff Deep Crawl bezieht sich auf das Crawlen von Suchmaschinen. Das Crawlen bezeichnet dabei das Durchsuchen von Inhalten im Internet. FĂŒr eine bestimmte WebprĂ€senz kann das in mehreren Stufen erfolgen. Die erste Stufe ist zum Beispiel die Startseite der WebprĂ€senz. Diese wird  oft durch die Root URL aufgerufen. Alle weiteren Inhalte, die ĂŒber diese Root URL mit der entsprechenden Erweiterung aufgerufen werden können, befinden sich auf unterschiedlichen hierarchischen Ebenen. Das Deep Crawl durchsucht zahlreiche dieser Ebenen und versieht die gefundenen Inhalte mit Indizes.

Verschiedene Suchmaschinen gehen mit den Ebenen unterschiedlich um. In vielen FĂ€llen wird der Suchvorgang auf eine bestimmte Ebene beschrĂ€nkt. Damit wird verhindert, dass zum Beispiel automatisch generierte URLs unter der Root URL in das Crawling eingebunden werden. Denn es kann passieren, dass solche Crawl-Aufrufe sehr groß werden und das Hosting der WebprĂ€senz ĂŒberfordern. In den AnfĂ€ngen des Deep Crawl sind dabei nicht wenige Webserver abgestĂŒrzt.

Die Begrenzung auf eine sinnvolle Ebene schĂŒtzt also beide Seiten vor einem unsinnigen Zugriff der Suchmaschine. Denn ein Suchvorgang ĂŒber unzĂ€hlige Ebenen kann mehrere Stunden in Anspruch nehmen. WĂ€hrend dieser Zeit ist sowohl die Suchmaschine beschĂ€ftigt, als auch die WebprĂ€senz per se gefragt. Das kann bei entsprechender Dimensionierung auch dazu fĂŒhren, dass die eigene WebprĂ€senz fĂŒr tatsĂ€chliche Besucher nicht mehr oder eingeschrĂ€nkt verfĂŒgbar ist. Das ist natĂŒrlich unbedingt zu verhindern.

Vorteile und Grenzen des Deep Crawl

Die Vorteile des Deep Crawl liegen jedoch auf der Hand. Unterseiten einer WebprÀsenz werden als eigenstÀndige Seiten erkannt. Sie können als Suchergebnis direkt aufgerufen werden und erhöhen so die Chancen im Suchmaschinen-Ranking. Pflegt man also eine gut strukturierte und inhaltlich logisch aufgebaute WebprÀsenz, so ist das Deep Crawl eine tolle Möglichkeit. Denn es ist eine Option in der Suchmaschinenoptimierung.

Neben dem Suchmaschinen-Ranking an sich kann nĂ€mlich auch die logische Struktur einer WebprĂ€senz kritisch hinterfragt werden. Denn die Regeln des Suchmaschinen-Rankings werden auch auf die Unterseiten im Deep Crawl angewendet. Betrachtet man also den Inhalt an sich und den Aufbau unter dem Kontext des Crawl-Prozesses, ergibt sich eine optimale VerknĂŒpfung.

Doch auch der Prozess des Deep Crawl unterliegt Regeln. Denn gibt es auf einer WebprĂ€senz sehr viele Unterseiten, lĂ€uft auch die Suchmaschine Gefahr, die eigenen Ressourcen einseitig einzusetzen. Deshalb gibt es fĂŒr Suchmaschinen das sogenannte Crawl Budget. Das bedeutet, die Suchmaschine untersucht maximal eine festgelegte Anzahl an Seiten pro Root URL. Hat eine Seite nur wenige Unterseiten, ist das kein Problem. Werden jedoch dynamisch unzĂ€hlige Unterseiten erzeugt, kann die Grenze schnell erreicht sein.

Dann geht unter UmstĂ€nden wichtiger Inhalt der Website aus Sicht der Suchmaschine verloren. Gegen dieses PhĂ€nomen kann man jedoch Gegenmaßnahmen ergreifen. So können zum Beispiel unwichtige Seiten bewusst vom Crawling ausgeschlossen werden. Als Beispiel können Seitenaufrufe ĂŒber eine spezifische URL genannt werden, die die ReprĂ€sentation des gleichen Inhalts mit verschiedenen Layouts reprĂ€sentieren. Diese können durch ein definiertes URL-Pattern direkt vom Deep Crawl ausgeschlossen werden.

Verzögerte Aktualisierungen von Suchergebnissen

Die Mechanismen des Deep Crawl sind komplex und können viel Zeit in Anspruch nehmen. Deshalb ist es nicht ungewöhnlich, dass sich ein Suchzyklus fĂŒr eine bestimmte Root URL ĂŒber mehrere Tage hinzieht. Die Ergebnisse, die durch das Deep Crawl auf diese Weise entstehen, sind also nicht immer hochaktuell. Ändern sich Inhalte oder kommen neue Bereiche hinzu, kann es einige Zeit dauern, bis diese Inhalte sich auf das Suchmaschinen-Ranking auswirken.

FĂŒr die Strategie des Marketings bedeutet das, Relaunches und InhaltsĂ€nderungen genau zu planen. So kann es sinnvoll sein, bereits einige Zeit vor der Freischaltung bestimmter Inhalte diese Inhalte dem Crawler zur VerfĂŒgung zu stellen. Auf diese Weise kann das Deep Crawl so beeinflusst werden, dass neue Seiten direkt mit einbezogen werden und bei Freischaltung auch den Nutzern in den Suchergebnissen zur VerfĂŒgung stehen.


Sie haben noch Fragen?

Kontaktieren Sie uns

Kostenloser SEO-Check der OSG


Weitere Inhalte