Wie Google in Zukunft Websites crawlt

Copyright © pexels/Johannes Plenio

Google hat bekannt gegeben, dass die Häufigkeit, mit der Websites gecrawlt werden, eventuell reduziert werden soll. Der Grund dafür sind die jetzigen Computing-Ressourcen, die für das Crawling und die Indexierung von Websites verbraucht werden.

Wie nachhaltig ist Crawling und Indexierung?

In der neusten Episode des Search Off The Record Podcasts wurde die Nachhaltigkeit von Crawling angesprochen. Datenverarbeitung und EDV-Berechnungen sind generell nicht so ressourcenarm, wie man sich das vorstellt, auch wenn alles virtuell stattfindet. Ein Beispiel ist das bitcoin mining, das Unmengen an Energie verbraucht.

Google wirtschaftet zwar seit vielen Jahren kohlenstofffrei, dennoch lässt sich laut Gary Illyes der Ressourcenverbrauch weiter reduzieren. Crawling und Indexierung sind Themen, bei denen Handlungsspielraum möglich ist. SEO Experten haben im letzten Jahr schon bemerkt, dass Websites weniger häufig gecrawlt und indexiert wurden.

Wie ändert sich das Crawling?

Grundsätzlich gibt es zwei Arten von Crawling: refresh crawling und discovery crawling. Laut Illyes ändert sich eventuell das Verhalten von refresh crawls, um Crawling nachhaltiger zu machen. Refresh crawls besuchen bereits indexierte Websites erneut und stellen somit mögliche Änderungen des Contents fest.

Bei den meisten Websites kann die Häufigkeit des refresh crawlings reduziert werden, da dort wenige Änderungen vorgenommen werden:

“So you don’t have to go back there that much. And often, we can’t estimate this well, and we definitely have room for improvement on refresh crawls. Because sometimes it just seems wasteful that we are hitting the same URL over and over again.”

Diese Änderungen an refresh crawls sind allerdings noch nicht bestätigt, sondern bisher nur eine Überlegung seitens Google.

Was bedeutet dies für Webseitenbetreiber?

Häufiges Crawling wird oft als gutes Zeichen für das SEO Ranking interpretiert. Dieses Missverständnis wird im Podcast aufgeklärt. Seiten ranken nicht besser, wenn sie öfters gecrawlt werden.

Zudem lernt der Algorithmus, auf welchen Seiten sich häufig Content ändert. Diese werden weiterhin regelmäßig gecrawlt werden, sodass Änderungen auf der Website direkt in den SEO Rankings einkalkuliert werden können.

Quelle: searchenginejournal.com