John Muller gibt Hinweis, wie oft eine Seite neu-indexiert wird

(c) Shutterstock / tongocm photographer

In der letzten Q&A Session mit dem Google Experten, äußerte ein besorgter Webseiten-Besitzer den Verdacht, dass seine Seite nicht mehr so oft re-indexiert würde, wie es früher einmal der Fall war. Zum Teil dauere es Wochen, bis Änderungen in der Google Suche erschienen.

John Mullers Antwort: es dauere eben seine Zeit, bis eine Seite gecrawlt sei, denn ein schnellerer Vorgang könne zu Serverstörungen führen. Außerdem sei das Crawlbudget eines Bots begrenzt. Die genaue Seitenanzahl behielt er allerdings für sich.

Dadurch das die Bots nur eine bestimmte Anzahl an Seiten crawlen dürften, würden sie sich außerdem auf die wichtigen Seiten (wie die Homepage und Hauptkategorie-Seiten) konzentrieren und diese öfter crawlen, als z.B. alte Blog-Posts. Wichtige Seiten würden somit alle paar Tage, in manchen Fällen sogar öfter, neu-indexiert. Wie oft die weniger wichtigen Seiten dran kommen, ließ er jedoch offen.

Hier das Statement im O-Ton:

“Looking at the whole website all at once, or even within a short period of time, can cause a significant load on a website. Googlebot tries to be polite and is limited to a certain number of pages every day. This number is automatically adjusted as we better recognize the limits of a website. Looking at portions of a website means that we have to prioritize how we crawl.

So how does this work? In general, Googlebot tries to crawl important pages more frequently to make sure that most critical pages are covered. Often this will be a websites home page or maybe higher-level category pages. New content is often mentioned and linked from there, so it’s a great place for us to start. We’ll re-crawl these pages frequently, maybe every few days. maybe even much more frequently depending on the website.”

Quelle: https://www.searchenginejournal.com/googles-john-mueller-reveals-often-site-re-indexed-search/241427/

(Titelbild: Copyright © Shutterstock/tongcom photographer)