Google – Änderungen der Textdatei robots.txt innerhalb eines Tages erfasst

Copyright © Shutterstock/josefkubes

Die Textdatei robots.txt legt fest, welche Bereiche der Website vom Crawler erfasst werden dürfen und welche nicht. Manchmal sind Änderungen der Datei nötig. Beispielsweise dann, wenn man nicht mehr möchte, dass bestimmte Seiten gecrawlt werden sollen.

Doch wie lange dauert es, bis diese Änderungen erfasst werden? Diese werden innerhalb eines Tages berücksichtigt. So schrieb es John Mueller am 3. Juli auf Twitter:

Sounds like something’s set up wrong, robots.txt directives generally get picked up within a day. Maybe double-check upper/lower case? Parameters?

— ???? John ???? (@JohnMu) 3. Juli 2018

Quelle: www.seo-suedwest.de

Titelbild: Copyright © Shutterstock/josefkubes