Google beachtet nur die robots.txt im Wurzelverzeichnis
© Shutterstock/Thomas Reichhart
Ein Twitter-Nutzer wunderte sich darüber, dass der Googlebot, laut Logfiles, auf robots.txt-Dateien von Unterverzeichnissen seiner Website zugreift. John Müller entgegnete, dass der Googlebot ausschließlich die robots.txt-Datei im Wurzelverzeichnis beachtet. Zu einem Zugriff auf robots.txt von Unterverzeichnissen kam es wahrscheinlich durch entsprechende Verlinkungen.
Titelbild: Copyright © Shutterstock/Thomas Reichhart
Keine Kommentare vorhanden