Google beachtet nur die robots.txt im Wurzelverzeichnis

Veröffentlicht von Tim Lagemann 17.04.2018 Kategorie(n): News, SEO

Google berücksichtigt nur robots.txt im Wurzelverzeichnis

Ein Twitter-Nutzer wunderte sich darüber, dass der Googlebot, laut Logfiles, auf robots.txt-Dateien von Unterverzeichnissen seiner Website zugreift. John Müller entgegnete, dass der Googlebot ausschließlich die robots.txt-Datei im Wurzelverzeichnis beachtet. Zu einem Zugriff auf robots.txt von Unterverzeichnissen kam es wahrscheinlich durch entsprechende Verlinkungen.

That wouldn't be from normal crawling — probably just someone linking there. We only pick up the robots.txt for crawling directives from the root.

— John ☆.o(≧▽≦)o.☆ (@JohnMu) April 17, 2018

Google beachtet nur die robots.txt im Wurzelverzeichnis

Beitrag bewerten

Über den Autor

Tim Lagemann studierte BWL mit dem Schwerpunkt Marketing an der Universität Osnabrück und ist seit Januar 2018 bei der Online Solutions Group GmbH in München tätig. Er betreut Kunden in den Bereichen SEO und Media.