Google: Blockieren spezieller Dateien in robots.txt

Copyright © Shutterstock/ MyImages - Micha

In der neuesten Episode von Ask Google Webmasters geht John Müller von Google darauf ein, ob es in Ordnung ist, spezielle Dateien in robots.txt zu blockieren.

Er beantwortet eine Frage zur Verwendung von robots.txt zum Blockieren spezieller Dateien, einschließlich .css und .htacess.

Hier ist die Frage, die eingereicht wurde:

“Sollte ich in Bezug auf robots.txt ‘disallow: /*.css$’, ‘disallow: /php.ini’, oder sogar ‘disallow: /.htaccess’?”

Laut Müller, kann Google die Website-Besitzer nicht daran hindern, diese Dateien zu verbieten. Obwohl es sicherlich nicht empfehlenswert ist.

In einigen Fällen ist das Blockieren spezieller Dateien einfach überflüssig, obwohl es in anderen Fällen die Fähigkeit von Googlebot, eine Website zu durchsuchen, ernsthaft beeinträchtigen könnte:

Quelle: searchenginejournal.com