Google krönt robots.txt offiziell zum formalen Web-Standard

Krone

Copyright © Shutterstock/ n_defender


Seit rund 25 Jahren ist das Robots Exclusion Protocol, besser bekannt, als robots.txt, der inoffizielle Standard zum Ausschluss von Webseiten, die nicht gecrawlt werden sollen. Google verkündete gestern auf verschiedenen Kanälen, dass robots.txt nun zum formalen Internet-Standard erhoben wird.

Was ist robots.txt?

Robots.txt ist eine Datei, die es ermöglicht einen User Agent und Regeln zu erstellen, die dem Webmaster die Möglichkeit geben dem Crawler den Zugriff auf bestimmte Seiten zu verbieten. Diese Zugriffsverweigerung kann sowohl für einzelne URLs und Seiten, als auch für bestimmte Elemente gesetzt werden.

Von nun an soll das Protokoll bei der Internet Engineering Task Force (IETF) zum offiziellen Standard werden. So soll eine eindeutige Interpretation des Protokolls festgelegt werden. Manche Webmaster hatten nämlich in der Vergangenheit Probleme das Protokoll richtig zu schreiben. In seltenen Fällen wurde das Protokoll dann nicht richtig verwendet und manche Seiten wurden so nicht abgedeckt.

Tipp

Sensible Bereiche und Daten einer Website sollten niemals über die robots.txt geschützt werden, da auch Hacker dann genau wissen, wo sich sensible Daten befinden!

Standardisierung des Protokolls

Die Regeln, die vor 25 Jahren festgelegt wurden, werden von Google nicht verändert. Undefinierte Fälle beim robots.txt Parsing und Matching sollen nun aber vereinheitlicht werden. Auch Anpassungen auf das moderne Internet sollen erfolgen. Zusätzlich hat Google in dem Draft, dass sie der IETF geschickt haben, die Syntax für robots.txt klarer definiert. Künftig können undefinierte und undokumentierte Regeln dann nicht mehr genutzt werden.

robots.txt Parser wird Open Source

Google wird zukünftig auch den eigenen robots.txt Parser als Open Source bereitstellen. Damit öffnet Google die C++ library, die sie bei den eigenen Produktsystemen für Regeln beim Parcing und Matching in robots.txt-Elementen nutzen, für Entwickler. In das Open Source Tool soll zudem ein Test-Tool integriert werden, damit Entwickler gleich überprüfen können, ob ihre Arbeit korrekt ist.

Fazit

Durch die Standardisierung des Protokolls gewinnen sowohl Google als auch Webmaster mehr Kontrolle über ihre Inhalte im modernen Internet. Fehlerhafte Regeln werden so künftig minimiert und Google wird langfristig bessere Crawling Ergebnisse erhalten.

Quelle: OnlineMarketing.de

 

Kostenloser SEO-Check der OSG



Weitere Inhalte


Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*
*