User Agent

Was ist ein User Agent?

Überblick, Arten und Nutzen des User Agents

Es sind mehrere verschiedene Typen und Anwendungsbereiche von User Agents zu unterscheiden. Ihr Nutzen besteht darin, genau erkennen zu können, wann ein Bot einer Suchmaschine und wann ein menschlicher Anwender eine Webseite aufgesucht hat. Dies kann dabei helfen, Logfiles auszuwerten.

Zu den bekanntesten Anwendungen gehören Internet-Browser wie beispielsweise Firefox, Chrome und Safari. Diese Programme verwenden Nutzer, um im Internet Webseiten zu betrachten, Apps auszuführen oder nach Inhalten zu suchen. Auch dynamische Inhalte, Grafiken oder Videos gehören zum Leistungsumfang von Webbrowsern. Zu den bekanntesten gehören Mozilla Firefox, Google Chrome und der Microsoft Internet Explorer.

Ein weiterer Anwendungsbereich von User Agents sind Web-Applikationen. Zur Ausführung von Dateien, aber auch zur Kommunikation und Content-Pflege kommen Web-Applications zum Einsatz. Beispiele sind Flash-Player, Streaming-Dienste und Video-Clients.

Ebenso gehören Crawler oder Spider zu den Einsatzgebieten. Diese von Suchmaschinen angewandten Programme durchsuchen das Internet fortwährend nach neuen Inhalten und Informationen. Die Crawler erfassen auch Änderungen von Dokumenten.

Funktionsweise und Übertragung des User Agents

Sobald ein Zugriff auf eine Webseite durch einen Browser erfolgt, kommt es zu einer Mitteilung darüber, welcher User Agent hier eingesetzt wird. Die Übertragung erfolgt bei jedem Seitenaufruf über den Header. Die Information über den User Agent teilt das Programm dem Dokument im Moment der Anfrage mit. Dieser Prozess nennt sich Agent Name Delivery.

Die Kennung eines User Agents ist aus einer Zeichenkette aufgebaut. Diese beinhaltet mehrere Informationen, darunter den Namen sowie die Version des Programms, von dem der Aufruf ausgeht, das Betriebssystem, dessen verwendete Version sowie den Produktnamen. Ebenso sind eventuell vorhandene Plug-ins bei Browsern in den Informationen vorhanden.

Technisch ist ein User Agent imstande, beliebig viele Informationen zu beinhalten. Es handelt sich um keinen standardisierten Wert, sodass sich strukturell und inhaltlich unterschiedliche Angaben ergeben können. Grundsätzlich ist es auch möglich, bewusst Falschangaben zu übermitteln. Dies geschieht zur Verschleierung der Identität, sodass sich der User Agent als ein anderes Programm ausgibt.

Der User Agent und sein Stellenwert in der Suchmaschinenoptimierung

Anfragende Programme erhalten von Webseiten Inhalte, die auf ihre User Agents zugeschnitten sind. Wird als Urheber der Anfrage ein Bot identifiziert, so erhält dieser andere Informationen als ein menschlicher Anwender. Idee dahinter ist es, den real existierenden Nutzern über ihre Browser die vollständige Seite auszuliefern, während Crawlern oder Bots eine einfache Struktur ausgegeben wird.  Dieser Prozess wird Cloaking genannt.

Es handelt sich um eine dem Spam zuzuordnende Suchmaschinen-Methode. Aufgrund der einfachen Beeinflussbarkeit des User Agents hat diese Spam-Methode aber keine große Relevanz mehr. Heute sind die Crawler der meisten Suchmaschinen mit einer Kennung ausgegeben, die an die eines regulären Browsers heranreicht. Um Crawler von tatsächlichen Nutzern zu unterscheiden, wird im Kommentar ein Hinweis wie “Googlebot” übermittelt.

Damit eine Suchmaschine dem Anwender passende Suchergebnisse ausgeben kann, wird das Internet mehrmals pro Tag nach Content durchsucht. Hierbei können Server nicht selbstständig unterscheiden, ob der Webseiten-Besuch von einem Suchmaschinen-Bot oder einem menschlichen Nutzer stammt. Durch User Agents kann der Webserver zwischen Mensch und Robot unterscheiden.