Yahoo! Slurp

Copyright © Shutterstock/Lucian Milasan

Was ist Yahoo! Slurp?

Die Suchmaschine Yahoo! ist ein weltweit beliebtes Such-Tool, das von vielen Websurfern gerne als Alternative zu Google verwendet wird. Pro Tag erhält Yahoo! mehr als 2,76 Milliarden Seitenaufrufe und hat mehrere Hundert Millionen registrierte Benutzer. Mehr als 175 Millionen Nutzen neben der Suchmaschine verwenden die Benutzer auch zahlreiche andere Dienste wie E-Mail.

Einkaufsführer, Diskussionsgruppen und anderes. Slurp (deutsch: schlürfen) ist ein überarbeiteter Web-Crawler, den Yahoo! von der Suchmaschine Inktomi im Jahre 2002 übernommen hat. Vorher war Yahoo! ein von einer Redaktion erstelltes Webverzeichnis. Seit dieser Zeit verwendet Yahoo! den Such-Algorithmus von Inktomi, um die Webseiten weltweit zu erfassen und zu indexieren.

Wie funktioniert Yahoo! Slurp?

Der Suchroboter Slurp 2.0 durchsucht das Web, navigiert von Site zu Site und erfasst die Informationen, die Yahoo! zur Erstellung des Web-Indexes benötigt. Erwähnenswert ist, dass der Suchroboter den gesamten Text einer Webseite in der Yahoo! Datenbank speichert, eine Eigenschaft die nicht alle Web-Crawler besitzen. Mit Slurp 2.0 reagierte Yahoo! auf die Such-Algorithmen von Google und versuchte verlorengegangene Marktanteile zurückzuholen. Durch eine Suchmaschinenoptimierung können Website-Besitzer dazu beitragen, die Aufmerksamkeit von Slurp auf qualitativ hochwertige und relevante Webinhalte zu richten.

Welche Seiten werden von Yahoo! Slurp nicht akzeptiert?

Nicht alle Webseiten enthalten Informationen, die für Benutzer wertvoll sind. Um schlechte Suchergebnisse und negative Benutzererfahrungen zu vermeiden, schließt Slurp alle Ergebnisse von der Indexierung aus, die unangemessene, redundante oder minderwertige Inhalte enthalten. Das ist zum Beispiel bei Spam der Fall. Seiten, die der Crawler nicht sehen möchte sind:

• Seiten, welche die Genauigkeit, die Vielfalt und die Relevanz der Suchergebnisse beeinträchtigen
• Seiten, welche die Aufmerksamkeit der Benutzer nur auf eine andere Seite lenken
• Gespiegelte oder kopierte Inhalte
• Websites mit zahlreichen, unnötigen und virtuellen Hostnamen
• Seiten, die in großer Menge oder automatisch generiert oder von geringem Wert sind
• Inhalte, die vor dem Benutzer verborgen sind
• Seiten, die der Suchmaschine einen anderen Inhalt geben als dem Benutzer
• Übermäßige Vernetzung von Websites, um die Popularität einer Website zu vergrößern
• Hauptsächlich für die Suchmaschinen erstellte Seiten
• Seiten mit Missbrauch von Namen von Mitbewerbern
• Mehrere Websites mit gleichem Inhalt
• Seiten, die übermäßige Pop-ups verwenden und die Navigation des Benutzers stören
• Seiten, die irreführend, betrügerisch sind oder eine schlechte Nutzererfahrung bieten

So verschließen Sie Yahoo! Slurp die Tür zu bestimmten Seiten

Auch wenn Yahoo! Slurp einige Funktionen besitzt, die einzigartig sind, gehorcht er doch den Anweisungen für Suchmaschinen, die in der Datei robots.txt vorhanden sind. Diese Anweisungen sind sehr wichtig, denn damit können Website-Besitzer steuern, welche Seiten vom Crawler durchsucht und indiziert werden. Auf diese Weise können Seiten besser geschützt werden, die zum Beispiel vertrauliche Informationen enthalten, die besser nicht in falsche Hände gelangen sollten. Die Datei robots.txt ist eine normale Textdatei, die sich im Stammverzeichnis befindet, leicht geändert werden kann und von allen Suchmaschinen respektiert wird. Dort können auch die Abstände festgelegt werden, in denen der Suchroboter die Site besucht.

Eine andere Möglichkeit, Yahoo! Slurp davon abzuhalten eine Seite zu indexieren, ist die Verwendung des Meta-Tags noindex. Der Crawler akzeptiert auch diese Anweisung, die im Kopf des Dokuments zwischen dem Code zwischen den Head-Tag eingefügt ist. Eine weitere nützliche Anweisung ist der Meta-Tag NoFollow. Auch diese Anweisung stellt sicher, dass die Links auf der Seite nicht beachtet werden.