Google: So ranken Seiten, die mit robots.txt geblockt wurden

Robots.txt

Copyright © Shutterstock / Besjunior


John Müller hat vor kurzem erklärt, wie die Relevanz von Suchanfragen für von robots.txt blockierten Seiten bestimmt wird. Google indiziert diese Seiten zwar weiterhin, die Frage ist jedoch, woher Google weiß für welche Arten von Abfragen die Seiten klassifiziert werden sollen. Diese Frage wurde gestern in einem Webmaster Hangout gestellt und John Müller hat darauf geantwortet.

Google kann den Inhalt der Seite natürlich nicht erkennen, wenn sie gesperrt ist. Also sucht Google nach anderen Möglichkeiten, um die URL mit anderen URLs zu vergleichen. Dies ist viel schwieriger, wenn die Seite von robots.txt geblockt wird. Daher werden die anderen Seiten der Webseite, die nicht geblockt sind, priorisiert indexiert.

Manchmal werden geblockte Seiten jedoch trotzdem in den SERPs angezeigt, wenn Google dies für sinnvoll hält. Dies ist abhängig von den Links, die auf die Seite verweisen. Letztendlich ist es am besten Inhalte nicht mit robots.txt zu blockieren, denn Google wird dennoch versuchen die Inhalte irgendwie in den SERPs anzuzeigen.

Quelle: SearchEngineJournal

Kostenloser SEO-Check der OSG



Weitere Inhalte


Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*
*