Google: Durch Robots.txt blockierte URLs können Links sammeln

Google Fassade

Copyright @ Shutterstock/ efa2015


John Müller von Google hat auf Twitter auf die Frage, was mit dem Ranking einer Seite für URLs passiert, die in robots.txt nicht zulässig sind geantwortet. Laut ihm können die Links trotzdem gesammelt werden, auch wenn eine URL beim Crawlen in der robots.txt nicht zulässig sind.

Zusammengefasst bedeutet das: Obwohl Google eigentlich nicht zum Crawlen der URLs berechtigt ist, kann die Suchmaschine trotzdem die Links abrufen, wenn Personen oder Seiten auf die URL ausreichend verwiesen haben. Das ist der Grund, wieso zum Teil Snippets wie “Für diese Seite sind keine Informationen verfügbar” in den Suchergebnissen angezeigt werden. Google kann die Seiten auflisten, wenn die Abfrage spezifisch genug ist und es ausreichend Links zu der Seite gibt. “Ausreichend Links” bedeutet für Google, dass diese Links ausreichend Hinweise geben, damit die Seite für eine Abfrage relevant ist. Auch wenn Google manche Seiten nicht crawlen darf, zieht die Suchmaschine trotzdem Inhalte über die Seiten und macht diese für sich sichtbar.

Quelle: seroundtable.com

Kostenloser SEO-Check der OSG



Weitere Inhalte


Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*
*