Google: Durch Robots.txt blockierte URLs können Links sammeln
John Müller von Google hat auf Twitter auf die Frage, was mit dem Ranking einer Seite für URLs passiert, die in robots.txt nicht zulässig sind geantwortet. Laut ihm können die Links trotzdem gesammelt werden, auch wenn eine URL beim Crawlen in der robots.txt nicht zulässig sind.
If a URL is disallowed for crawling in the robots.txt, it can still “collect” links, since it can be shown in Search as well (without its content though).
— John (@JohnMu) 2. Mai 2019
Zusammengefasst bedeutet das: Obwohl Google eigentlich nicht zum Crawlen der URLs berechtigt ist, kann die Suchmaschine trotzdem die Links abrufen, wenn Personen oder Seiten auf die URL ausreichend verwiesen haben. Das ist der Grund, wieso zum Teil Snippets wie “Für diese Seite sind keine Informationen verfügbar” in den Suchergebnissen angezeigt werden. Google kann die Seiten auflisten, wenn die Abfrage spezifisch genug ist und es ausreichend Links zu der Seite gibt. “Ausreichend Links” bedeutet für Google, dass diese Links ausreichend Hinweise geben, damit die Seite für eine Abfrage relevant ist. Auch wenn Google manche Seiten nicht crawlen darf, zieht die Suchmaschine trotzdem Inhalte über die Seiten und macht diese für sich sichtbar.
Quelle: seroundtable.com
Keine Kommentare vorhanden