Google SEO: Warum unerwünschte Seiten trotz robots.txt ranken können
Copyright © Shutterstock / MK photograp55
Werden Inhalte einer Seite in der Googlesuche angezeigt werden, obwohl der Seitenbetreiber dies mit robots.txt untersagt hatte, dann liegt das daran, dass die restlichen Inhalte der Seite nicht gut genug sind, um zu ranken. “You got work to do”, war die Antwort von John Müller auf den Tweet eines Users. Der Seitenbetreiber erklärte nämlich, dass eine eigentlich geblockte Seite dennoch angezeigt wird, obwohl er dies extra untersagte. Den Nutzern wird in diesem Fall dann “We can’t show a description, because it’s blocked by robots.txt” im Vorschau-Snippet angezeigt.
If a robotted page from your site ranks instead of a page with content on it, for queries that users use to find your site, then I think you have work to do :-).
— John (@JohnMu) 28. März 2019
Wenn eine Webseite robots.txt nutzt, um dem Google Crawler mitzuteilen, dass eine bestimmte Seite nicht gecrawlt werden soll, sie aber dennoch angezeigt wird und so als nützlicher für die User eingestuft wird, als andere Seiten der Webseite, ist dies ein Problem, das dringend behoben werden sollte. John Müller spielt daher mit seiner Aussage darauf an, dass die Inhalte der anderen Webseiten ziemlich schlecht sein müssen, damit Google lieber eine eigentlich von der Suche ausgenommene Seite anzeigt.
Fazit
Wenn man als Webmaster feststellt, dass eben dieses Problem bei der eigenen Webseite auftritt, sollte man Arbeit in die Content- und SEO-Optimierung der anderen Webseiten stecken. Denn dies ist ein deutliches Indiz, dass die Webseiten nicht gut genug aufgebaut sind, um für den User nützlich zu sein.
Quelle: seroundtable.com
Keine Kommentare vorhanden