Google: Indexierung ohne Crawlen
Copyright @ Shutterstock/ Benny Marty
In einem Tweet teilte John Müller mit, dass Google Seiten indexieren kann, ohne diese zuvor gecrawlt zu haben. Wenn eine Seite per robots.txt gesperrt ist, aber von anderen Seiten verlinkt wurde, tritt dieser Fall ein. Dabei indexiert Google die Seite, erfasst jedoch die Inhalte nicht. Diese Website kann dann aber trotzdem in der Google-Suche gefunden werden. Diese Seiten werden dann in der Google-Suche ohne Description angezeigt weil der Crawler diese nicht erfasst hat. Nachfolgend findet ihr den Tweet von John Müller:
Sure, that can happen – when we can’t crawl it because of robots.txt, we can still index the URL (without its content).
— John (@JohnMu) 27. November 2018
Quelle: Twitter.com
Copyright @ Shutterstock/ Benny Marty
Keine Kommentare vorhanden