Google: Indexierung ohne Crawlen
In einem Tweet teilte John Müller mit, dass Google Seiten indexieren kann, ohne diese zuvor gecrawlt zu haben. Wenn eine Seite per robots.txt gesperrt ist, aber von anderen Seiten verlinkt wurde, tritt dieser Fall ein. Dabei indexiert Google die Seite,...