Start » News » Google: Indexierung ohne Crawlen

Google: Indexierung ohne Crawlen

Veröffentlicht von Florian Müller (GF) 28.11.2018 · Kategorie(n): News

In einem Tweet teilte John Müller mit, dass Google Seiten indexieren kann, ohne diese zuvor gecrawlt zu haben. Wenn eine Seite per robots.txt gesperrt ist, aber von anderen Seiten verlinkt wurde, tritt dieser Fall ein. Dabei indexiert Google die Seite, erfasst jedoch die Inhalte nicht. Diese Website kann dann aber trotzdem in der Google-Suche gefunden werden. Diese Seiten werden dann in der Google-Suche ohne Description angezeigt weil der Crawler diese nicht erfasst hat. Nachfolgend findet ihr den Tweet von John Müller:

Sure, that can happen – when we can’t crawl it because of robots.txt, we can still index the URL (without its content).

— John (@JohnMu) 27. November 2018

Quelle: Twitter.com

Über den Autor

Florian Müller ist Gründer und Geschäftsführer der 2008 gegründeten Online Solutions Group GmbH (OSG), einem Online-Marketing-Anbieter aus München. Die OSG bietet Services und eigene Technologien. Zu den Leistungen gehören unter anderem SEO, SEA, Social Advertising, Display Marketing sowie weitere performanceorientierte Leistungen. Müller ist seit über 15 Jahren im Online-Marketing aktiv und hat weit über 500 Unternehmen bei der Einführung und Optimierung des Online-Marketings geholfen, darunter internationale Konzerne wie auch KMUs. Seit 2012 entwickelt Müller mit seiner Agentur das eigene SEO-Tool Performance Suite. Damit soll SEO durch KI automatisiert und Wettbewerbsvorteile erzielt werden. linkedin.com/in/florian-müller-834362236