Google: Suchergebnisse vor dem Crawler verstecken

Copyright © Pixabay/ Victoria_Borodinova

Google stellt drei Möglichkeiten vor, um Suchergebnisse vor dem Googlebot zu verstecken:

• Ein Passwort verwenden
• Crawling blockieren
• Indizierung blockieren

Solange Nutzer und Inhalte gesperrt sind, verstößt nichts gegen die Richtlinien..

Problematisch wird es, wenn Ihre Website für den Bot andere Inhalte bereitstellt als für die Nutzer. Das nennt man “Cloaking” und verstößt gegen die Richtlinien von Google. Mit den folgenden Methoden sind Sie immer auf der richtigen Seite:

Google: 3 Möglichkeiten, Inhalte vor Suchmaschinen zu verbergen

1. Passwortschutz

Ein Passwort stellt sicher, dass weder Suchmaschinen noch zufällige Internetnutzer Ihre Inhalte sehen können. Das Sperren einer Website mit einem Passwort ist oft die beste Lösung, wenn Sie Ihre Website privat halten wollen.

2. Google: Crawling blockieren

Eine weitere Möglichkeit, den Zugriff für den Googlebot auf Ihre Website zu verhindern, besteht darin, das Crawling zu blockieren. Dies geschieht über die Datei robots.txt. Mit dieser Methode können Besucher mit einem direkten Link auf Ihre Website zugreifen, aber sie wird von Suchmaschinen nicht erfasst.

Das ist nicht die beste Option, da Suchmaschinen die Adresse der Website möglicherweise trotzdem indizieren. Das passiert zwar selten, kommt aber vor.

3. Indizierung blockieren

Die dritte und letzte Möglichkeit besteht darin, Ihre Website von der Indizierung auszuschließen. Zu diesem Zweck fügen Sie Ihren Seiten einen “noindex robots”-Meta-Tag hinzu. Ein noindex-Tag weist Suchmaschinen an, die Seite erst dann zu indizieren, wenn sie sie gecrawlt haben. Die Nutzer sehen den Meta-Tag nicht und können die Seite weiterhin normal aufrufen.

Google empfiehlt ein Passwort

Die Website mit einem Passwort zu sichern, sei die wichtigste Empfehlung von Google:

“Overall, for private content, our recommendation is to use password protection. It’s easy to check that it’s working, and it prevents anyone from accessing your content.

Blocking crawling or indexing are good options when the content isn’t private. Or if there’s just parts of a website which you’d like to prevent from appearing in search.”

Quelle: SearchEngineJournal