Skip to main content

Sitemap XML: erstellen, optimieren, Fehler beheben

Zwei Online Marketing Manager erstellen XML Sitemap

Die Sitemap XML ist eines der am meisten missverstandenen SEO Werkzeuge. Sie wird nicht nur häufig mit der HTML Sitemap verwechselt, sondern auch in ihrer Funktion falsch oder nur halb verstanden. Was ist aber nun eine Sitemap XML und wie wird sie erstellt? Unser Leitfaden gibt Ihnen einen Überblick.

Was ist eine Sitemap XML?

Als Sitemap bezeichnet man die Auflistung von verschiedenen URLs einer Domain. Dabei können entweder alle oder aber auch nur eine Auswahl bestimmter URLs enthalten sein. Wichtig ist hier zwischen der HTML sowie der XML Sitemap zu unterscheiden.

Die HTML Sitemap funktioniert vor allem als Navigation für Nutzer und ist im Frontend einer Website zu finden. Meist wird sie entweder über den Footer oder über die Kopfzeile verlinkt. Zum einen erhöht die HTML Sitemap die Usability und zum anderen stärkt sie auch interne Verlinkungen, wodurch auch Google-Crawler einfacheres Spiel beim Durchsuchen der Webpräsenz haben. Folgendes Beispiel zeigt die HTML Sitemap von Starbucks:

Beispiel für eine HTML Sitemap an Hand von Starbucks

Webseitenbetreiber erstellen die Sitemap XML hingegen nicht für den User einer Website, sondern nur für die Suchmaschinen Crawler. Sie unterscheidet sich meist von der Sitemap HTML darin, dass sie ausschließlich aus XML-Tags besteht und mit besonderen Zusatzinformationen ausgezeichnet ist. Sie wird darüber hinaus nicht gesondert auf der Website verlinkt, sondern lediglich über die jeweilige Suchmaschine eingereicht, im Fall von Google über die Google Search Console oder über die robots.txt. Hier sehen Sie die Sitemap XML von Starbucks.

Beispiel einer XML Sitemap am Bsp. von Starbucks

Entstanden ist die Notwendigkeit einer Sitemap XML dadurch, dass Suchmaschinen ein sogenanntes “Crawling Budget” nutzen, um Crawling-Ressourcen zu sparen. Denn das World Wide Web wuchs in den vergangenen Jahrzehnten so immens, dass nicht unbegrenzt viele Seiten jeder Webpräsenz gecrawlt werden konnten. So weist zum Beispiel Google jeder Internetseite ein individuelles Budget zu, das bestimmt, wie viele Seiten durchsucht werden. Nahm dieses Budget mit der zunehmenden Leistung des Internets in den letzten Jahren wieder zu, spielen die speziellen Sitemaps nach wie vor eine große Rolle in der Suchmaschinenoptimierung. Laut Google Guru Gary Illyes wird die Anzahl der gecrawlten Seiten durch unterschiedliche Faktoren beeinflusst. Schnelle Ladezeiten begünstigen beispielsweise das zugewiesene Crawling Budget, da diese ein Signal für “gesunde Server” seien, auf denen mehr Content mit weniger Anfragen abgerufen werden können. In der Google Search Console lässt sich unter “Crawling” – “Crawling Statistiken” das individuelle Crawling Budget einer Website einsehen. In diesem Beispiel werden durchschnittlich 291 Seiten pro Tag gecrawlt.

Auszug aus der GSC, welcher das Crawling Budget zeigt. Zu finden unter Crawling - Crawling Statistiken

Letztendlich soll die Sitemap XML dazu dienen, den Crawlern einen Hinweis darauf zu geben, welche einzelnen Seiten einer Website wirklich wichtig sind. Sie sollten jedoch immer im Auge behalten, dass diese nur eine Empfehlung an die Suchmaschinen-Bots darstellt. Klare Befehle darüber, welche Seiten vom Crawling ausgeschlossen werden sollen, erteilen Sie über die robots.txt.

Was ist bei der Erstellung zu beachten?

Möchte man eine XML Sitemap erstellen, gilt es einige Punkte zu berücksichtigen, welche auch über sitemap.org definiert werden:

  • Die Codierung sollte in UTF-8 erfolgen
  • Für UTF-8 sollte Entity-Escaping berücksichtig werden. Dies bedeutet bestimmte Zeichen werden umcodiert. Zum Beispiel wird das kaufmännische & zu & und > wird zu >
  • Die in der Sitemap vorhandenen URLs müssen von einem Einzelhost stammen, das heißt URLs von beispiel.de und blog.beispiel.de erfordern zwei Sitemaps
  • Die Größe darf maximal 50.000 URLs und 50 MB betragen – die Datei kann komprimiert werden. Bei umfangreichen websites müssen mehrere Sitemaps eingereicht werden
  • Reichen Sie mehr als eine Sitemap bei Google ein, ist es sinnvoll, eine Index Datei zu erstellen. Diese fasst dann die einzelnen Sitemaps zusammen und verlinkt auf diese. So erhalten nicht nur die Suchmaschinen-Crawler einen noch besseren Überblick, auch Sie profitieren von einer besseren Struktur.
  • Im Idealfall liegt der Speicherort im Stammverzeichnis Ihres Webservers: domain.de/sitemap.xml. Abhängig von diesem können lediglich die URLs aufgenommen werden, die in demselben lokalisiert sind. Es funktioniert zum Beispiel nicht, eine Sitemap welche auf einer Subdomain gespeichert ist mit URLs für eine Domain zu erstellen und umgekehrt. (Siehe oben: Eine Sitemap für beispiel.de und eine für blog.beispiel.de)

Tipp

Schnell passiert: Ein Vertipper oder ein Programmfehler – die Sitemap.xml ist zwar vorhanden, lässt aber sich nicht öffnen, weil sie einen Formatierungsfehler enthält oder die Dateihöchstgrenze überschreitet. Öffnen Sie daher regelmäßig den Link zu Ihrer Sitemap.xml und prüfen Sie, ob diese richtig angezeigt wird.

Welche Attribute sollten vorhanden sein?

Eine Sitemap XML wird durch bestimmte Attribute definiert. Folgende Tabelle enthält eine Auflistung der “Must Haves”:

Erforderliche Attribute Bedeutung
 <urlset> Zusammenfassung der Datei & Verweis auf aktuellen Protokollstand
 <url>Übergeordnetes Tag für einzelne URL-Einträge
 <loc>URL der Seite. Dieses muss mit dem Protokoll (http/https) beginnen & mit einem Trailingslash aufhören, sofern vom Webserver benötigt.

 

Optionale AttributeBedeutung
<urlset>Zusammenfassung der Datei & Verweis auf aktuellen Protokollstand
<changefreq>Voraussichtliche Änderungshäufigkeit: always, hourly, daily, weekly, monthly, yearly, never
<priority>Priorität einer URL gegenüber anderen auf Ihrer Website. Gültige Werte: Zwischen 0,0 und 1,0, wobei 0,5 eine normale Priorität darstellt.

 

Ergänzt werden diese ein- und ausleitenden Pflicht-Tags durch optionale Attribute, die Zusatzinformationen zu den einzelnen URLs liefern. Über die Notwendigkeit der optionalen Attribute und deren Gewichtung sowie über die Berücksichtigung durch Google und Co. streiten sich die Online Marketing Experten weltweit. Erfahrungsgemäß empfehlen wir Ihnen neben den erforderlichen Attributen auch das <lastmod> Tag anzuwenden. Dieses gibt den Crawlern den Hinweis, an welchem Datum die letzte Änderung der URL stattgefunden hat. Für die anderen Attribute hingegen sollte abgewogen werden, inwiefern sich eine aufwendige Auszeichnung und Bewertung aller URLs innerhalb Ihrer Sitemap für Sie überhaupt lohnt.

Wie erstellt man eine Sitemap XML?

Wie können Sie nun Ihre eigene Sitemap-Datei einfach erstellen? Manche Contentmanagement Systeme wie WordPress ermöglichen es über Plugins wie Yoast SEO automatisierte Sitemaps zu konfigurieren. Vorteil ist, dass diese dann topaktuell sind und fortlaufend aktualisiert werden. Die Sitemap XML erstellen Sie über den Sitemap Generator von Yoast SEO wie folgt

  1. Im Extra-Menü für Yoast SEO den Reiter “XML Sitemaps” auswählen
  2. Die Datei aktivieren, falls sie deaktiviert istFunktion Enabled und Disabled - Yoast SEO - XML Sitemaps
  3. Über “Entries per sitemap page” können Sie die Anzahl der enthaltenen Seiten individuell regeln. Voreingestellt sind 1.000 URLs
    Seitenzahl der XML Sitemap einstellen über WordPress Plugin Yoast SEO
  4. Weitere Einstellungen ermöglichen die Menüpunkte “Post Types”, “Excluded Posts” und “Taxonomies”. XML Sitemaps in dem WordPress Plugin Yoast erstellen. Überblick über MenüreiterÜber “Post Types” können Sie Sitemaps zu verschiedenen Seitentypen konfigurieren lassen. Dazu zählen Posts, Pages, Mediadateien sowie Elemente. Einzelne Posts schließen Sie über “Excluded Posts” per individueller ID aus. Der Reiter “Taxonomies” lässt Sie darüberhinaus weitere Kategorien erstellen. Beispiel: Haben Sie die Punkte “Posts”, “Pages”, “Elemente” und “Categories” als “In sitemap” gekennzeichnet, leitet Sie der Link zu Ihrer Sitemap zu einer Übersichtsseite weiter, welche die einzelnen Dateien wie in einem Inhaltsverzeichnis aufführt. Von dort aus können Sie jede einzelne Datei gesondert aufrufen. Gleichzeitig können Sie hier auch ausschließen, welche Inhalte nicht in der Sitemap XML aufgeführt werden sollen

Aber auch über SEO Tools wie den Screaming Frog ist es möglich, gezielt Sitemaps zu erstellen. Speziell im Screaming Frog geht man wie folgt vor:

  1. Crawlen der URL
  2. Auswahl des Reiters “Sitemaps” in der Hauptnavigation. Hier unterscheidet das Tool bereits zwischen Bilder- und regulären XML-Sitemaps.
  3. Screenshot des Hauptmenüs des Screaming Frogs zur Erstellung der Sitemap XMLNun können Sie an Hand weiterer Konfiguriermöglichkeiten entscheiden, wie Ihre Sitemap XML aufgebaut sein soll. Abschließend müssen Sie die Datei nur noch auf Ihrem Computer speichern.
    Sitemap XML über das SEO Tool Screaming Frog erstellenÜber “Pages” können Seiten auf Noindex, mit Canonical, paginierte URLs sowie PDFs inkludiert werden das heißt diese sind standardmäßig nicht eingeschlossen. Über “Last Modified” können Sie angeben, wann Ihre Sitemap XML zuletzt geändert wurde. Mit “Priority” ist es möglich zwischen den einzelnen URLs zu priorisieren und mit “Change Frequency” geben sie die Änderungshäufigkeit an. Unter “Images” ist es zusätzlich noch möglich zu bestimmen, ob Sie eine Extra Bildersitemap erstellen möchten, oder ob Sie diese in der regulären Sitemap XML zusammenfassen.

Wie informiert man die Suchmaschinen?

Sie haben Ihre Sitemap erstellt und fragen sich, wie Google und Co. nun davon erfahren? Ganz einfach! Über die jeweiligen Webmaster Tools wie die Google Search Console (GSC) ist es Ihnen möglich, die Datei einzutragen (Unter Crawling > Sitemaps). Speziell in der GSC profitieren Sie davon, dass Sie nach der Einreichung prüfen können, wie viele von den enthaltenen URLs tatsächlich indexiert wurden. So fallen Ihnen Indexierungs-Probleme gleich auf. Bei großen Mengen an enthaltenen Internetadressen empfiehlt es sich, viele kleine Dateien einzureichen, um so am besten lokalisieren zu können, welche Seiten Probleme bereiten und nicht indexiert werden.

Folgender Screenshot zeigt Ihnen beispielhaft eine eingereichte Sitemap XML über die Google Webmaster Tools. In diesem Fall wurde eine Index Datei erstellt, welche verschiedene Typen beinhaltet. Eingereicht wurden hier zum Beispiel 126 URLs, jedoch nur 87 indexiert. Interessant für Sie als Online Marketing Verantwortliche/r ist es nun herauszufinden, warum welche Bilder im Index fehlen.

Überblick über indexierte und eingerichte Seiten über die Sitemap XML in der Google Search Console

Darüber hinaus empfehlen wir die URL Ihrer sitemap.xml in Beispiel einer robots.txt Datei inklusive der Sitemap XML an Hand von Espritdie robots.txt-Datei einzutragen, zum Beispiel in dieser Form: „Sitemap: example.com/sitemap.xml“.  Dieser Screenshot zeigt die robots.txt des Fashion-Shops esprit.de inklusive einem Verweis auf die Sitemap XML.

Tipp

Prüfen Sie auch, ob mehr Seiten indexiert wurden, als in der Sitemap XML enthalten sind. Die Anzahl indexierter Seiten sehen Sie in der Google Search Konsole unter Indexierungsstatus oder indem Sie in der Google Suche site:ihredomain.de eingeben. Wurden mehr Seiten indexiert, fehlen eventuell relevante Seiten in der Sitemap XML oder es wurden fehlerhafte Inhalte und Duplikate (z.B. durch Parameter-Urls) indexiert. Suchmaschinen können auch Urls in die Suchergebnisse aufnehmen, die nicht in Ihren Sitemaps enthalten sind, beispielsweise wenn diese Urls von externen Domains verlinkt werden

Welche Sitemap XML Typen gibt es?

XML Sitemaps gibt es in verschiedenen Varianten. So unterscheiden viele Suchmaschinenoptimierer neben den regulären URL-Auflistungen zum Beispiel zwischen Bilder-, Video- oder News-Sitemaps mit speziellen XML-Tags. Auch in der Google Search Console werden die Varianten berücksichtigt. Vorteil ist ein strukturiertes Einreichen der einzelnen URLs sowie die im vorherigen Absatz schon behandelte einfache Überprüfung des Indexierungs-Status je nach URL-Typ.

Bilder-Sitemap

Laut den Google Webmaster Richtlinien ist es hilfreich eine eigene Bildersitemap zu erstellen, mit Hilfe der die Suchmaschinen-Bots mehr über die einzelnen Bilddateien erfahren. Vorteil ist, das die Robots per JavaScript-Code eingestellte Bilder besser interpretieren können. Darüber hinaus können Sie eben wie bei den anderen Sitemap XML URLs priorisieren, welche Bilder Sie für den Suchmaschinen Index als wichtig erachten. Folgende Struktur empfiehlt Google:

Spezielle Bilder Sitemap mit XML Tags

Video-Sitemap

Auch bei der Videositemap liegt ein großer Vorteil darin, Informationen über Videodateien gesondert zu übermitteln, welche die Crawler womöglich ohne nicht finden können. Laut der Search Consolen Hilfe erhöht eine Extra-Datei für Videos die Wahrscheinlichkeit, dass diese tatsächlich auch indexiert werden. Videos erscheinen in der Google Suche im Miniaturformat. Entweder stellt sie der Webmaster selbst bereit oder Google generiert sie automatisch. Enthalten sind unter anderem Tags für die Beschreibung, die Dauer sowie Bewertungen des Videos, wie folgendes Beispiel von Google zeigt:

Googlebeispiel einer speziellen Videositemap für Videos

News-Sitemap

Eine weitere Variante, auch unter den empfohlenen Google Sitemaps, ist die News Sitemap. Diese bietet sich vor allem für Websites an, die regelmäßig News-Artikel veröffentlichen und sich damit in den Suchergebnissen positionieren möchten. Vorteile ist vor allem das schnellere Finden von Artikeln durch die Crawler und somit das potenziell schnellere Indexieren, was insbesondere für die Aktualität von Neuigkeiten von Bedeutung ist. Darüber hinaus werden mit höherer Wahscheinlichkeit mehr Seiten indexiert. Ein weiteres Beispiel von Google:

Googlebeispiel zur News Sitemap mit speziellen XML Tags

Hreflang in der Sitemap XML

Mit dem Hreflang Tag verdeutlichen Webseitenbetreiber den Suchmaschinen, auf welche Sprache und auf welches Land die jeweilige URL Ihrer Internetpräsenz ausgerichtet ist. Besonders große und internationale Websites sind gut beraten darin, Ihre Sprachenauszeichnung strukturiert zu regeln. Zum einen kann die Sprachenauszeichnung über die jeweilige URL im HTML-Code stattfinden. Zum anderen ist es jedoch auch möglich, diese zentral über die Sitemap XML anzugeben. Auf diese Weise stellt die Sitemap XML auch in Sachen Internationalisierung ein wertvolles SEO-Werkzeug dar. Dieser Screenshot zeigt wieder ein Beispiel von Google

Beispiel der Hreflang Angabe in einer Sitemap XML von Google

 

Was sind häufige Fehler?

Erst kürzlich wurden in einer Studie von Semrush Fehler in der Sitemap XML als eine der größten Fehlerquellen innerhalb der technischen Suchmaschinenoptimierung identifiziert. Dazu zählen zu 13,19 % Formatierungsfehler. Zu 19,34 % ist die Sitemap.xml nicht auffindbar und zu 15,91% nicht in der robots.txt-Datei ausgezeichnet. Ein weiterer gängiger Fehler: Zu 10,92 % enthalten die Dateien falsche URL-Pfade. Folgende Punkte sollen Ihnen daher als Checkliste dienen, mit der Sie überprüfen können, ob Ihre Sitemap ausschließlich URLs beinhaltet, die auch wirklich hineingehören. Nur wenn Sie diese Fragen mit Ja beantworten können, sind die URLs wirklich für Ihre sitemap.xml qualifiziert.

  • Sind die URLs komplett, das heißt inklusive des vollständigen Protokolls also http/https?
  • Weisen die URLs ausschließlich den Statuscode 200 auf?
  • Sind Meta-Robots und X-Robots-Tag auf index, follow oder nicht gesetzt?
  • Gibt es ein Canonical- oder ein X-Canonical-Tag und wenn ja, weist dieses auf sich selbst?
  • Ist die URL nicht durch robots.txt gesperrt?

Über die Seite xml-sitemaps.com können Sie Ihre Sitemap XML mit Hilfe verschiedener Tools auf Richtigkeit und Validität prüfen. Auch über die Google Search Console werden Sie auf Fehler hingewiesen, wie folgender Beispielscreenshot zeigt:

Sitemap XML häufige Fehler in der Google Search Console

Tipp

Die Angaben zu Fehlern werden in der Google Search Konsole nicht laufend aktualisiert. Wenn Sie ihre Sitemap XML überarbeitet haben, kann es sich lohnen, diese neu einzureichen.

Fazit

Die Sitemap XML sollte unbedingt bei der Suchmaschinenoptimierung berücksichtigt werden. Dazu zählt nicht nur die korrekte Erstellung der Sitemap, sondern auch das korrekte Informieren der Suchmaschinen über die robots.txt-Datei und das jeweilige Webmaster Tool sowie die kontinuierliche Überprüfung der URLs und potenzieller Indexierungs-Probleme. Achten Sie vor allem auf die zuvor genannten häufigen Fehler bei der Implementierung – denn die Sitemap XML zählt nicht umsonst zu den größten Fehlerquellen im technischen SEO. Außerdem gilt: Die Sitemap XML stellt lediglich eine Empfehlung an die Suchmaschinen-Crawler dar. Klare Anweisungen werden immer noch über Meta-Robots-Angaben oder die robots.txt-Datei erteilt.

 

Titelbild ©iStock/scyther5

OSG Newsletter

Sitemap XML: erstellen, optimieren, Fehler beheben
4.9 (97.14%) 7 votes


Ähnliche Beiträge


Keine Kommentare vorhanden


Du hast eine Frage oder eine Meinung zum Artikel? Teile sie mit uns!

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*
*