Sitemap XML Guide 2024: erstellen, optimieren, Fehler beheben

Copyright © iStock / scyther5

Die Sitemap XML ist eines der am meisten missverstandenen SEO Werkzeuge. Sie wird nicht nur häufig mit der HTML Sitemap verwechselt, sondern auch in ihrer Funktion falsch oder nur halb verstanden. Was ist aber nun eine Sitemap XML und wie wird sie erstellt? Unser Leitfaden gibt Ihnen einen Überblick.

1. Was ist eine Sitemap XML?

Als Sitemap bezeichnet man die Auflistung von verschiedenen URLs einer Domain. Dabei können entweder alle oder aber auch nur eine Auswahl bestimmter URLs enthalten sein. Wichtig ist hier zwischen der HTML sowie der XML Sitemap zu unterscheiden.

Die HTML Sitemap funktioniert vor allem als Navigation für Nutzer und ist im Frontend einer Website zu finden. Meist wird sie entweder über den Footer oder über die Kopfzeile verlinkt. Zum einen erhöht die HTML Sitemap die Usability und zum anderen stärkt sie auch interne Verlinkungen, wodurch auch Google-Crawler einfacheres Spiel beim Durchsuchen der Webpräsenz haben.

Webseitenbetreiber erstellen die Sitemap XML hingegen nicht für den User einer Website, sondern nur für die Suchmaschinen Crawler. Sie unterscheidet sich meist von der Sitemap HTML darin, dass sie ausschließlich aus XML-Tags besteht und mit besonderen Zusatzinformationen ausgezeichnet ist. Sie wird darüber hinaus nicht gesondert auf der Website verlinkt, sondern lediglich über die jeweilige Suchmaschine eingereicht, im Fall von Google über die Google Search Console oder über die robots.txt. Hier sehen Sie die Sitemap XML von Starbucks.

Sitemap XML von Starbucks

Entstanden ist die Notwendigkeit einer Sitemap XML dadurch, dass Suchmaschinen ein sogenanntes “Crawling Budget” nutzen, um Crawling-Ressourcen zu sparen. Denn das World Wide Web wuchs in den vergangenen Jahrzehnten so immens, dass nicht unbegrenzt viele Seiten jeder Webpräsenz gecrawlt werden konnten. So weist zum Beispiel Google jeder Internetseite ein individuelles Budget zu, das bestimmt, wie viele Seiten durchsucht werden. Nahm dieses Budget mit der zunehmenden Leistung des Internets in den letzten Jahren wieder zu, spielen die speziellen Sitemaps nach wie vor eine große Rolle in der Suchmaschinenoptimierung.

Laut Google Guru Gary Illyes wird die Anzahl der gecrawlten Seiten durch unterschiedliche Faktoren beeinflusst. Schnelle Ladezeiten begünstigen beispielsweise das zugewiesene Crawling Budget, da diese ein Signal für “gesunde Server” seien, auf denen mehr Content mit weniger Anfragen abgerufen werden können. In der Google Search Console lässt sich unter “Crawling” – “Crawling Statistiken” das individuelle Crawling Budget einer Website einsehen. In diesem Beispiel werden durchschnittlich 291 Seiten pro Tag gecrawlt.

(c)Screenshot Google Search Console

Letztendlich soll die Sitemap XML dazu dienen, den Crawlern einen Hinweis darauf zu geben, welche einzelnen Seiten einer Website wirklich wichtig sind. Sie sollten jedoch immer im Auge behalten, dass diese nur eine Empfehlung an die Suchmaschinen-Bots darstellt. Klare Befehle darüber, welche Seiten vom Crawling ausgeschlossen werden sollen, erteilen Sie über die robots.txt.

© OSG

2. Was ist bei der Erstellung zu beachten?

Möchte man eine XML Sitemap erstellen, gilt es einige Punkte zu berücksichtigen, welche auch über sitemap.org definiert werden:

• Die Codierung sollte in UTF-8 erfolgen.
• Für UTF-8 sollte Entity-Escaping berücksichtigt werden. Dies bedeutet bestimmte Zeichen werden umcodiert. Zum Beispiel wird das kaufmännische & zu & und > wird zu >
• Die in der Sitemap vorhandenen URLs müssen von einem Einzelhost stammen, das heißt URLs von beispiel.de und blog.beispiel.de erfordern zwei Sitemaps.
• Die Größe darf maximal 50.000 URLs und 50 MB betragen – die Datei kann komprimiert werden. Bei umfangreichen websites müssen mehrere Sitemaps eingereicht werden.
• Reichen Sie mehr als eine Sitemap bei Google ein, ist es sinnvoll, eine Index Datei zu erstellen. Diese fasst dann die einzelnen Sitemaps zusammen und verlinkt auf diese. So erhalten nicht nur die Suchmaschinen-Crawler einen noch besseren Überblick, auch Sie profitieren von einer besseren Struktur.
• Im Idealfall liegt der Speicherort im Stammverzeichnis Ihres Webservers: domain.de/sitemap.xml. Abhängig von diesem können lediglich die URLs aufgenommen werden, die in demselben lokalisiert sind. Es funktioniert zum Beispiel nicht, eine Sitemap welche auf einer Subdomain gespeichert ist mit URLs für eine Domain zu erstellen und umgekehrt. (Siehe oben: Eine Sitemap für beispiel.de und eine für blog.beispiel.de)

3. Welche Attribute sollten vorhanden sein?

Eine Sitemap XML wird durch bestimmte Attribute definiert. Folgende Tabelle enthält eine Auflistung der “Must Haves”:

Ergänzt werden diese ein- und ausleitenden Pflicht-Tags durch optionale Attribute, die Zusatzinformationen zu den einzelnen URLs liefern. Über die Notwendigkeit der optionalen Attribute und deren Gewichtung sowie über die Berücksichtigung durch Google und Co. streiten sich die Online Marketing Experten weltweit. Erfahrungsgemäß empfehlen wir Ihnen neben den erforderlichen Attributen auch das <lastmod> Tag anzuwenden. Dieses gibt den Crawlern den Hinweis, an welchem Datum die letzte Änderung der URL stattgefunden hat. Für die anderen Attribute hingegen sollte abgewogen werden, inwiefern sich eine aufwendige Auszeichnung und Bewertung aller URLs innerhalb Ihrer Sitemap für Sie überhaupt lohnt.

4. Wie erstellt man eine Sitemap XML?

Wie können Sie nun Ihre eigene Sitemap-Datei einfach erstellen? Manche Conten Management Systeme (CMS) wie WordPress ermöglichen es über Plugins wie Yoast SEO automatisierte Sitemaps zu konfigurieren. Vorteil ist, dass diese dann topaktuell sind und fortlaufend aktualisiert werden. Die Sitemap XML erstellen Sie über den Sitemap Generator von Yoast SEO wie folgt

1. Im Extra-Menü für Yoast SEO den Reiter “XML Sitemaps” auswählen
2. Die Datei aktivieren, falls sie deaktiviert ist
   

   (c)Screenshot: Yoast

3. Über “Entries per sitemap page” können Sie die Anzahl der enthaltenen Seiten individuell regeln. Voreingestellt sind 1.000 URLs
   

   Screenshot: Yoast

4. Weitere Einstellungen ermöglichen die Menüpunkte “Post Types”, “Excluded Posts” und “Taxonomies”.
   

   (c)Screenshot: Yoast

   Über “Post Types” können Sie Sitemaps zu verschiedenen Seitentypen konfigurieren lassen. Dazu zählen Posts, Pages, Mediadateien sowie Elemente. Einzelne Posts schließen Sie über “Excluded Posts” per individueller ID aus. Der Reiter “Taxonomies” lässt Sie darüber hinaus weitere Kategorien erstellen. Beispiel: Haben Sie die Punkte “Posts”, “Pages”, “Elemente” und “Categories” als “In sitemap” gekennzeichnet, leitet Sie der Link zu Ihrer Sitemap zu einer Übersichtsseite weiter, welche die einzelnen Dateien wie in einem Inhaltsverzeichnis aufführt. Von dort aus können Sie jede einzelne Datei gesondert aufrufen. Gleichzeitig können Sie hier auch ausschließen, welche Inhalte nicht in der Sitemap XML aufgeführt werden sollen

Aber auch über SEO Tools wie den Screaming Frog ist es möglich, gezielt Sitemaps zu erstellen. Speziell im Screaming Frog geht man wie folgt vor:

1. Crawlen der URL
2. Auswahl des Reiters “Sitemaps” in der Hauptnavigation. Hier unterscheidet das Tool bereits zwischen Bilder- und regulären XML-Sitemaps.
   

   (c) Screenshot: Screamingfrog

3. Nun können Sie an Hand weiterer Konfiguriermöglichkeiten entscheiden, wie Ihre Sitemap XML aufgebaut sein soll. Abschließend müssen Sie die Datei nur noch auf Ihrem Computer speichern.
   

   (c) Screenshot: Screamingfrog

   Über “Pages” können Seiten auf Noindex, mit Canonical, paginierte URLs sowie PDFs inkludiert werden – das heißt diese sind standardmäßig nicht eingeschlossen. Über “Last Modified” können Sie angeben, wann Ihre Sitemap XML zuletzt geändert wurde. Mit “Priority” ist es möglich zwischen den einzelnen URLs zu priorisieren und mit “Change Frequency” geben sie die Änderungshäufigkeit an. Unter “Images” ist es zusätzlich noch möglich zu bestimmen, ob Sie eine Extra Bildersitemap erstellen möchten, oder ob Sie diese in der regulären Sitemap XML zusammenfassen.

5. Wie informiert man die Suchmaschinen?

Sie haben Ihre Sitemap erstellt und fragen sich, wie Google und Co. nun davon erfahren? Ganz einfach! Über die jeweiligen Webmaster Tools wie die Google Search Console (GSC) ist es Ihnen möglich, die Datei einzutragen (Unter Crawling > Sitemaps). Speziell in der GSC profitieren Sie davon, dass Sie nach der Einreichung prüfen können, wie viele von den enthaltenen URLs tatsächlich indexiert wurden. So fallen Ihnen Indexierungs-Probleme gleich auf. Bei großen Mengen an enthaltenen Internetadressen empfiehlt es sich, viele kleine Dateien einzureichen, um so am besten lokalisieren zu können, welche Seiten Probleme bereiten und nicht indexiert werden.

Folgender Screenshot zeigt Ihnen beispielhaft eine eingereichte Sitemap XML über die Google Webmaster Tools. In diesem Fall wurde eine Index Datei erstellt, welche verschiedene Typen beinhaltet. Eingereicht wurden hier zum Beispiel 126 URLs, jedoch nur 87 indexiert. Interessant für Sie als Online Marketing Verantwortliche/r ist es nun herauszufinden, warum welche Bilder im Index fehlen.

(c) Screenshot: Google Webmaster Tools

Darüber hinaus empfehlen wir die URL Ihrer sitemap.xml in die robots.txt-Datei einzutragen, zum Beispiel in dieser Form: „Sitemap: example.com/sitemap.xml“.  Dieser Screenshot zeigt die robots.txt des Fashion-Shops esprit.de inklusive einem Verweis auf die Sitemap XML.

6. Welche Sitemap XML Typen gibt es?

XML Sitemaps gibt es in verschiedenen Varianten. So unterscheiden viele Suchmaschinenoptimierer neben den regulären URL-Auflistungen zum Beispiel zwischen Bilder-, Video- oder News-Sitemaps mit speziellen XML-Tags. Auch in der Google Search Console werden die Varianten berücksichtigt. Vorteil ist ein strukturiertes Einreichen der einzelnen URLs sowie die im vorherigen Absatz schon behandelte einfache Überprüfung des Indexierungs-Status je nach URL-Typ.

6.1 Bilder-Sitemap

(c)Screenshot Google

Laut den Google Webmaster Richtlinien ist es hilfreich eine eigene Bildersitemap zu erstellen, mit Hilfe der die Suchmaschinen-Bots mehr über die einzelnen Bilddateien erfahren. Vorteil ist, das die Robots per JavaScript-Code eingestellte Bilder besser interpretieren können. Darüber hinaus können Sie eben wie bei den anderen Sitemap XML URLs priorisieren, welche Bilder Sie für den Suchmaschinen Index als wichtig erachten. Folgende Struktur empfiehlt Google:

6.2 Video-Sitemap

Auch bei der Videositemap liegt ein großer Vorteil darin, Informationen über Videodateien gesondert zu übermitteln, welche die Crawler womöglich ohne nicht finden können. Laut der Search Consolen Hilfe erhöht eine Extra-Datei für Videos die Wahrscheinlichkeit, dass diese tatsächlich auch indexiert werden. Videos erscheinen in der Google Suche im Miniaturformat. Entweder stellt sie der Webmaster selbst bereit oder Google generiert sie automatisch. Enthalten sind unter anderem Tags für die Beschreibung, die Dauer sowie Bewertungen des Videos, wie folgendes Beispiel von Google zeigt:

(c)Screenshot Google

6.3 News-Sitemap

Eine weitere Variante, auch unter den empfohlenen Google Sitemaps, ist die News Sitemap. Diese bietet sich vor allem für Websites an, die regelmäßig News-Artikel veröffentlichen und sich damit in den Suchergebnissen positionieren möchten. Vorteile ist vor allem das schnellere Finden von Artikeln durch die Crawler und somit das potenziell schnellere Indexieren, was insbesondere für die Aktualität von Neuigkeiten von Bedeutung ist. Darüber hinaus werden mit höherer Wahscheinlichkeit mehr Seiten indexiert. Ein weiteres Beispiel von Google:

(c)Screenshot Google

6.4 Hreflang in der Sitemap XML

Mit dem Hreflang Tag verdeutlichen Webseitenbetreiber den Suchmaschinen, auf welche Sprache und auf welches Land die jeweilige URL Ihrer Internetpräsenz ausgerichtet ist. Besonders große und internationale Websites sind gut beraten darin, Ihre Sprachenauszeichnung strukturiert zu regeln. Zum einen kann die Sprachenauszeichnung über die jeweilige URL im HTML-Code stattfinden. Zum anderen ist es jedoch auch möglich, diese zentral über die Sitemap XML anzugeben. Auf diese Weise stellt die Sitemap XML auch in Sachen Internationalisierung ein wertvolles SEO-Werkzeug dar. Dieser Screenshot zeigt wieder ein Beispiel von Google

(c) Screenshot Google

7. Was sind häufige Fehler?

Erst kürzlich wurden in einer Studie von Semrush Fehler in der Sitemap XML als eine der größten Fehlerquellen innerhalb der technischen Suchmaschinenoptimierung identifiziert. Dazu zählen zu 13,19 % Formatierungsfehler. Zu 19,34 % ist die Sitemap.xml nicht auffindbar und zu 15,91% nicht in der robots.txt-Datei ausgezeichnet. Ein weiterer gängiger Fehler: Zu 10,92 % enthalten die Dateien falsche URL-Pfade. Folgende Punkte sollen Ihnen daher als Checkliste dienen, mit der Sie überprüfen können, ob Ihre Sitemap ausschließlich URLs beinhaltet, die auch wirklich hineingehören. Nur wenn Sie diese Fragen mit Ja beantworten können, sind die URLs wirklich für Ihre sitemap.xml qualifiziert.

• Sind die URLs komplett, das heißt inklusive des vollständigen Protokolls also http/https?
• Weisen die URLs ausschließlich den Statuscode 200 auf?
• Sind Meta-Robots und X-Robots-Tag auf index, follow oder nicht gesetzt?
• Gibt es ein Canonical- oder ein X-Canonical-Tag und wenn ja, weist dieses auf sich selbst?
• Ist die URL nicht durch robots.txt gesperrt?

Über die Seite xml-sitemaps.com können Sie Ihre Sitemap XML mit Hilfe verschiedener Tools auf Richtigkeit und Validität prüfen. Auch über die Google Search Console werden Sie auf Fehler hingewiesen, wie folgender Beispielscreenshot zeigt:

(c) Screenshot Google Search Console

Die OSG Performance Suite

• SEO: Keyword-Tool, Content Suite, Backlink Suite, SEO Technik-Crawler, Local SEO
• SEA-Tool
• Brand Protection
• Security-Crawler
• Pagespeed-Tool & Uptime Monitoring
• Schnittstellen zu Google Ads, Google Search Console, Google Analytics Bing Webmaster Tools u. a.
• Projektmanagement
• inkl. App und Push Notifications
• und viele weitere Features

9. Fazit

Die Sitemap XML sollte unbedingt bei der Suchmaschinenoptimierung berücksichtigt werden. Dazu zählt nicht nur die korrekte Erstellung der Sitemap, sondern auch das korrekte Informieren der Suchmaschinen über die robots.txt-Datei und das jeweilige Webmaster Tool sowie die kontinuierliche Überprüfung der URLs und potenzieller Indexierungs-Probleme. Achten Sie vor allem auf die zuvor genannten häufigen Fehler bei der Implementierung – denn die Sitemap XML zählt nicht umsonst zu den größten Fehlerquellen im technischen SEO. Außerdem gilt: Die Sitemap XML stellt lediglich eine Empfehlung an die Suchmaschinen-Crawler dar. Klare Anweisungen werden immer noch über Meta-Robots-Angaben oder die robots.txt-Datei erteilt.

Sie haben noch Fragen zu diesem Thema oder zu anderen Themen rund um das Online Marketing? Dann zögern Sie nicht uns zu kontaktieren. Wir helfen immer gerne!

Zum Kontaktformular E-Mail senden