XML-Sitemap: der geheime Code für eine erfolgreiche Indexierung

Grüße an alle SEO-Profis und -Enthusiasten! Heute werden wir über ein wichtiges Instrument sprechen, die XML-Sitemap, die, wenn sie richtig eingesetzt wird, Ihre Platzierung in den Suchmaschinen erheblich verbessern kann. Das heißt, wir können es nicht ignorieren. Also, fangen wir an!

Sitemaps sind ein einfaches Hilfsmittel für Webmaster, das Suchmaschinen hilft, die Struktur und Bedeutung der Seiten einer Website besser zu verstehen. Die Grundlage einer Sitemap ist eine XML-Datei, in der die URLs zusammen mit zusätzlichen Daten wie dem Datum der letzten Aktualisierung, der Häufigkeit der Änderungen und der Prioritätsstufe im Vergleich zu anderen Seiten der Website aufgeführt sind. Diese Informationen helfen den Suchmaschinen, alle Seiten der Website effektiv zu crawlen und eine intelligente Indizierung vorzunehmen. XML-Sitemaps sind nicht für Menschen gedacht, sondern ausschließlich für Suchmaschinenroboter.

Geschichte der Erstellung
In den Anfängen des Internets wurden Websites von Suchmaschinen ausschließlich von Robotern indexiert, die alle Seiten über Links abfragten. Die ständig wachsende Zahl von Websites im Internet machte das Auffinden neuer Seiten für Suchmaschinen zu einer sehr ressourcenintensiven Aufgabe, bei der die Möglichkeit bestand, dass einige wichtige Seiten vom Bot nicht entdeckt wurden. An diesem Punkt kam die Idee auf, dass Webmaster Suchmaschinen in einem maschinenlesbaren Format über die Liste der Seiten auf ihrer Website informieren könnten. So wurde das Sitemaps-Projekt geboren.

Am 2. Juni 2005 kündigte der technische Direktor von Google, Shiva Shivakumar, in einem Blog-Eintrag an:

„Wir führen ein Experiment namens Google Sitemaps durch, das entweder scheitern oder unsere kühnsten Träume übertreffen und das Internet sowohl für Webmaster als auch für Nutzer besser machen wird. Es handelt sich um eine Beta-Version eines „Ökosystems“, das Webmastern helfen kann, zwei aktuelle Aufgaben zu bewältigen: Google über alle Ihre neuen Webseiten oder Aktualisierungen zu informieren und die Abdeckung Ihrer Webseiten im Google-Index zu erhöhen.“

Am 16. November 2006 gaben Google, Yahoo! und Microsoft ihre gemeinsame Unterstützung für Sitemaps 0.90 bekannt. Wie Tim Mayer, Senior Director of Product Management für Yahoo Search, betonte:

„Die Einführung von Sitemaps ist wichtig, da sie Websites eine einheitliche und einfache Möglichkeit bietet, Inhalte und Metadaten für Suchmaschinen bereitzustellen.“

„Sitemaps helfen Webmastern, Inhalte darzustellen, die für Suchmaschinen normalerweise schwer zu finden sind, und bieten den Nutzern ein umfassenderes Sucherlebnis.“

Diese Version von Sitemaps ist auch heute noch relevant.

Am 11. April 2007 kündigten Ask.com, Google, Microsoft Live Search und Yahoo! ihre Unterstützung für die automatische Erkennung von Sitemap-Dateien mithilfe der robots.txt-Datei an.

Am 13. Mai 2023 kündigte Bing an, dass die Möglichkeit, eine Sitemap anonym über eine HTTP-Anfrage zu übermitteln, abgeschafft wird. Am 26. Juni 2023 hat Google diese Funktion ebenfalls gestrichen. In beiden Fällen wurde angegeben, dass Spammer diese Funktion missbraucht hatten.

In welchen Fällen ist eine Sitemap-Datei erforderlich?
Laut der offiziellen Dokumentation von Google ist eine Sitemap in drei Fällen erforderlich:

● Wenn Sie eine große Website haben (mehr als 500 Seiten);
Wenn die Website neu ist und/oder Probleme mit der internen Verlinkung und/oder der Linkmasse hat;
● Wenn die Website in den Google News erscheint oder viele Multimedia-Inhalte enthält.

Die Praxis zeigt jedoch, dass es keine Garantie dafür gibt, dass ein Roboter alle Seiten einer Website ohne Sitemap-Datei findet. Außerdem erleichtert eine Sitemap-Datei dem Robot die Information über Änderungen an der Website. Daher empfehlen wir, für jede Website eine XML-Sitemap hinzuzufügen: Es schadet auf keinen Fall.

Aufbau der Sitemap
Die Sitemap-Datei sollte in UTF-8-Kodierung erstellt werden. Anstelle der Zeichen &, ‚, „, >, < sollten deren Masken verwendet werden. Die Reihenfolge der URLs in der Sitemap-Datei spielt für Suchmaschinen keine Rolle.

Die Sitemap kann XML-Tags enthalten:

● urlset;
● url;
● loc;
● lastmod;
● changefreq;
● Priorität.

Schauen wir sie uns im Detail an.

Erforderliche Tags:
● urlset definiert den Namensraum (Protokollstandard).
● url ist das übergeordnete Tag für jeden Eintrag.
● loc ist ein untergeordnetes Tag für url und enthält die vollständige URL der Seite (einschließlich des Protokollpräfixes). Er gibt die aktuelle Seite an, die durch optionale Tags beschrieben wird. Der Inhalt dieses Tags sollte 2048 Zeichen nicht überschreiten.

Optionale Tags:
● lastmod ist ein untergeordnetes Tag für url und enthält das Datum der letzten Änderung der aktuellen Seite im W3C Datetime-Format. Das Datum wird häufig im abgekürzten Format JJJJ-MM-TT verwendet.
● changefreq ist ein untergeordnetes Tag für url und beschreibt die erwartete Häufigkeit von Änderungen an der aktuellen Seite. Es kann die folgenden Werte annehmen:

-always;
-stündlich;
-täglich;
-wöchentlich;
-monatlich;
-jährlich;
-niemals.

Das Prioritäts-Tag ist ein untergeordnetes Tag für das url-Tag und beschreibt die relative Priorität der aktuellen Seite auf der Website, die von 0 bis 1 reicht. Die Priorität wird im Verhältnis zu anderen Seiten auf derselben Site festgelegt. Die Standardpriorität einer Seite ist 0,5.

Beispiel für eine Sitemap:
<

https://www.example.com/
2023-10-04
Wöchentlich
<priorität>1</priorität>

https://www.example.com/page.html
2023-10-04
Wöchentlich
<priorität>0.8</priorität>

Sitemap-Indexdatei
Es gibt zwei Einschränkungen für Sitemap-Dateien. Jede Datei muss:

1. Sie darf nicht mehr als 50.000 URLs enthalten.
2. Sie darf nicht größer als 52.428.800 Bytes sein.

Wenn die Sitemap diese Grenzen überschreitet, müssen mehrere Sitemap-Dateien erstellt werden. Jede Datei muss in der Indexdatei erwähnt werden. Index-Sitemap-Dateien dürfen außerdem
können auch keine Links zu mehr als 50.000 Sitemap-Dateien enthalten, und ihre Größe sollte 52.428.800 Bytes nicht überschreiten.

In der Google Search Console gibt es eine Einschränkung: Sie können nicht mehr als 500 Sitemap-Indexdateien für jede Ihrer Websites bereitstellen.

Die Sitemap-Indexdatei kann die folgenden XML-Tags enthalten:
● sitemapindex;
● sitemap;
● loc;
● lastmod.

*Der sitemapindex-Tag ist der übergeordnete Tag für den gesamten XML-Baum.
*Das sitemap-Tag ist das übergeordnete Tag für jeden Eintrag.
*Der loc-Tag ist ein untergeordneter Tag für sitemap und enthält die vollständige URL der Seite (einschließlich des Protokollpräfixes). Die Sitemap-Indexdatei darf nicht mehr als 50.000 loc-Tags enthalten.
*Der lastmod-Tag ist optional und ist ein untergeordneter Tag für sitemap. Er enthält das Datum der letzten Änderung der entsprechenden Sitemap-Datei im W3C Datetime-Format. Das Datum wird meist im verkürzten Format JJJJ-MM-TT verwendet.

Beispiel für eine Indexdatei
<

https://www.example.com/sitemap1.xml
2023-10-04

https://www.example.com/sitemap2.xml
2023-10-04

Erweiterung des Sitemaps-Protokolls
Es besteht die Möglichkeit, das Sitemaps-Protokoll um einen benutzerdefinierten Namespace zu erweitern, indem dieser im Root-Element angegeben wird.

Wie informiert man Suchmaschinen über den Standort der Sitemap?
Es gibt drei Möglichkeiten, Suchmaschinen über den Speicherort Ihrer Sitemap-Datei zu informieren:

1. Über das Panel der Webmaster-Tools,
2. Über die robots.txt-Datei,
3. Mittels einer HTTP-Anfrage (diese Methode wird nicht empfohlen).

Das Senden der Sitemap-Datei über das Google-Bedienfeld für Webmaster-Tools ist nur möglich, wenn
Sie Eigentumsrechte an der Ressource haben. Um die Datei hinzuzufügen, müssen Sie die
Sitemap-Berichtsseite öffnen, die Ressource auswählen und die URL der Sitemap-Datei hinzufügen. Es wird empfohlen, vorher zu prüfen, ob Google Zugriff auf die Sitemap-Datei hat.

Hier ist ein Video von Google zur Überprüfung:
„Sitemaps in der Search Console – Google Search Console Training“

Senden Sie die Sitemap-Datei über das Bing-Webmaster-Tools-Panel.
Beachten Sie, dass Sie eine Sitemap nur für eine ausgewählte Website aus der Liste der verifizierten Websites übermitteln können.

Um die Sitemap-Datei an Baidu zu senden, verwenden Sie die Baidu Ziyuan Webmaster Tools. Nur qualitativ hochwertige Websites, die der chinesischen Gesetzgebung entsprechen, mindestens eine Seite in vereinfachtem Chinesisch haben und die Überprüfung bestanden haben, können eine Sitemap an Baidu übermitteln.

Yahoo und Duckduckgo verwenden das interne System von Bing, um Sitemaps abzurufen und URLs zu ermitteln.

Um Suchmaschinen über den Speicherort der Sitemap zu informieren, müssen Sie die folgende Anweisung in die robots.txt-Datei aufnehmen:

Sitemap: https://www.example.com/sitemap.xml
Hier fügen Sie anstelle von www.example.com die Domain Ihrer Website und anstelle von sitemap.xml den Speicherort der Sitemap ein.

Die Methode, eine Sitemap über eine HTTP-Anfrage hinzuzufügen, ist veraltet. Sie ist bei Bing seit dem 13. Mai 2023 und bei Google seit dem 26. Juni 2023 nicht mehr wirksam. Der Hauptgrund für die Abschaffung dieser Methode zum Hinzufügen von Sitemap-Informationen ist Spam. Es schien eine gute Idee zu sein, ein Skript einzurichten, das Ihre Sitemap täglich (oder nach jeder Änderung) automatisch über das http-Protokoll sendet. Für Google sah der gesendete String wie folgt aus:

http://www.google.com/ping?sitemap=https://www.example.com/sitemap.xml
Als die Zahl der Websites zunahm, stieg die Belastung der Suchmaschinen-Server merklich an, und es wurde beschlossen, diese Form der Information über den Standort der Sitemap aufzugeben.

Sitemap und Google

Bei Google werden die in der Sitemap-Datei angegebenen Elemente changefreq und priority bei der Indexierung der Website nicht berücksichtigt. Das changefreq-Element, das angibt, wie oft sich der Inhalt einer Seite ändert, ist nicht relevant, wenn es ein lastmod-Element gibt, das das Datum der letzten Seitenänderung angibt. Und das Element priority, das die Bestimmung der Priorität der Seite übernimmt, ist subjektiv und spiegelt die tatsächliche Bedeutung der Seite im Vergleich zu anderen Seiten der Website nicht genau wider.

Es ist wichtig, daran zu denken, dass Googlebot das lastmod-Attribut beim Scannen von Seiten berücksichtigt, aber wenn Sie einen falschen Wert dafür festlegen, wird es in Zukunft nicht mehr berücksichtigt werden. Die Anzahl der Sitemapdateien spielt bei der Indizierung keine Rolle: Auf der Google-Seite werden alle Sitemapdateien zusammengeführt, und die URLs aus ihnen werden gemeinsam verarbeitet, unabhängig von der Anzahl der von Ihnen angegebenen Dateien.

Google unterstützt vier Möglichkeiten, um zusätzliche Informationen in der Sitemap-Datei bereitzustellen:
1. Erweitern Sie URLs, um Grafikdateien einzuschließen,
2. Erweitern Sie URLs, um Videodateien einzuschließen,
3. Einbindung von Informationen über verschiedene Sprachen oder lokalisierte Versionen von Seiten mit dem hreflang-Attribut
4. Für Nachrichtenseiten kann eine spezielle Art von Sitemap verwendet werden, um Informationen über die neuesten Aktualisierungen bereitzustellen.

Sitemap und Bing

Der leitende Manager des Bing-Indexerstellungsprogramms, Fabrice Canel, sagt:
„Eine der wichtigsten Strategien für die Suchmaschinenoptimierung (SEO) von Websites sind qualitativ hochwertige Sitemaps, die den Suchmaschinen helfen, alle relevanten Inhalte, die auf dieser Website gehostet werden, zu finden und darauf zuzugreifen. Sitemaps bieten Website-Besitzern eine wirklich einfache Möglichkeit, jeder Suchmaschine Informationen über die Inhalte auf ihrer Website mitzuteilen, anstatt sich ausschließlich auf Scan-Algorithmen (d. h. Scanner, Robots) zu verlassen, um sie zu finden.“

Er empfiehlt, zu viele XML-Sitemap-Dateien auf der Website zu vermeiden. Idealerweise sollte nur eine Index-Sitemap-Datei verwendet werden, die alle relevanten Sitemap-Dateien und Index-Sitemap-Dateien auflistet.

Um die Anzahl der doppelten und nicht funktionierenden Links in Sitemaps zu minimieren, empfiehlt Bing, Sitemaps mindestens einmal am Tag zu erstellen.

Bei sehr großen Websites mit Millionen und Milliarden von URLs kann die Gesamtgröße der Sitemap-XML-Dateien über 100 Gigabyte erreichen. In diesen Fällen empfiehlt Bing, zwei Sätze von Sitemaps zu erstellen und sie täglich abzuwechseln.

Sitemap und Baidu

Baidu verlangt Folgendes für Sitemaps:

● Sollte 10 MB nicht überschreiten;&nbsp
● Sollte keine chinesischen Zeichen enthalten;&nbsp
● Sie sollten sich im Stammverzeichnis Ihrer Website befinden.

Wie erstellt man eine XML-Sitemap?
Google bietet eine leicht veraltete Liste von Generatoren für Sitemap-Dateien von Drittanbietern an, die Webmaster verwenden oder ihr eigenes Tool auf deren Grundlage erstellen können. Derzeit sind nicht alle Links aktiv, aber viele funktionieren noch.

Hier sind einige beliebte Dienste zur Erstellung von XML-Sitemaps:
Sitemap Writer Pro ist ein Programm, das sieben Arten von Sitemaps anbietet (Standard-Sitemap, Google-Bilder, Google-News, Google-Video, Google-Code-Suche, Google-Geo, Google-Mobile). Es enthält einen integrierten Crawler zur Erstellung von Sitemaps und einen FTP-Manager zum Hochladen der Sitemap auf die Website.

Der XML-Sitemap-Generator umfasst einen kostenlosen Generator (für bis zu 500 Seiten), einen professionellen Generator und ein in PHP geschriebenes Serverskript.

My Sitemap Generator ist ein kostenloser Sitemap-Generator, der die Website scannt und eine XML-Sitemap erstellt.

CMS-Plugins, die Sitemaps erstellen:
Drupal
XML-Sitemap-Modul – erstellt eine Sitemap. Enthält mehrere Untermodule, die Sitemap-Links für Inhalte, Menüpunkte und Benutzerprofile hinzufügen können.

WordPress
Google (XML) Sitemaps Generator – erstellt automatisch eine XML-Sitemap. Erzeugt zusätzlich eine HTML-Sitemap.

XML-Sitemap-Generator
IKSWEB XML Sitemap Generator – ein leichtes und kompaktes Plugin, das eine XML-Sitemap erstellt.

Google XML Nachrichten-Sitemap-Plugin
Das Google News-Plugin ist eine Open-Source-Software, die es Herausgebern ermöglicht, Sitemap-Dateien für Google News zu aktualisieren. Zusätzlich zu den üblichen Funktionen ermöglicht es den Herausgebern, die Art der veröffentlichten Inhalte zu beschreiben und die Zugriffsebenen für einzelne Artikel festzulegen.

Joomla
Die aktuelle Liste der Plugins, die eine Sitemap im XML-Format für Joomla erstellen, ist auf der CMS-Website aufgeführt.

Andere Sitemap-Formate:
Neben der XML-Site-Map gibt es noch andere, weniger verbreitete Formate von Site-Maps, die für Suchmaschinen bestimmt sind.

RSS, mRSS und Atom 1.0
Bei einem Blog mit einem RSS- oder Atom-Feed können Sie die URL dieses Feeds als Quelle für die Erstellung einer Sitemap-Datei verwenden. Fast alle Blogging-Plattformen bieten die Möglichkeit, einen Feed zu erstellen. Google unterstützt RSS 2.0- und Atom 1.0-Feeds sowie mRSS-Feeds (Media RSS).

Text-Sitemap-Datei
In einer Text-Sitemap-Datei können Sie nur URLs hinzufügen, jede in einer eigenen Zeile. Die Erweiterung dieser Datei sollte .txt sein (z. B. sitemap.txt).

Fazit
Zusammenfassend lässt sich sagen, dass eine XML-Sitemap ein wichtiges Instrument im Arsenal eines Webmasters oder Website-Besitzers ist. Es handelt sich um eine strukturierte Datei, die Suchmaschinen hilft, den Inhalt Ihrer Website effektiver zu scannen und zu indizieren. In diesem Artikel haben wir die wichtigsten Aspekte von XML-Sitemaps und ihre wichtige Rolle bei der Optimierung der Sichtbarkeit in Suchmaschinen erörtert.

Mit einer XML-Sitemap können Sie steuern, welche Seiten Ihrer Website für die Indizierung zur Verfügung stehen, und zusätzliche Informationen zu jeder Seite bereitstellen, z. B. das Datum der letzten Aktualisierung und die Priorität. Auf diese Weise können Suchmaschinen genauer bestimmen, welche Seiten indiziert und wie oft sie aufgerufen werden sollen.

Die Verwendung von XML-Sitemaps ist ein Schlüsselelement einer erfolgreichen SEO-Strategie. Sie tragen dazu bei, die Indizierung Ihrer Website zu verbessern und damit ihre Sichtbarkeit in den Suchergebnissen zu erhöhen.

Es ist wichtig, daran zu denken, dass eine XML-Sitemap ein Instrument ist, das ständig aktualisiert und gepflegt werden muss, um aktuell und effektiv zu bleiben. Die regelmäßige Aktualisierung Ihrer Sitemap ermöglicht es den Bots, Änderungen auf Ihrer Website zu verfolgen und die Suchmaschinen über diese Änderungen zu informieren.

Liebe Freunde! Vielen Dank, dass Sie gelesen haben und sich die Zeit genommen haben!
Wir hoffen, der Artikel war interessant und vor allem nützlich!