XML-sitemap: de geheime code voor succesvolle indexering

Groeten aan alle SEO-professionals en -liefhebbers! Vandaag gaan we het hebben over een belangrijk hulpmiddel, de XML-sitemap, die bij correct gebruik uw zoekmachinerankings aanzienlijk kan verbeteren. Dit betekent dat we het niet kunnen negeren. Dus laten we beginnen!

Sitemaps zijn een eenvoudig hulpmiddel voor webmasters dat zoekmachines helpt om de structuur en het belang van pagina’s op een website beter te begrijpen. De basis van een sitemap is een XML-bestand dat URL’s vermeldt, samen met aanvullende gegevens zoals de datum van de laatste update, de frequentie van wijzigingen en het prioriteitsniveau ten opzichte van andere pagina’s op de site. Deze informatie helpt zoekmachines om alle pagina’s op de site effectief te crawlen en intelligent te indexeren. XML-sitemaps zijn niet bedoeld voor mensen, maar uitsluitend voor zoekmachinerobots.

Geschiedenis
In de begindagen van het internet indexeerden zoekmachines websites uitsluitend met behulp van robots die alle pagina’s via links doorzochten. Het voortdurend groeiende aantal websites op internet maakte het vinden van nieuwe pagina’s voor zoekmachines een zeer arbeidsintensieve taak, met de mogelijkheid dat sommige belangrijke pagina’s niet door de bot zouden worden ontdekt. Op dit punt ontstond het idee dat webmasters zoekmachines in een machineleesbaar formaat konden informeren over de lijst met pagina’s op hun site. Zo werd het Sitemaps-project geboren.

Op 2 juni 2005 kondigde de technisch directeur van Google, Shiva Shivakumar, in een blogbericht aan:

“We voeren een experiment uit met de naam Google Sitemaps, dat ofwel zal falen of onze stoutste dromen zal overtreffen en het internet beter zal maken voor zowel webmasters als gebruikers. Het is een bètaversie van een ‘ecosysteem’ dat webmasters kan helpen bij twee huidige taken: Google informeren over al uw nieuwe webpagina’s of updates en de dekking van uw webpagina’s in de Google-index vergroten.”

Op 16 november 2006 kondigden Google, Yahoo! en Microsoft hun gezamenlijke ondersteuning voor Sitemaps 0.90 aan. Zoals benadrukt door Tim Mayer, Senior Director of Product Management voor Yahoo Search:

“De lancering van Sitemaps is belangrijk omdat het websites in staat stelt een uniforme en eenvoudige manier te gebruiken om content en metadata aan te bieden aan zoekmachines.”

“Sitemaps helpen webmasters inhoud weer te geven die normaal gesproken moeilijk te ontdekken is voor scanners, waardoor gebruikers een uitgebreidere zoekervaring krijgen.”

Deze versie van Sitemaps is vandaag de dag nog steeds relevant.

Op 11 april 2007 kondigden Ask.com, Google, Microsoft Live Search en Yahoo! hun ondersteuning aan voor het automatisch ontdekken van Sitemap-bestanden met behulp van het robots.txt-bestand.

Op 13 mei 2023 kondigde Bing de verwijdering aan van de mogelijkheid om anoniem een sitemap in te dienen via een HTTP-verzoek. Op 26 juni 2023 schrapte Google deze functie ook. In beide gevallen werd aangegeven dat spammers misbruik maakten van deze functie.

In welke gevallen is een Sitemap-bestand nodig?
Volgens de officiële documentatie van Google is een Sitemap in drie gevallen noodzakelijk:

● Als u een grote website heeft (meer dan 500 pagina’s);
● Als de website nieuw is en/of problemen heeft met interne links en/of linkmassa;
● Als de website voorkomt in Google News of veel multimedia-inhoud bevat.

De praktijk wijst echter uit dat er geen garanties zijn dat een robot alle pagina’s van een website zonder Sitemap-bestand zal vinden. Bovendien maakt het hebben van een Sitemap-bestand het gemakkelijker voor de robot om informatie te verkrijgen over wijzigingen die aan de website zijn aangebracht. Daarom raden we aan een XML-map toe te voegen voor elke website: het kan in ieder geval geen kwaad.

Sitemap-structuur
Het Sitemap-bestand moet worden gemaakt in UTF-8 codering. In plaats van de tekens &, ‘, “, >, <, moeten hun maskers worden gebruikt. De volgorde van URL’s in het Sitemap-bestand maakt niet uit voor zoekmachines.

De sitemap kan XML-tags bevatten:

● urlset;
● url;
loc;
● lastmod;
● changefreq;
● priority.

Laten we ze in meer detail bekijken.

Verplichte tags:
● urlset definieert de naamruimte (protocolstandaard).
url is de parent tag voor elke vermelding.
Loc is een child tag voor url en bevat de volledige URL van de pagina (inclusief de protocol prefix). Het specificeert de huidige pagina die beschreven zal worden door optionele tags. De inhoud van deze tag mag niet langer zijn dan 2048 karakters.

Optionele tags:
● lastmod is een child tag voor url en bevat de datum van de laatste wijziging van de huidige pagina in W3C Datetime formaat. De datum wordt vaak gebruikt in het afgekorte formaat JJJJ-MM-DD.
Changefreq is een child tag voor url en beschrijft de verwachte frequentie van veranderingen aan de huidige pagina. Het kan de volgende waarden aannemen:

-altijd;
-om het uur;
-dagelijks;
-wekelijks
-maandelijks
-per jaar;
-nooit.

De priority tag is een child tag voor de url tag en beschrijft de relatieve prioriteit van de huidige pagina op de website, variërend van 0 tot 1. De prioriteit wordt ingesteld ten opzichte van andere pagina’s op dezelfde site. De standaardprioriteit van een pagina is 0,5.

Voorbeeld van een sitemap:
<<br />
<?xml version=”1.0″ encoding=”UTF-8″?><br />
<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″><br />
<url><br />
<loc>https://www.example.com/</loc><br />
<lastmod>2023-10-04</lastmod><br />
<changefreq>wekelijks</changefreq>
<prioriteit>1</prioriteit>
</url><br />
<url><br />
<loc>https://www.example.com/page.html</loc><br />
<lastmod>2023-10-04</lastmod><br />
<changefreq>wekelijks</changefreq>
<prioriteit>0.8</prioriteit>
</url><br />
</urlset><br />

Sitemap-indexbestand
Er zijn twee beperkingen voor sitemap-bestanden. Elk bestand moet:

1. Niet meer dan 50.000 URL’s bevatten.
2. Niet groter zijn dan 52.428.800 bytes.

Als de sitemap deze beperkingen overschrijdt, is het noodzakelijk om meerdere sitemap-bestanden aan te maken. Elk bestand moet vermeld worden in het indexbestand. Index sitemap bestanden kunnen ook
mogen geen links bevatten naar meer dan 50.000 sitemap-bestanden en hun grootte mag niet groter zijn dan 52.428.800 bytes.

In Google Search Console is er een beperking: u kunt niet meer dan 500 Sitemap-indexbestanden opgeven voor elk van uw websites.

Het Sitemap-indexbestand kan de volgende XML-tags bevatten:
sitemapindex;
sitemap;
loc;
● lastmod.

*De sitemapindex tag is de ouder voor de gehele XML boom.
*De sitemap tag is de ouder voor elk item.
*De loc tag is een child tag voor sitemap en bevat de volledige URL van de pagina (inclusief de protocol prefix). Het Sitemap-indexbestand kan niet meer dan 50.000 loc-tags bevatten.
*De lastmod tag is optioneel en is een child tag voor sitemap. Het bevat de laatste wijzigingsdatum van het corresponderende Sitemap-bestand in W3C Datetime-formaat. De datum wordt meestal gebruikt in het verkorte formaat JJJJ-MM-DD.

Voorbeeld van een indexbestand
<<br />
<?xml version=”1.0″ encoding=”UTF-8″?><br />
<sitemapindex xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″><br />
<sitemap><br />
<loc>https://www.example.com/sitemap1.xml</loc><br />
<lastmod>2023-10-04</lastmod><br />
</sitemap><br />
<sitemap><br />
<loc>https://www.example.com/sitemap2.xml</loc><br />
<lastmod>2023-10-04</lastmod><br />
</sitemap><br />
</sitemapindex><br />

Sitemaps protocol uitbreiding
Er is een mogelijkheid om het Sitemaps protocol uit te breiden met een eigen namespace door deze op te geven in het root element.

Hoe zoekmachines informeren over de sitemap-locatie
Er zijn drie manieren om zoekmachines te informeren over de locatie van uw sitemap-bestand:

1. Via het webmaster tools paneel,
2. Via het robots.txt-bestand,
3. Via een HTTP-verzoek (deze methode wordt niet aanbevolen).

Het verzenden van het Sitemap-bestand via het paneel van Google Webmasterhulpprogramma’s is alleen mogelijk als
u eigendomsrechten hebt op de bron. Om het bestand toe te voegen, moet u de pagina
Sitemap-rapport te openen, de bron te selecteren en de URL van het Sitemap-bestand toe te voegen. Het is raadzaam om vooraf te controleren of Google toegang heeft tot het Sitemap-bestand.

Hier is een overzichtsvideo van Google:
“Sitemaps in Search Console – Google Search Console Training”.

Verzend het Sitemap-bestand via het paneel van Bing webmaster tools.
Houd er rekening mee dat u alleen een sitemap kunt verzenden voor een geselecteerde site uit de lijst met geverifieerde sites.

Als u het Sitemap-bestand naar Baidu wilt verzenden, gebruikt u de Baidu Ziyuan Webmasterhulpprogramma’s. Alleen websites van hoge kwaliteit die voldoen aan de Chinese wetgeving, ten minste één pagina in vereenvoudigd Chinees hebben en de verificatie hebben doorstaan, kunnen een sitemap indienen bij Baidu.

Yahoo en Duckduckgo gebruiken het interne systeem van Bing om sitemaps op te halen en URL’s te ontdekken.

Om zoekmachines te informeren over de locatie van de sitemap, moet je de volgende richtlijn toevoegen aan het robots.txt-bestand:

Sitemap: https://www.example.com/sitemap.xml
Hier voegt u in plaats van www.example.com het domein van uw site toe en in plaats van sitemap.xml de locatie van de sitemap.

De methode om een sitemap toe te voegen via een HTTP-verzoek is verouderd. Deze methode is sinds 13 mei 2023 niet meer van kracht in Bing en sinds 26 juni 2023 niet meer in Google. De belangrijkste reden voor het schrappen van deze methode voor het toevoegen van sitemapinformatie is spam. Het leek een goed idee om een script op te zetten dat dagelijks (of na elke wijziging) automatisch je sitemap verstuurt via het http-protocol. Voor Google zag de verzonden string er als volgt uit:

http://www.google.com/ping?sitemap=https://www.example.com/sitemap.xml
Naarmate het aantal websites toenam, nam de belasting van de zoekmachineservers merkbaar toe en werd besloten om deze vorm van informatieverstrekking over de locatie van de sitemap achterwege te laten.

Sitemap en Google

Bij Google wordt bij het indexeren van de site geen rekening gehouden met de elementen changefreq en priority die in het Sitemap-bestand zijn gespecificeerd. Het changefreq-element, dat aangeeft hoe vaak de inhoud van een pagina verandert, is niet relevant als er een lastmod-element is dat de datum van de laatste paginawijziging aangeeft. En het priority-element, dat uitgaat van de bepaling van de prioriteit van de pagina, is subjectief en geeft niet goed weer wat het werkelijke belang van de pagina is in vergelijking met andere pagina’s op de site.

Het is belangrijk om te onthouden dat Googlebot rekening houdt met het lastmod-attribuut bij het scannen van pagina’s, maar als u er een onjuiste waarde voor instelt, wordt er in de toekomst geen rekening mee gehouden. Het aantal Sitemap-bestanden speelt geen rol bij het indexeren: aan de kant van Google worden alle Sitemap-bestanden samengevoegd en URL’s daaruit worden samen verwerkt, ongeacht het aantal bestanden dat u hebt opgegeven.

Google ondersteunt vier manieren om extra informatie op te geven in het Sitemap-bestand:
1. URL’s uitbreiden met grafische bestanden,
2. URL’s uitbreiden om videobestanden op te nemen,
3. Informatie opnemen over verschillende talen of gelokaliseerde versies van pagina’s met behulp van het hreflang attribuut
4. Voor nieuwssites kan een speciaal type Sitemap worden gebruikt om informatie te geven over de laatste updates.

Sitemap en Bing

Fabrice Canel, hoofd van het Bing-indexgeneratieprogramma, zegt:
“Een van de belangrijkste strategieën voor zoekmachineoptimalisatie (SEO) van websites is het hebben van sitemaps van hoge kwaliteit die zoekmachines helpen bij het ontdekken en openen van alle relevante inhoud die op deze website wordt gehost. Sitemaps bieden website-eigenaren een echt eenvoudige manier om met elke zoekmachine informatie te delen over de inhoud die ze op hun site hebben, in plaats van alleen te vertrouwen op scanalgoritmen (d.w.z. scanners, robots) om deze te vinden.”

Hij raadt aan om te veel XML-sitemapbestanden op de site te vermijden. Idealiter stelt hij voor om slechts één index sitemap bestand te gebruiken dat alle relevante sitemap bestanden en index sitemap bestanden opsomt.

Om het aantal dubbele en niet-werkende links in sitemaps te minimaliseren, raadt Bing aan om sitemaps minstens één keer per dag te maken.

Voor zeer grote sites met miljoenen en miljarden URL’s kan de totale grootte van sitemap XML-bestanden oplopen tot meer dan 100 gigabytes. In deze gevallen raadt Bing aan om twee sets sitemaps te maken en deze dagelijks af te wisselen.

Sitemap en Baidu

Baidu vereist het volgende voor sitemaps:

● Mag niet groter zijn dan 10 MB;&nbsp
● Mogen geen Chinese karakters bevatten;&nbsp
Moet zich in de hoofdmap van uw website bevinden.

Hoe maak je een XML-sitemap?
Google biedt een enigszins verouderde lijst van Sitemap-bestandgenerators van derden die webmasters kunnen gebruiken of hun eigen tool op basis hiervan kunnen maken. Momenteel zijn niet alle koppelingen actief, maar veel werken nog wel.

Hier zijn enkele populaire services voor het maken van XML-sitemaps:
Sitemap Writer Pro is een programma dat zeven soorten sitemaps biedt (standaard sitemap, Google afbeeldingen, Google nieuws, Google video, Google code zoeken, Google Geo, Google Mobile). Het bevat een ingebouwde crawler voor het genereren van sitemap en een FTP-manager voor het uploaden van de sitemap naar de website.

De XML sitemap generator bevat een gratis generator (tot 500 pagina’s), een professionele generator en een serverscript geschreven in PHP.

My Sitemap Generator is een gratis sitemap-generator die de website scant en een XML-sitemap maakt.

CMS-plugins die sitemaps maken:
Drupal
XML Sitemap module- maakt een sitemap. Bevat verschillende submodules die sitemap-links kunnen toevoegen voor inhoud, menu-items en gebruikersprofielen.

WordPress
Google (XML) Sitemaps Generator – maakt automatisch een XML sitemap. Genereert ook een HTML sitemap.

XML-sitemapgenerator
IKSWEB XML Sitemap Generator – een lichtgewicht en compacte plugin die een XML sitemap maakt.

Google XML Nieuws Sitemap-plugin
De Google News plugin is open-source software waarmee uitgevers Sitemap-bestanden voor Google News kunnen bijwerken. Naast de gebruikelijke functionaliteit kunnen uitgevers ook het type content beschrijven dat wordt gepubliceerd en toegangsniveaus opgeven voor individuele artikelen.

Joomla
De huidige lijst met plugins die een sitemap in XML-indeling maken voor Joomla staat op de CMS-website.

Andere sitemapformaten:
Naast de XML-sitemap zijn er andere, minder gangbare indelingen van sitemaps bedoeld voor zoekmachines.

RSS, mRSS en Atom 1.0
Voor een blog met een RSS- of Atom-feed kunt u de URL van deze feed gebruiken als bron om een Sitemap-bestand te maken. Bijna alle blogplatforms bieden de mogelijkheid om een feed te maken. Google ondersteunt RSS 2.0 en Atom 1.0 feeds, evenals mRSS (media RSS) feeds.

Tekst Sitemap-bestand
In een tekst Sitemap-bestand kunt u alleen URL’s toevoegen, elk op een aparte regel. De extensie van dit bestand moet .txt zijn (bijvoorbeeld sitemap.txt).

Conclusie
Samenvattend is een XML-sitemap een essentieel hulpmiddel in het arsenaal van een webmaster of website-eigenaar. Het is een gestructureerd bestand dat zoekmachines helpt om de inhoud van uw site effectiever te scannen en te indexeren. In dit artikel hebben we de belangrijkste aspecten van XML-sitemaps en hun belangrijke rol bij het optimaliseren van de vindbaarheid besproken.

Met een XML-sitemap kunt u bepalen welke pagina’s van uw site beschikbaar zijn voor indexering en krijgt u aanvullende informatie over elke pagina, zoals de datum van de laatste update en de prioriteit. Dit helpt zoekmachines nauwkeuriger te bepalen welke pagina’s moeten worden geïndexeerd en hoe vaak ze deze moeten bezoeken.

Het gebruik van XML sitemaps is een belangrijk onderdeel van een succesvolle SEO strategie. Ze dragen bij aan het verbeteren van de indexering van uw site, waardoor de zichtbaarheid in de zoekresultaten toeneemt.

Het is belangrijk om te onthouden dat een XML-sitemap een hulpmiddel is dat voortdurend moet worden bijgewerkt en onderhouden om actueel en effectief te blijven. Door uw sitemap regelmatig bij te werken, kunnen bots wijzigingen op uw site volgen en zoekmachines informeren over deze wijzigingen.

Beste vrienden! Bedankt voor het lezen en het nemen van de tijd!
We hopen dat het artikel interessant en vooral nuttig was!