XML sitemap: секретный код успешной индексации

Приветствую всех SEO-специалистов и энтузиастов! Сегодня мы поговорим о таком важном инструменте, как XML sitemap, который при правильном использовании может значительно повысить рейтинг сайта в поисковых системах. Это означает, что игнорировать его нельзя. Итак, начнем!

Карта сайта — это простой инструмент для веб-мастеров, который помогает поисковым системам лучше понять структуру и важность страниц на сайте. Основой карты сайта является XML-файл, в котором перечислены URL-адреса, а также дополнительные данные, такие как дата последнего обновления, частота изменений и уровень приоритета по отношению к другим страницам сайта. Эта информация помогает поисковым системам эффективно просматривать все страницы сайта и обеспечивать их интеллектуальное индексирование. XML sitemaps предназначены не для людей, а исключительно для роботов поисковых систем.

История создания
На заре развития Интернета поисковые системы индексировали сайты исключительно с помощью роботов, которые обходили все страницы по ссылкам. Постоянно растущее количество сайтов в Интернете делало поиск новых страниц для поисковых систем очень ресурсоемкой задачей, при этом существовала вероятность того, что некоторые важные страницы не будут обнаружены роботом. В этот момент возникла идея, что веб-мастера могут информировать поисковые системы в машиночитаемом формате о списке страниц своего сайта. Так родился проект Sitemaps.

2 июня 2005 года технический директор Google Шива Шивакумар (Shiva Shivakumar) объявил в своем блоге:

«Мы проводим эксперимент под названием Google Sitemaps, который либо провалится, либо превзойдет наши самые смелые мечты и сделает Интернет лучше как для вебмастеров, так и для пользователей». Это бета-версия «экосистемы», которая поможет веб-мастерам решить две текущие задачи: информировать Google обо всех ваших новых веб-страницах или обновлениях и увеличить охват ваших веб-страниц в индексе Google».

16 ноября 2006 года Google, Yahoo! и Microsoft объявили о совместной поддержке Sitemaps 0.90. Как подчеркнул Тим Майер, старший директор по управлению продуктами Yahoo Search:

«Запуск Sitemaps очень важен, поскольку он позволяет веб-сайтам использовать единый и простой способ предоставления содержимого и метаданных поисковым системам».

«Sitemaps помогают веб-мастерам отображать содержимое, которое обычно трудно обнаружить сканерам, обеспечивая более полный поиск для пользователей».

Эта версия Sitemaps актуальна и сегодня.

11 апреля 2007 года Ask.com, Google, Microsoft Live Search и Yahoo! объявили о поддержке автоматического обнаружения файлов Sitemap с помощью файла robots.txt.

13 мая 2023 г. компания Bing объявила об удалении возможности анонимной отправки карты сайта с помощью HTTP-запроса. 26 июня 2023 года Google также отменил эту функцию. В обоих случаях было заявлено, что этой функцией злоупотребляют спамеры.

В каких случаях необходим файл Sitemap?
Согласно официальной документации Google, файл Sitemap необходим в трех случаях:

● Если у вас большой сайт (более 500 страниц);
● Если сайт новый и/или имеет проблемы с внутренней перелинковкой и/или ссылочной массой;
● если сайт фигурирует в новостях Google или содержит большое количество мультимедийного контента.

Однако, как показывает практика, нет никаких гарантий, что робот найдет все страницы сайта без файла Sitemap. Кроме того, наличие файла Sitemap облегчает роботу получение информации об изменениях, внесенных на сайт. Поэтому мы рекомендуем добавлять XML-карту для любого сайта: это не помешает в любом случае.

Структура файла Sitemap
Файл Sitemap должен быть создан в кодировке UTF-8. Вместо символов &, ‘, «, >, < следует использовать их маски. Порядок следования URL-адресов в файле Sitemap не имеет значения для поисковых систем.

Карта сайта может содержать XML-теги:

● urlset;
● url;
● loc;
● lastmod;
● changefreq;
● priority.

Рассмотрим их более подробно.

Обязательные теги:
● urlset определяет пространство имен (стандарт протокола).
● url — родительский тег для каждой записи.
● loc является дочерним тегом для url и содержит полный URL страницы (включая префикс протокола). Он задает текущую страницу, которая будет описана дополнительными тегами. Содержимое этого тега не должно превышать 2048 символов.

Необязательные теги:
● lastmod является дочерним тегом для url и содержит дату последней модификации текущей страницы в формате W3C Datetime. Часто дата используется в сокращенном формате YYYY-MM-DD.
● changefreq является дочерним тегом для url и описывает ожидаемую частоту изменений текущей страницы. Он может принимать следующие значения:

-всегда;
-часно;
-ежедневно;
-еженедельно;
-ежемесячно;
-год;
-никогда.

Тег priority является дочерним тегом для тега url и описывает относительный приоритет текущей страницы на сайте в диапазоне от 0 до 1. Приоритет задается по отношению к другим страницам на том же сайте. По умолчанию приоритет страницы равен 0,5.

Пример карты сайта:
<<br />
<?xml version=»1.0″ encoding=»UTF-8″?><br />
<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″><br />
<url><br />
<loc>https://www.example.com/</loc><br />
<lastmod>2023-10-04</lastmod><br />
<changefreq>weekly</changefreq>
<priority>1</priority>
</url><br />
<url><br />
<loc>https://www.example.com/page.html</loc><br />
<lastmod>2023-10-04</lastmod><br />
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url><br />
</urlset><br />

Индексный файл карты сайта
Для файлов карты сайта существует два ограничения. Каждый файл должен:

1. Содержать не более 50 000 URL-адресов.
2. Иметь размер не более 52 428 800 байт.

Если карта сайта превышает эти ограничения, то необходимо создать несколько файлов карты сайта. Каждый файл должен быть упомянут в индексном файле. Индексные файлы sitemap также
не могут содержать ссылки на более чем 50 000 файлов sitemap, а их размер не должен превышать 52 428 800 байт.

В Google Search Console существует ограничение: для каждого из сайтов можно предоставить не более 500 индексных файлов Sitemap.

Индексный файл Sitemap может содержать следующие XML-теги:
● sitemapindex;
● sitemap;
● loc;
● lastmod.

*Тег sitemapindex является родительским для всего дерева XML.
*Тег sitemap является родительским для каждой записи.
*Тег loc является дочерним тегом для sitemap и содержит полный URL страницы (включая префикс протокола). Индексный файл Sitemap может содержать не более 50 000 тегов loc.
*Тег lastmod является необязательным и представляет собой дочерний тег для sitemap. Он содержит дату последней модификации соответствующего файла Sitemap в формате W3C Datetime. Чаще всего дата используется в сокращенном формате YYYY-MM-DD.

Пример индексного файла
<<br />
<?xml version=»1.0″ encoding=»UTF-8″?><br />
<sitemapindex xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″><br />
<sitemap><br />
<loc>https://www.example.com/sitemap1.xml</loc><br />
<lastmod>2023-10-04</lastmod><br />
</sitemap><br />
<sitemap><br />
<loc>https://www.example.com/sitemap2.xml</loc><br />
<lastmod>2023-10-04</lastmod><br />
</sitemap><br />
</sitemapindex><br />

Расширение протокола Sitemaps
Существует возможность расширить протокол Sitemaps пользовательским пространством имен, указав его в корневом элементе.

Как сообщить поисковым системам о местонахождении карты сайта
Существует три способа сообщить поисковым системам о местонахождении файла sitemap:

1. Через панель инструментов для веб-мастеров,
2. Через файл robots.txt,
3. С помощью HTTP-запроса (этот способ не рекомендуется).

Отправка файла Sitemap через панель инструментов для веб-мастеров Google возможна только в том случае, если
вы обладаете правами собственности на ресурс. Чтобы добавить файл, необходимо открыть страницу
страницу отчета Sitemap, выбрать ресурс и добавить URL-адрес файла Sitemap. Предварительно рекомендуется проверить, есть ли у Google доступ к файлу Sitemap.

Вот обзорное видео от Google:
«Карты Sitemap в Search Console — обучение Google Search Console».

Отправьте файл Sitemap через панель инструментов для веб-мастеров Bing.
Обратите внимание, что отправить карту сайта можно только для выбранного сайта из списка проверенных сайтов.

Для отправки файла Sitemap в Baidu используйте панель инструментов для веб-мастеров Baidu Ziyuan. Только высококачественные сайты, соответствующие китайскому законодательству, имеющие хотя бы одну страницу на упрощенном китайском языке и прошедшие проверку, могут отправить карту сайта в Baidu.

Yahoo и Duckduckgo используют внутреннюю систему Bing для получения sitemap и обнаружения URL.

Чтобы сообщить поисковым системам о местонахождении карты сайта, необходимо добавить в файл robots.txt следующую директиву:

Sitemap: https://www.example.com/sitemap.xml.
Здесь вместо www.example.com указывается домен сайта, а вместо sitemap.xml — местоположение карты сайта.

Метод добавления карты сайта через HTTP-запрос является устаревшим. Он перестал действовать в Bing с 13 мая 2023 года, а в Google — с 26 июня 2023 года. Основной причиной отмены этого способа добавления информации о карте сайта является спам. Создание скрипта, который будет ежедневно (или после каждого изменения) автоматически отправлять карту сайта по протоколу http, казалось бы, неплохая идея. Для Google отправляемая строка выглядела следующим образом:

http://www.google.com/ping?sitemap=https://www.example.com/sitemap.xml
С увеличением количества сайтов нагрузка на серверы поисковых систем заметно возросла, и было принято решение отказаться от такой формы информирования о местонахождении sitemap.

Sitemap и Google

В Google элементы changefreq и priority, указанные в файле Sitemap, не учитываются при индексации сайта. Элемент changefreq, показывающий частоту изменения содержимого страницы, не имеет значения при наличии элемента lastmod, указывающего на дату последнего изменения страницы. А элемент priority, предполагающий определение приоритета страницы, является субъективным и не совсем точно отражает реальную значимость страницы по сравнению с другими страницами сайта.

Важно помнить, что Googlebot учитывает атрибут lastmod при сканировании страниц, но если задать для него неверное значение, то в дальнейшем он не будет учитываться. Количество файлов Sitemap не играет роли при индексации: на стороне Google все файлы Sitemap объединяются, и URL-адреса из них обрабатываются вместе, независимо от количества предоставленных файлов.

Google поддерживает четыре способа предоставления дополнительной информации в файле Sitemap:
1. Расширить URL-адреса, включив в них графические файлы,
2. Расширение URL-адресов для включения видеофайлов,
3. Включать информацию о различных языках или локализованных версиях страниц с помощью атрибута hreflang.
4. Для новостных сайтов может использоваться специальный тип Sitemap, позволяющий предоставлять информацию о последних обновлениях.

Sitemap и Bing

Главный менеджер программы генерации индексов Bing Фабрис Канель (Fabrice Canel) отмечает:
«Одной из ключевых стратегий поисковой оптимизации (SEO) сайтов является наличие высококачественных карт сайта, которые помогают поисковым системам обнаружить и получить доступ ко всему релевантному содержимому, размещенному на сайте. Карты сайта предлагают владельцам сайтов действительно простой способ поделиться с каждой поисковой системой информацией о содержании, которое есть на их сайте, а не полагаться только на алгоритмы сканирования (т.е. сканеры, роботы) для его поиска».

Он рекомендует избегать слишком большого количества файлов XML sitemap на сайте. В идеале он предлагает использовать только один индексный файл sitemap, в котором перечислены все релевантные файлы sitemap и индексные файлы sitemap.

Чтобы свести к минимуму количество дубликатов и нерабочих ссылок в картах сайта, Bing рекомендует создавать карты сайта не реже одного раза в день.

Для очень крупных сайтов с миллионами и миллиардами URL-адресов общий размер XML-файлов sitemap может достигать более 100 гигабайт. В таких случаях Bing рекомендует создавать два набора sitemap и чередовать их ежедневно.

Sitemap и Baidu

Baidu предъявляет к картам сайта следующие требования:

● размер не должен превышать 10 МБ;&nbsp
● Не должны содержать китайских иероглифов;&nbsp
● Должен быть расположен в корневой папке вашего сайта.

Как создать XML sitemap?
Google предлагает несколько устаревший список сторонних генераторов файлов Sitemap, которые веб-мастера могут использовать или создать на их основе собственный инструмент. В настоящее время не все ссылки активны, но многие по-прежнему работают.

Вот несколько популярных сервисов для создания XML sitemaps:
Sitemap Writer Pro — программа, предлагающая семь типов sitemaps (стандартный sitemap, Google images, Google news, Google video, Google code search, Google Geo, Google Mobile). Она включает встроенный краулер для генерации sitemap и FTP-менеджер для загрузки sitemap на сайт.

Генератор XML sitemap включает бесплатный генератор (до 500 страниц), профессиональный генератор и серверный скрипт, написанный на PHP.

My Sitemap Generator — бесплатный генератор sitemap, который сканирует сайт и создает XML sitemap.

Плагины для CMS, создающие карты сайта:
Drupal
Модуль XML Sitemap — создает карту сайта. Включает несколько подмодулей, позволяющих добавлять ссылки на карту сайта для контента, пунктов меню и профилей пользователей.

WordPress
Google (XML) Sitemaps Generator — автоматически создает XML-карту сайта. Дополнительно генерирует карту сайта в формате HTML.

Генератор XML Sitemap
IKSWEB XML Sitemap Generator — легкий и компактный плагин, создающий XML sitemap.

Плагин Google XML News Sitemap
Плагин Google News — это программное обеспечение с открытым исходным кодом, позволяющее издателям обновлять файлы Sitemap для Google News. Помимо обычной функциональности, он позволяет издателям описывать типы публикуемого контента, а также задавать уровни доступа для отдельных статей.

Joomla
Текущий список плагинов, создающих карту сайта в формате XML для Joomla, приведен на сайте CMS.

Другие форматы карты сайта:
Помимо карты сайта в формате XML, существуют и другие, менее распространенные форматы карт сайта, предназначенные для поисковых систем.

RSS, mRSS и Atom 1.0
Для блога, имеющего RSS- или Atom-канал, можно использовать URL этого канала в качестве источника для создания файла Sitemap. Практически все платформы для ведения блогов предоставляют возможность создания ленты. Google поддерживает каналы RSS 2.0 и Atom 1.0, а также каналы mRSS (media RSS).

Текстовый файл Sitemap
В текстовый файл Sitemap можно добавлять только URL-адреса, каждый из которых расположен на отдельной строке. Расширение этого файла должно быть .txt (например, sitemap.txt).

Заключение
В заключение следует отметить, что XML Sitemap является важным инструментом в арсенале веб-мастера или владельца сайта. Это структурированный файл, который помогает поисковым системам более эффективно сканировать и индексировать содержимое вашего сайта. В этой статье мы рассмотрели ключевые аспекты XML sitemap и их важную роль в оптимизации поисковой видимости.

XML sitemap позволяет контролировать, какие страницы сайта доступны для индексации, и предоставляет дополнительную информацию о каждой странице, например, дату последнего обновления и приоритет. Это помогает поисковым системам более точно определять, какие страницы индексировать и как часто к ним обращаться.

Использование XML sitemaps является одним из ключевых элементов успешной SEO-стратегии. Они способствуют улучшению индексации сайта и, как следствие, повышению его видимости в результатах поиска.

Важно помнить, что XML sitemap — это инструмент, который требует постоянного обновления и обслуживания, чтобы оставаться актуальным и эффективным. Регулярное обновление карты сайта позволяет ботам отслеживать изменения на сайте и информировать о них поисковые системы.

Дорогие друзья! Спасибо, что прочитали и нашли время!
Надеемся, что статья была интересной и, самое главное, полезной!