Desculpe por possíveis erros no texto. É uma transferência automática. Se você encontrar imprecisões,escreva-nos , agradecemos. artigo original em inglês.

Mapa do sítio XML: o código secreto para uma indexação bem sucedida

Saudações a todos os profissionais e entusiastas de SEO! Hoje vamos falar de uma ferramenta importante, o mapa do sítio XML, que, quando utilizado corretamente, pode melhorar significativamente a classificação nos motores de busca. Isto significa que não a podemos ignorar. Então, vamos começar!

Os sitemaps são uma ferramenta simples para webmasters que ajudam os motores de busca a compreender melhor a estrutura e a importância das páginas de um sítio Web. A base de um mapa do site é um ficheiro XML que lista URLs, juntamente com dados adicionais, como a data da última atualização, a frequência das alterações e o nível de prioridade em relação a outras páginas do site. Estas informações ajudam os motores de busca a rastrear eficazmente todas as páginas do sítio e a fornecer uma indexação inteligente. Os mapas de sítios XML não se destinam a seres humanos, mas apenas a robôs de motores de busca.

História da criação
Nos primórdios da Internet, os motores de pesquisa indexavam os sítios Web apenas através de robôs que percorriam todas as páginas através de hiperligações. O número cada vez maior de sítios Web na Internet tornava a procura de novas páginas para os motores de pesquisa uma tarefa que consumia muitos recursos, com a possibilidade de algumas páginas importantes não serem descobertas pelo robot. Nesta altura, surgiu a ideia de os webmasters poderem informar os motores de busca, num formato legível por máquina, sobre a lista de páginas do seu sítio. Assim, nasceu o projeto Sitemaps.

Em 2 de junho de 2005, o Diretor Técnico da Google, Shiva Shivakumar, anunciou num blogue:

“Estamos a realizar uma experiência denominada Google Sitemaps, que irá falhar ou exceder os nossos sonhos mais loucos e tornar a Internet melhor tanto para os webmasters como para os utilizadores. Trata-se de uma versão beta de um “ecossistema” que pode ajudar os webmasters a resolver duas tarefas actuais: informar o Google sobre todas as suas novas páginas Web ou actualizações e aumentar a cobertura das suas páginas Web no índice do Google.”

A 16 de novembro de 2006, o Google, o Yahoo! e a Microsoft anunciaram o seu apoio conjunto ao Sitemaps 0.90. Tal como salientado por Tim Mayer, Diretor Sénior de Gestão de Produtos da Yahoo Search:

“O lançamento do Sitemaps é importante, pois permite que os sites usem uma maneira unificada e simples de fornecer conteúdo e metadados aos mecanismos de pesquisa.”

“Os Sitemaps ajudam os webmasters a apresentar conteúdos que normalmente são difíceis de descobrir pelos scanners, proporcionando uma experiência de pesquisa mais abrangente aos utilizadores.”

Esta versão dos Sitemaps ainda é relevante atualmente.

Em 11 de abril de 2007, o Ask.com, o Google, o Microsoft Live Search e o Yahoo! anunciaram o seu apoio à descoberta automática de ficheiros Sitemap utilizando o ficheiro robots.txt.

Em 13 de maio de 2023, o Bing anunciou a remoção da capacidade de submeter anonimamente um mapa do site através de um pedido HTTP. Em 26 de junho de 2023, o Google também cancelou esta funcionalidade. Em ambos os casos, foi afirmado que os spammers estavam a abusar desta funcionalidade.

Em que casos é necessário um ficheiro Sitemap?
De acordo com a documentação oficial do Google, um Sitemap é necessário em três casos:

Se tiver um Web site de grandes dimensões (mais de 500 páginas);
Se o Web site for novo e/ou tiver problemas com ligações internas e/ou massa de ligações;
Se o sítio Web estiver em destaque no Google News ou tiver muito conteúdo multimédia.

No entanto, a prática mostra que não há garantias de que um robô encontre todas as páginas de um Web site sem um ficheiro Sitemap. Além disso, a existência de um ficheiro Sitemap facilita ao robô a obtenção de informações sobre as alterações efectuadas no sítio Web. Por conseguinte, recomendamos a adição de um mapa XML para qualquer sítio Web: não fará mal nenhum.

Estrutura do mapa do site
O ficheiro Sitemap deve ser criado em codificação UTF-8. Em vez dos caracteres &, ‘, “, >, <, devem ser utilizadas as respectivas máscaras. A ordem dos URLs no ficheiro Sitemap não é importante para os motores de pesquisa.

O mapa do sítio pode conter etiquetas XML:

● urlset;
● url;
● loc;
● lastmod;
● changefreq;
● priority (prioridade).

Vamos analisá-las com mais pormenor.

Etiquetas obrigatórias:
● urlset define o namespace (padrão do protocolo).
url é a etiqueta principal de cada entrada.
loc é uma etiqueta filha de url e contém o URL completo da página (incluindo o prefixo do protocolo). Especifica a página atual que será descrita por etiquetas opcionais. O conteúdo desta etiqueta não deve exceder 2048 caracteres.

Etiquetas opcionais:
● lastmod é uma etiqueta filha de url e contém a data da última modificação da página atual no formato W3C Datetime. A data é frequentemente utilizada no formato abreviado AAAA-MM-DD.
changefreq é uma etiqueta filha de url e descreve a frequência esperada de alterações à página atual. Pode assumir os seguintes valores:

-always;
-hora a hora;
-diariamente;
-semanalmente;
-mensalmente;
-anualmente;
-nunca.

A etiqueta priority é uma etiqueta filha da etiqueta url e descreve a prioridade relativa da página atual no sítio Web, variando de 0 a 1. A prioridade é definida em relação a outras páginas do mesmo sítio. A prioridade predefinida de uma página é 0,5.

Exemplo de um mapa do sítio:
< 
<?xml version=”1.0″ encoding=”UTF-8″?> 
<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″> 
<url> 
<loc>https://www.example.com/</loc> 
<lastmod>2023-10-04</lastmod> 
<changefreq>semanal</changefreq>
<prioridade>1</prioridade>
</url> 
<url> 
<loc>https://www.example.com/page.html</loc> 
<lastmod>2023-10-04</lastmod> 
<changefreq>semanal</changefreq>
<prioridade>0.8</prioridade>
</url> 
</urlset>

Ficheiro de índice do mapa do site
Há duas limitações para os arquivos de mapa do site. Cada arquivo deve:

1. Conter não mais do que 50.000 URLs.
2. Ter um tamanho não superior a 52.428.800 bytes.

Se o mapa do sítio exceder estes limites, é necessário criar vários ficheiros de mapa do sítio. Cada ficheiro deve ser mencionado no ficheiro de índice. Os ficheiros de índice do mapa do site também
não podem conter links para mais de 50.000 ficheiros de mapa do site e o seu tamanho não deve exceder 52.428.800 bytes.

Na Consola de Pesquisa do Google, existe uma limitação: não pode fornecer mais de 500 ficheiros de índice de mapa do site para cada um dos seus Web sites.

O ficheiro de índice do Sitemap pode conter as seguintes etiquetas XML:
● sitemapindex;
● sitemap;
● loc;
● lastmod.

*A etiqueta sitemapindex é o pai de toda a árvore XML.
*A etiqueta sitemapindex é o pai de cada entrada.
*A etiqueta loc é uma etiqueta filha do sitemap e contém o URL completo da página (incluindo o prefixo do protocolo). O ficheiro de índice do Sitemap não pode conter mais de 50.000 etiquetas loc.
*A etiqueta lastmod é opcional e é uma etiqueta secundária do sitemap. Contém a data da última modificação do ficheiro Sitemap correspondente no formato W3C Datetime. A data é mais frequentemente utilizada no formato abreviado AAAA-MM-DD.

Exemplo de um ficheiro de índice
< 
<?xml version=”1.0″ encoding=”UTF-8″?> 
<sitemapindex xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″> 
<sitemap> 
<loc>https://www.example.com/sitemap1.xml</loc> 
<lastmod>2023-10-04</lastmod> 
</sitemap> 
<sitemap> 
<loc>https://www.example.com/sitemap2.xml</loc> 
<lastmod>2023-10-04</lastmod> 
</sitemap> 
</sitemapindex>

Extensão do Protocolo Sitemaps
Existe a possibilidade de estender o protocolo Sitemaps com um namespace personalizado, especificando-o no elemento raiz.

Como informar os motores de busca sobre a localização do mapa do site
Existem três formas de informar os motores de busca sobre a localização do seu ficheiro de mapa do sítio:

1. Através do painel de ferramentas para webmasters,
2. Através do ficheiro robots.txt,
3. Através de um pedido HTTP (este método não é recomendado).

O envio do ficheiro Sitemap através do painel de ferramentas do Google para webmasters só é possível se
o utilizador tiver direitos de propriedade sobre o recurso. Para adicionar o ficheiro, é necessário abrir a página
Página do relatório do mapa do site, selecionar o recurso e adicionar o URL do ficheiro do mapa do site. Recomenda-se que verifique previamente se o Google tem acesso ao ficheiro do mapa do site.

Aqui está o vídeo de revisão do Google:
“Sitemaps na Consola de Pesquisa – Formação da Consola de Pesquisa do Google”

Envie o ficheiro Sitemap através do painel de ferramentas para webmasters do Bing.
Observe que só é possível enviar um mapa do site para um site selecionado na lista de sites verificados.

Para enviar o ficheiro do mapa do site para o Baidu, utilize as Ferramentas do webmaster do Baidu Ziyuan. Somente sites de alta qualidade que estejam em conformidade com a legislação chinesa, tenham pelo menos uma página em chinês simplificado e tenham passado na verificação podem enviar um mapa do site para o Baidu.

O Yahoo e o Duckduckgo utilizam o sistema interno do Bing para obter mapas do sítio e descobrir URLs.

Para informar os motores de busca sobre a localização do mapa do site, é necessário adicionar a seguinte diretiva ao ficheiro robots.txt:

Mapa do sítio: https://www.example.com/sitemap.xml
Aqui, em vez de www.example.com, adiciona o domínio do seu sítio e, em vez de sitemap.xml, a localização do mapa do sítio.

O método de adicionar um mapa do site através de um pedido HTTP está desatualizado. Deixou de ser eficaz no Bing a partir de 13 de maio de 2023 e no Google a partir de 26 de junho de 2023. A principal razão para cancelar este método de adição de informações de mapa do site é o spam. Configurar um script que enviasse automaticamente o seu mapa do site utilizando o protocolo http diariamente (ou após cada alteração) parecia ser uma boa ideia. Para o Google, a cadeia de caracteres enviada tinha o seguinte aspeto:

http://www.google.com/ping?sitemap=https://www.example.com/sitemap.xml
À medida que o número de sítios Web aumentava, a carga nos servidores dos motores de busca crescia visivelmente e foi tomada a decisão de abandonar esta forma de informar sobre a localização do mapa do sítio.

O mapa do sítio e o Google

No Google, os elementos changefreq e priority especificados no ficheiro Sitemap não são tidos em conta na indexação do sítio. O elemento changefreq, que indica a frequência com que o conteúdo de uma página é alterado, não é relevante quando existe um elemento lastmod que indica a data da última modificação da página. E o elemento priority, que pressupõe a determinação da prioridade da página, é subjetivo e não reflecte com precisão a importância real da página em comparação com outras páginas do sítio.

É importante lembrar que o Googlebot tem em conta o atributo lastmod ao analisar as páginas, mas se definir um valor incorreto para o mesmo, este não será tido em conta no futuro. O número de ficheiros Sitemap não desempenha um papel na indexação: do lado do Google, todos os ficheiros Sitemap são fundidos e os URLs dos mesmos são processados em conjunto, independentemente do número de ficheiros que forneceu.

O Google suporta quatro formas de fornecer informações adicionais no ficheiro Sitemap:
1. Expandir os URLs para incluir ficheiros gráficos,
2. Expandir URLs para incluir ficheiros de vídeo,
3. Incluir informações sobre diferentes idiomas ou versões localizadas de páginas usando o atributo hreflang
4. Para os sítios de notícias, pode ser utilizado um tipo especial de Sitemap para fornecer informações sobre as últimas actualizações.

Sitemap e Bing

O diretor do programa de geração de índices do Bing, Fabrice Canel, afirma:
“Uma das principais estratégias para a otimização dos motores de busca (SEO) de sítios Web é ter mapas de sítios de alta qualidade que ajudem os motores de busca a descobrir e aceder a todo o conteúdo relevante alojado nesse sítio Web. Os sitemaps oferecem aos proprietários de sítios Web uma forma verdadeiramente simples de partilhar com cada motor de busca informações sobre o conteúdo que têm no seu sítio, em vez de dependerem apenas de algoritmos de pesquisa (ou seja, scanners, robôs) para o encontrarem.”

Fabrice Canel recomenda que se evitem demasiados ficheiros XML de mapas de sítios no sítio. Idealmente, sugere a utilização de apenas um ficheiro de mapa do site de índice que lista todos os ficheiros de mapa do site relevantes e ficheiros de mapa do site de índice.

Para minimizar o número de links duplicados e que não funcionam nos mapas do site, o Bing recomenda a criação de mapas do site pelo menos uma vez por dia.

Para sites muito grandes com milhões e milhares de milhões de URLs, o tamanho total dos ficheiros XML do mapa do site pode atingir mais de 100 gigabytes. Nestes casos, o Bing recomenda a criação de dois conjuntos de sitemaps e a sua alternância diária.

Mapa do site e Baidu

O Baidu exige o seguinte para sitemaps:

Não deve exceder 10 MB;&nbsp
Não deve conter caracteres chineses;&nbsp
Deve estar localizado na pasta de raiz do seu sítio Web.

Como criar um mapa do site XML?
O Google oferece uma lista ligeiramente desactualizada de geradores de ficheiros Sitemap de terceiros que os webmasters podem utilizar ou criar a sua própria ferramenta com base neles. Atualmente, nem todas as ligações estão activas, mas muitas ainda funcionam.

Aqui estão alguns serviços populares para criar sitemaps XML:
O Sitemap Writer Pro é um programa que oferece sete tipos de sitemaps (sitemap padrão, imagens do Google, notícias do Google, vídeo do Google, pesquisa de código do Google, Google Geo, Google Mobile). Inclui um rastreador incorporado para gerar mapas do site e um gestor de FTP para carregar o mapa do site para o sítio Web.

O gerador de mapas de sítios XML inclui um gerador gratuito (até 500 páginas), um gerador profissional e um script de servidor escrito em PHP.

O My Sitemap Generator é um gerador de mapas de sítios gratuito que analisa o sítio Web e cria um mapa de sítios XML.

Plug-ins CMS que criam sitemaps:
Drupal
Módulo XML Sitemap – cria um mapa do sítio. Inclui vários submódulos que podem adicionar ligações de mapa do sítio para conteúdos, itens de menu e perfis de utilizador.

WordPress
Google (XML) Sitemaps Generator – cria automaticamente um mapa do sítio XML. Além disso, gera um mapa do site em HTML.

Gerador de mapa do site XML
IKSWEB XML Sitemap Generator – um plugin leve e compacto que cria um mapa do sítio XML.

Plugin de mapa do sítio Google XML News
O plugin Google News é um software de código aberto que permite aos editores atualizar ficheiros Sitemap para o Google News. Para além da funcionalidade habitual, permite aos editores descrever os tipos de conteúdo que estão a ser publicados, bem como especificar os níveis de acesso para artigos individuais.

Joomla
A lista atual de plugins que criam um mapa do site em formato XML para o Joomla está listada no sítio Web do CMS.

Outros formatos de mapa do site:
Para além do mapa do sítio em XML, existem outros formatos menos comuns de mapas do sítio destinados aos motores de busca.

RSS, mRSS e Atom 1.0
Para um blogue com um feed RSS ou Atom, pode utilizar o URL deste feed como fonte para criar um ficheiro Sitemap. Quase todas as plataformas de blogues oferecem a possibilidade de criar um feed. O Google suporta feeds RSS 2.0 e Atom 1.0, bem como feeds mRSS (media RSS).

Ficheiro de mapa do site de texto
Num ficheiro Sitemap de texto, só é possível adicionar URLs, cada um numa linha separada. A extensão deste ficheiro deve ser .txt (por exemplo, sitemap.txt).

Conclusão
Em conclusão, um mapa do site XML é uma ferramenta essencial no arsenal de um webmaster ou proprietário de um sítio Web. É um ficheiro estruturado que ajuda os motores de busca a analisar e indexar mais eficazmente o conteúdo do seu sítio. Neste artigo, discutimos os principais aspectos dos sitemaps XML e o seu importante papel na otimização da visibilidade da pesquisa.

Um mapa do site XML permite-lhe controlar quais as páginas do seu site que estão disponíveis para indexação e fornece informações adicionais sobre cada página, como a data da última atualização e a prioridade. Isto ajuda os motores de busca a determinar com mais exatidão quais as páginas a indexar e com que frequência as devem revisitar.

A utilização de mapas de sítios XML é um elemento-chave de uma estratégia de SEO bem sucedida. Contribuem para melhorar a indexação do seu sítio, aumentando assim a sua visibilidade nos resultados da pesquisa.

É importante lembrar que um mapa do site XML é uma ferramenta que requer atualização e manutenção constantes para se manter actualizada e eficaz. A atualização regular do seu mapa do sítio permite que os bots acompanhem as alterações no seu sítio e informem os motores de busca sobre essas alterações.

Caros amigos! Obrigado pela vossa leitura e pelo vosso tempo!
Esperamos que o artigo tenha sido interessante e, acima de tudo, útil!