Карта сайта Sitemap.xml

XML-карта сайта — список всех URL, которые нужно показывать поисковой системе, чтобы ускорить индексацию и переиндексацию сайта. Файл имеет специальный формат XML и создается исключительно для поисковых систем, так как рядовому пользователю он вряд ли понадобится.

Обычно XML-карта сайта представлена в виде файла, который лежит в корне сайта и имеет название sitemap.xml. Однако это необязательно, так как поисковые системы могут обрабатывать карты и по адресам с Get-параметрами, типа http://site.com/index.php?option=com_xmap&sitemap=1&view=xml. Тут самое важное, чтобы поисковая система получила адрес этой карты и ее формат был верным.

XML нужна для:

• отправки сообщения поисковым системам о всех страницах сайта, которые нужно индексировать;
• расстановки приоритетов индексации страниц;
• уведомления поисковых систем о частоте обновления страниц;
• уведомления поисковых систем о последних изменениях на страницах;
• управления сканированием и индексацией сайта.

Пример фрагмента sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>https://sanmarco-vernici.ru/</loc>
<changefreq>always</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://sanmarco-vernici.ru/abc-riflessi.html</loc>
<lastmod>2017-02-16</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
<image:image>
<image:loc>https://sanmarco-vernici.ru/image/cache/catalog/lessiruyushhie-finitury/abc-riflessi/abc-riflessi-001-m-700x500.jpg</image:loc>
<image:caption>ABC Riflessi - АБиЧи Рифлесси</image:caption>
<image:title>ABC Riflessi - АБиЧи Рифлесси</image:title>
</image:image>
</url>
</urlset>

В данной карте представлен целый ряд элементов, которые можно разделить на 2 типа:

• обязательные;
• необязательные.

Обязательные элементы

Необязательные элементы, которые учитываются поисковыми системами

На самом деле это не все элементы, которые можно еще указать в XML-карте, но самые распространенные. Очень популярной практикой является создание отдельных XML-карт для следующего контента:

• изображений;
• видео;
• новостей.

Карта сайта для картинок

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
       xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
 <url>
   <loc>http://site.com/page.html</loc>
   <image:image>
     <image:loc>http://site.com/pic1.jpg</image:loc>
   </image:image>
   <image:image>
     <image:loc>http://site.com/pic1.jpg</image:loc>
   </image:image>
 </url>
</urlset>

Обычно подобная карта содержит специальные элементы, описывающие картинки, и создается отдельным файлом. Ссылка него указывается в основной карте сайта.

Причем стоит отметить, что последние два элемента обычно не очень популярны в русскоязычном интернете и редко используются в картах.

Карта сайта для видео

В принципе, данный файл является необязательным на сайтах, а расширенную информацию можно передавать и с помощью микроразметки для видео. Тут каждый владелец сайта сам решает, что ему удобнее внедрять на своем ресурсе.

Файл с картой сайта для видео может выглядеть так:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
   <url>
     <loc>http://www.site.com/videos/some_video_landing_page.html</loc>
     <video:video>
       <video:thumbnail_loc>http://www.site.com/thumbs/123.jpg</video:thumbnail_loc>
       <video:title>Как приготовить отличный шашлык</video:title>
       <video:description>Алла учит правильно готовить шашлык</video:description>
       <video:content_loc>
           http://streamserver.site.com/video123.mp4</video:content_loc>
       <video:player_loc>
         http://www.site.com/videoplayer.php?video=123</video:player_loc>
       <video:duration>600</video:duration>
       <video:expiration_date>2021-11-05T19:20:30+08:00</video:expiration_date>
       <video:rating>4.2</video:rating>
       <video:view_count>12345</video:view_count>
       <video:publication_date>2007-11-05T19:20:30+08:00</video:publication_date>
       <video:family_friendly>yes</video:family_friendly>
       <video:restriction relationship="allow">IE GB US CA</video:restriction>
       <video:price currency="EUR">1.99</video:price>
       <video:requires_subscription>yes</video:requires_subscription>
       <video:uploader
          info="http://www.site.com/users/grillymcgrillerson">GrillyMcGrillerson
       </video:uploader>
       <video:live>no</video:live>
     </video:video>
   </url>
</urlset>

Обычно подобная карта содержит специальные элементы, описывающие видео, и создается отдельным файлом. Ссылка на него указывается в основной карте сайта.

Элементы XML-карты для видео для Google

Поисковая система Google рекомендует у себя размечать карту видео следующими тегами:

Это не все параметры, которые можно передать поисковой системе Google, а только лишь основные. Более подробно обо всех параметрах можно прочитать в справке.

Элементы XML-карты для видео для Яндекс

Поисковая система Яндекс рекомендует использовать свои собственные элементы для разметки видеороликов. Поэтому пример xml-карты для видео у нее выглядит так:

<?xml version="1.0" encoding="UTF-8"?>
<ovs:video
    xmlns:ovs="http://webmaster.yandex.ru/schemas/video"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://webmaster.yandex.ru/schemas/video">
  <ovs:url>https://www.mysite.com/page123</ovs:url>
  <ovs:thumbnail>https://www.mysite.com/default.jpg</ovs:thumbnail>
  <ovs:title>Что такое XML?</ovs:title>
  <ovs:description>XML — это современная технология представления данных.
Сегодня XML очень распространен в самых разных областях: с его помощью формируются документы различных типов, XML часто используется для обмена данными в программировании, для передачи информации в интернете. Предлагаемый курс рассматривает основные технологии XML, такие как описание данных, грамматика XML-разметки, XML схемы, XSL и XSLT.</ovs:description>
  <ovs:embed_url>https://www.mysite.com/iframe/yacinema/123/</ovs:embed_url>
  <ovs:upload_date>2013-07-19T00:00:00</ovs:upload_date>
  <ovs:duration>5545454</ovs:duration>
  <ovs:adult>no</ovs:adult>
</ovs:video>

И обрабатывает она следующие элементы:

На самом деле Яндекс тоже может обрабатывать гораздо больше параметров, передаваемых о видео. Более подробно про них можно прочесть в справке.

Карта сайта для новостей

Для новостей очень важна скорость индексации нового контента на сайте, так как новости появляются постоянно и устаревают достаточно быстро. Чтобы Google Новости быстрее индексировали все новости на вашем сайте и быстрее учитывали их при поиске, специалисты Гугла рекомендуют делать специальную карту сайта для Google Новостей.

Если же новостной ресурс не участвует в программе Google Новости, то создание карты сайта бессмысленно, о чем пишут сами специалисты Google:

В отличие от всех остальных xml-карт сайта, в карте для новостей важно указать ссылки не на все новости, что есть на сайте, а только на актуальные. Т. е. в данной карте указываются ссылки на новости, которые были опубликованы за последние 2 дня, а все, что старше, должно удаляться как устаревшая информация.

Файл с картой сайта для видео может выглядеть так:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
<url>
  <loc>http://www.example.org/business/article55.html</loc>
  <news:news>
    <news:publication>
      <news:name>The Example Times</news:name>
      <news:language>en</news:language>
    </news:publication>
    <news:publication_date>2008-12-23</news:publication_date>
    <news:title>Companies A, B in Merger Talks</news:title>
  </news:news>
</url>
</urlset>

Обычно подобная карта содержит специальные элементы, описывающие картинки, и создается отдельным файлом. Ссылка на него указывается в основной карте сайта.

В принципе, это все элементы, использующиеся Google, однако у данной карты есть много особенностей в работе, которые надо учесть. Об этом подробно написано в справке Google.

XML-карта для мультиязычного сайта

Для сайтов на нескольких языках можно в карте сайта указывать языковые версии через атрибут rel="alternate" hreflang="x". Это один из способов передачи информации о языковых версиях для поискового робота. Это необязательная процедура, так как региональность и мультиязычность сайтов можно передавать через html теги и html заголовки.

Чтобы это сделать корректно, вначале в пространство имен XHTML указываем:

xmlns:xhtml="http://www.w3.org/1999/xhtml"

Для каждого адреса создается отдельный элемент <url>, который будет включать следующую информацию:

• дочерний элемент <loc>, где указывается URL страницы;
• дочерний элемент <xhtml:link rel="alternate" hreflang="код языка">, где перечисляются все варианты страницы, включая текущую с указанием кода языка.

Порядок дочерних элементов <xhtml:link> для поисковых систем тут не важен, однако для удобства работы с файлом и поиска ошибок, в этом документе следует придерживаться определенных логических последовательностей.

Например, на сайте есть раздел на русском языке, предназначенный для пользователей со всего мира. Кроме того, существуют две версии этой страницы: на украинском и на английском.

Если у нас 3 языка на сайте:

• site.com/ua/
• site.com/ru/
• site.com/en/

То xml-карта для трехъязычного сайта будет выглядеть так:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
 xmlns:xhtml="http://www.w3.org/1999/xhtml">
 <url>
   <loc>http://site.com/ru/</loc>
   <xhtml:link
                rel="alternate"
                hreflang="ua"
                href="http://www.site.com/ua/"
                />
   <xhtml:link
                rel="alternate"
                hreflang="en"
                href="http://www.site.com/en/"
                />
   <xhtml:link
                rel="alternate"
                hreflang="ru"
                href="http://www.site.com/ru/"
                />
 </url>
 <url>
   <loc>http://www.site.com/deutsch/</loc>
   <xhtml:link
                rel="alternate"
                hreflang="ru"
                href="http://www.site.com/ru/"
                />
    <xhtml:link
                rel="alternate"
                hreflang="en"
                href="http://www.site.com/en/"
                />
    <xhtml:link
                rel="alternate"
                hreflang="ua"
                href="http://www.site.com/ua/"
                />
 </url>
 <url>
   <loc>http://www.site.com/en/</loc>
    <xhtml:link
            rel="alternate"
                hreflang="ru"
                href="http://www.site.com/ru/"
                />
    <xhtml:link
                rel="alternate"
                hreflang="ua"
                href="http://www.site.com/ua/"
                />
      <xhtml:link
                rel="alternate"
                hreflang="en"
                href="http://www.site.com/en/"
                />
 </url>
</urlset>

Best practices по созданию xml-карты сайта

Исходя из рекомендаций справки поисковой системы, а также из наработок целого ряда SEO-специалистов и программистов, возникли рекомендации, к которым стоит прислушиваться при создании карты сайта.

Обязательно читаем справку поисковой системы по созданию sitemap.xml

В статьях справки обычно рассматриваются все самые важные моменты, которые надо учесть при разработке карты сайта (это то, что поисковые системы будут проверять). Также не менее полезно прочесть справку о самом формате xml для карты сайта. Ссылки на данные статьи указаны тут:

• https://support.google.com/webmasters/topic/4581190?hl=ru&ref_topic=4581352
• https://yandex.ru/support/webmaster/indexing-options/sitemap.xml
• https://www.sitemaps.org/ru/protocol.html

В целом, информация в статьях будет похожей, но некоторые важные моменты будут отличаться. Например, Google в своей справке настоятельно рекомендует делать xml-карту сайта для картинок, в то время как роботы поисковой системы Яндекс не обрабатывают теги картинок в xml-карте сайта, а инструменты проверки даже могут указывать из-за этого на ошибку.

Рекомендуется стандартный адрес карты site.com / sitemap.xml

Желательно создавать карту сайта sitemap.xml по адресу site.com/sitemap.xml — в таком варианте поисковые системы по умолчанию ищут карту сайта на домене. Но это не значит, что если у вас карта сайта находится по другому адресу (например — http://site.com/index.php?option=com_xmap&sitemap=1&view=xml), то поисковые роботы ее не будут учитывать. Просто они не будут сами ее там искать. И если адрес xml-карты иной, то его нужно обязательно указать для поисковых систем — в файле Robots.txt и сервисах Яндекс.Вебмастер и Google Search Console.

На основном домене только URL основного домена

Карты сайтов для поддоменов генерируются отдельно на поддоменах и не подгружаются в карту на основной домен. Т. е. в карте сайта домена должны быть только лишь URLы этого домена. Исключение лишь составляет карта сайта для видео, где допускаются ссылки на YouTube видеофайлы.

В карте сайта присутствуют только доступные для индексации документы

Все страницы в XML-карте должны отдавать ответ 200 Ok и быть доступны для индексации поисковиками. Там не должно быть страниц с кодами ответов 404, 301, 307, 5xx и т. п. Кроме этого, страницы, закрытые от сканирования в файле Robots.txt или с закрытыми от индексации тегами meta robots и canonical, тоже не должны указываться в xml-карте сайта. Появление подобных ссылок на страницы в xml-карте сайта может ухудшать индексацию и переобход всего сайта, так как поисковые роботы будут заняты посещением бесполезных URLов.

Большие xml-карты нужно разбивать на части

Одна карта сайта может быть до 50 Мб и содержать до 50000 URL одновременно. Файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала. Однако его размер без сжатия все равно не должен превышать 50 МБ. Если карта будет больше, то страницы в ней будут хуже индексироваться.

Поэтому большие карты разбивают на части. В основной карте выводят ссылки на подкарты, типа:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.site.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.site.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>

При этом можно, а иногда даже нужно, делать отдельные карты для картинок, видео, новостей и т. п. Если проект очень крупный, то для удобства анализа карту лучше разбивать на части по типам страниц (отдельно карта сайта товаров, отдельно категорий и т. п.). Подобное решение упростит анализ причин плохой индексации каждого типа страниц в Search Console. И тут главное не забывать ссылаться на эти файлы в основной карте сайта.

Кодировка UTF-8

Хотя поисковые роботы могут работать с разными кодировками, все же лучше использовать в файле Sitemap UTF-8, так как она хорошо индексируется, воспринимается поисковыми системами и является самой популярной при разработке сайта.

Автоматизация генерации и поддержания актуальности файлов Sitemap.xml

Желательно, чтобы карта формировалась в CMS автоматически, в противном случае придется генерировать ее сервисом и тогда ее нужно будет регулярно обновлять через сервис. Кроме этого, в xml-карте важна актуальность информации. Чтобы не думать каждый раз о ручной перегенерации карты сайта при добавлении или удалении страниц, она должна обновляться автоматически. В противном случае всегда есть риск потерять новые страницы или наоборот отправлять постоянно робота на удаленные.

Устраняем ошибки по картам сайта в сервисах для вебмастеров поисковых систем

Следите, чтобы в сервисах для вебмастера по карте не было ошибок. Но учтите, что Яндекс не обрабатывает xml-карты картинок и теги image в карте, поэтому на теги картинок он будет в валидаторе Вебмастера показывать ошибку.

Включать картинки в карту сайта можно, но необязательно, так как поисковые системы и так их проиндексируют при обходе страниц. Однако обычно рекомендуется делать карту сайта для картинок в случае, когда на сайте их много и все они уникальные, так как это может ускорить их индексацию.

Как вариант, для того, чтобы избавиться от ошибок, можно отдавать отдельно для Google в Robots.txt карту с картинками, а для Яндекса — карту без картинок, но это требует дополнительных внедрений на сайте, поэтому проще просто игнорировать предупреждения о тегах картинок в инструментах Яндекса.

Чистые URL в картах

Урлы в карте должны быть без идентификаторов сеансов, UTM-меток и т. п. Робот должен получать тут только те адреса страниц, которые должны проиндексироваться.

Карта сайта должна быть доступна для индексации

Ее файл должен быть не запрещен для индексации и сканирования в поисковых системах и отдавать ответ 200 Ok. Во всех остальных случаях она будет игнорироваться роботами.

Указываем адрес карты сайта в Robots.txt и добавляем карту в сервисы вебмастеров Яндекс и Google

Чтобы поисковые системы наверняка нашли вашу карту сайта, обязательно укажите ссылку на нее в файле Robots.txt:

Причем даже если у вас карта сайта находится по стандартному адресу site.com / sitemap.xml, то все равно рекомендуется ее указать в Robots.txt.

Кроме этого, чтобы вам легче было анализировать все ошибки в карте сайта и индексации ресурса, то лучше еще ее указать в инструментах для веб-мастеров от поисковых систем Google (Google Search Console) и Яндекс (Яндекс Вебмастер):

В принципе в Яндекс Вебмастер может находить ссылку на xml-карту сайта в файле Robots.txt:

Чтобы это сделать, нужно в любое место файла Robots.txt прописать

Sitemap: {url-файла-sitemap},

где {url-файла-sitemap} — это полный URL вашей xml-карты. Например:

Sitemap: https://site.com.ua/sitemap.xml

Отдельно ссылку на карту сайта указывать в Вебмастер Яндекс некритично, так как она будет дополнительной:

Как создать sitemap.xml

Существует несколько способов создания карты сайта и каждый из них имеет свои достоинства и недостатки:

• ручное создание карты;
• с помощью программ;
• с помощью сервисов;
• автоматическая генерация карты движком сайта.

Ручное создание файла sitemap.xml

Это самый дешевый вариант, хотя и кропотливый. Для этого вам надо детально изучить синтаксис формирования XML-карт, который описывался выше, и создать соответствующий файл или файлы. В таком варианте вы можете создавать любые карты, которые вам нужны (главное, знать все урлы всех страниц), однако, если у вас очень много урлов на сайте, то это займет много времени. Да и обновлять подобный файл вручную при внесении изменений на сайт тоже придется самому.

Если у вас сайт, который редко обновляется и имеет 10 страниц, то можно воспользоваться этим методом. В других случаях следует воспользоваться другими методами.

Создание карты сайта с помощью программ

На самом деле, программ, с помощью которых можно создавать карты сайта, достаточно много. Это умеют делать многие специализированные программы для технического анализа сайта.

Суть этого метода следующая: специальный софт сканирует сайт, переходя по внутренним ссылкам, и по окончании формирует готовый xml-файл, который можно разместить на домене.

Я лично использую для этой цели программы Screaming Frog. Ее можно скачать бесплатно прямо с сайта разработчика и в пробной версии она будет сканировать максимум 500 страниц одного сайта, однако в интернете можно при желании найти лекарство для программы. И тут, как говорится: «Google в помощь!»:)

При загрузке программы перед вами будет ее интерфейс, где самое важное правильно указать режим работы программы:

Так как мы собираемся сканировать сайт, то выбираем режим “Spider” и в поле для домена указываем URL сайта. Далее жмем кнопку “Start”:

После этого программа начинает сканирование сайта. Оно может быть разным по времени в зависимости от размера сайта, скорости его работы и настроек программы. В данном случае нужно только дождаться окончания сканирования при достижении 100% просканированных страниц и полной его остановки:

Далее в меню программы вам нужно выбрать раздел «Sitemaps» и тип карты, которую вы хотите создать. В принципе данная программа может создавать XML-карту сайта только для всех html-страниц (режим «XML sitemap») или карту сайта для картинок (Image sitemap). В данном случае я выбираю режим «XML sitemap»:

Тут у вас откроется окно настройки, где вы можете указать все настройки формирования карты (какую информацию хотите передавать, а какую нет):

Здесь есть целый ряд настроек:

• На текущем экране можно указать, чтобы добавлялись в карту сайта страницы, закрытые в Robots.txt и тегом meta robots, страницы с ответами, отличными от 200 OK. По умолчанию, если галочек нет, то они не включаются в карту.
• Значение параметра lastmod (вкладка Last Modification).
• Указать приоритетность страниц в зависимости от глубины страницы на сайте (вкладка «Priority»). Тут стоит отметить один момент — глубина страницы в данном случае определяется программой по количеству кликов страницы от главной.
• Периодичность изменений страниц (вкладка Change Frequency). В этом параметре также можно указать периодичность изменения страницы в зависимости от ее глубины.
• Создание и добавление карты картинок в основную карту (вкладка Image). По умолчанию эта функция не включена, однако ее можно использовать. Она даже работает для сайтов, у которых картинки находятся на CDN-домене.
• Добавление языковых версий для мультиязычных сайтов (вкладка hreflang).

Как только нужные настройки выбраны, нажмите зеленую кнопку «Next». Система предложит вам сохранить уже готовую карту на компьютер:

В принципе делать карту сайта этим инструментом несложно, для этого не нужно привлекать программистов и тратить кучу времени на написание тегов. Однако из-за того, что эта программа стоит не на сервере, а на вашем компьютере, могут возникнуть следующие проблемы:

• Некорректная работа с большими сайтами (где тысячи и десятки тысяч страниц). На таких сайтах программе может не хватать памяти, и тогда нужно будет сохранять данные сканирования в процессе работы.
• На некоторых хостингах работа программы может вызвать зависание компьютера в процессе сканирования.
• При выключении света или случайном закрытии программы нужно будет начинать все сначала, да и компьютер во время сканирования не выключишь.

Еще один важный недостаток — необходимость регулярного обновления карты в ручном режиме (пересканирование сайта), так как она не будет обновляться автоматически.

Создание xml-карты сайта онлайн-сервисом

Онлайн-сервисы, как и софт, тоже генерируют карты сайта на основе данных сканирования сайта. Но в отличие от софта, они работают на сторонних серверах, поэтому могут без проблем обрабатывать сайты на десятки и сотни тысяч страниц. А вам для этого не надо сидеть со включенным компьютером и следить, чтобы не переполнялась память устройства. Стоит только включить сканирование, выставить все настройки, и сервис сделает все сам.

Освоить синтаксис xml-карт несложно, они просты в использовании и не требуют привлечения программиста. В случае больших карт вы даже можете закрыть вкладку в браузере с этим сервисом и вернуться туда уже через несколько часов. Кстати, некоторые сервисы вообще могут отправить вам готовую карту сайта сразу на почту. Т. е. с точки зрения удобства работы — подобные сервисы гораздо лучше аналогичного софта. Но обычно при работе с большим количество страниц они делают карты сайта только платно. Да и сама карта каждый раз при добавлении или обновлении страниц на сайте будет требовать перегенерации, так как она автоматическая. Правда некоторые сервисы могут автоматически регулярно перегенерировать карту сайта при ежемесячной подписке, например:

Но это дополнительные регулярные траты на сервис.

В качестве сервисов генерации xml-карты можно использовать:

• MySitemapGenerator,
• HTML Web,
• инструменты для генерации сайтмапа от SaitReport и Cy-Pr и др.

Функционал каждого из сервисов несколько отличается и некоторые из них даже позволяют создавать карту для небольших сайтов бесплатно, а также делать карту картинок.

Так, например, MySitemapGenerator позволяет бесплатно сделать карту на 500 страниц, а готовый файл отправляет вам на почту. В платном варианте даже может добавлять карту картинок.

Чтобы им воспользоваться, вам для начала нужно определиться с тарифом работы:

В данном случае выбираем бесплатный вариант и открывается окно:

Тут вам нужно указать адрес главной страницы, свой email и проверочный код. Email тут необязателен, но лучше его указать, чтобы по окончании сканирования готовый файл пришел в письме. Ниже на странице есть масса настроек карты, которые немного пересекаются с теми, что были у программы Screaming Frog:

Подробнее обо всех них можно узнать прямо на сайте в разделе «Помощь вебмастеру». В принципе, для большинства сайтов подойдут настройки по умолчанию. Как только все необходимое указано, можно нажимать зеленую кнопку «Старт» и запустить сканирование:

По окончании работы система вам предложит просто сохранить файл на компьютер:

На самом деле этот метод несложен и работает гораздо быстрее программы, но он не лишен недостатков, что уже описывалось ранее.

Автоматическая генерация карты движком сайта

На мой взгляд, это самый приемлемый вариант создания карты сайта. Хотя он требует платных доработок сайта программистами, но зато один раз внедрив нужный функционал, вы далее забудете обо всем. Так как сама CMS-система (движок сайта) будут перегенерировать карту по мере добавления новых страниц и их обновления, а вам остается только указать ссылки на карту сайта в сервисах вебмастеров поисковых систем и в Robots.txt и все. Самое сложное в этом варианте — составить техническое задание для программистов, чтобы карта сайта работала корректно и по всем правилам. В принципе, на большинстве самых распространенных CMS-систем все это делается с помощью разработанных дополнительных модулей и плагинов, и программистам остается только установить нужный функционал и правильно его настроить.

Пример ТЗ на создание карты сайта

Основные моменты проверки Sitemap.xml

Для корректного учета xml-карты сайта очень важно, чтобы в ней не было ошибок. Существует множество инструментов, которые помогают найти ошибки в карте сайта. Самыми важными для меня являются 2 инструмента:

• https://www.google.com/webmasters/tools/sitemap-list — анализатор карты сайта в инструменте Search Console от Google
• https://webmaster.yandex.ru/tools/sitemap/?tab=text — анализатор карты сайта в инструменте Яндекс Вебмастер

Проверка sitemap.xml в Google Search Console

Данным инструментом можно проверить карту только для собственного сайта, на котором установлен Google Search Console. Если этого инструмента нет, то проверить карту сайта не получится.

Переходим по указанной ранее ссылке, и у нас откроется окно выбора анализируемого сайта:

Переходим в новый отчет о карте сайта:

И тут мы просто выбираем интересующий нас сайт. Если карта добавлена в Search Console, то результат отчета будет выглядеть следующим образом:

Если не добавлена, то через кнопку вверху (на скрине) вам нужно ее добавить.

Для анализа ошибок в карте заходим в более глубокий отчет по кнопке:

В случае если в карте сайта есть какие-то ошибки, это будет указано в нижней части отчета:

Далее, переходя по ссылкам в ошибках, можно получить соответствующее пояснение:

Отчеты о проблемах и исключенных страницах будут помогать увидеть степень индексации ресурса:

Если эта доля страниц с ошибками и / или с исключенными страницами разница велика, как видно на картинке выше, то стоит детальнее анализировать ресурс и устранять причины, по которым поисковая система не хочет принимать страницы в индекс.

Проверка sitemap.xml в Яндекс.Вебмастер

В отличие от аналогичного инструмента Google, Яндекс позволяет проверять на ошибки карту сайта даже неподтвержденных в Яндекс.Вебмастере ресурсов. Для этого надо перейти по ссылке и в открывшемся окне выбрать режим работы инструмента:

Тут вы можете просто скопировать содержимое карты сайта в окно (режим «Текст»), указать ссылку на файл с картой сайта (режим «URL») или загрузить файл с картой прямо с вашего компьютера (режим «Файл»).

В данном случае использую режим «Текст». Копирую весь код файла sitemap.xml в соответствующее окно и нажимаю подсвечивающуюся кнопку «Проверить»:

Если ошибок в карте сайта не обнаружено, вы увидите соответствующую информацию на странице:

Но если в файле есть какие-либо проблемы, то соответствующую информацию вы также увидите в отчете анализа:

Самые распространенные ошибки Sitemap.xml

Существует типичный набор ошибок xml-карт, которые мешают ее обработке:

• Файл карты сайта на другом домене. Такая карта не будет обрабатываться, так как только в карте сайта для видео допускается указание URLов со сторонних доменов.
• Установлен редирект с карты на другую страницу. Карта должна отдавать ответ 200 Ok, иначе она не будет обрабатываться поисковыми системами.
• Отсутствуют обязательные служебные элементы. Такая ошибка в оформлении элементов может влиять негативно на обработку карты, так как роботы не будут знать, как корректно считать.
• В карте присутствуют страницы закрытые для индексации в meta robots и Robots.txt. Эта ошибка может приводить роботов снова и снова на закрытые страницы, снижать скорость сканирования сайта, но при этом до полезных страниц робот может не добраться.
• Карта сгенерирована сторонним сервисом, типа Sitemapgenerator.ru, и не обновляется. Во всех случаях, когда она генерируется вручную на сайте, где контент постоянно добавляется, высока вероятность, что новый контент будет плохо индексироваться, так как заменить карту просто забыли. Поэтому лучше всего делать так, что бы сама CMS генерировала карту.
• Сама карта закрыта Robots.txt. Обычно эта ошибка встречается, когда карта находится не по стандартному адресу site.com/sitemap.xml/. Тогда робот попросту не может ее считать и обработать (фактически для него ее нет).
• Некорректные даты публикации и обновления контента. Поисковая система может не знать об обновлении вашего контента и делать его переиндексацию хуже.
• Какие-то полезные типы страниц не попадают в карту сайта. Это частое явление на CMS-системах, где какой-то функционал создается модулями или плагинами. Например, интернет-магазины на Bitrix или Opencart имеют блог на сайте, реализованный модулем, и ссылки на все его страницы могут забыть добавить в XML-карту, так как это требует дополнительных доработок. В результате поисковая система просто не будет знать о новых страницах в блоге, пока не найдет их по ссылкам непосредственно на сайте. А это может занимать много времени. Поэтому важно проверять все типы полезных страниц на сайте на наличие их в xml-карте.

Важные замечания о карте сайта sitemap.xml

Есть целый ряд моментов, которые хотелось бы упомянуть еще про файл sitemap.xml:

• Файл sitemap.xml является рекомендацией для поисковой системы, поэтому не все URLы, включенные в карту, могут быть проиндексированы. Ее использование просто повышает шанс индексации.
• Удаление URL из карты сайта не удаляет страницу из индекса и не запрещает ее индексацию. Чтобы запретить поисковой системе индексировать страницу, нужно использовать запрет либо в файле Robots.txt, либо в метатеге robots.
• Использование карты сайта не является обязательным моментом для поисковых систем, но при этом оно помогает индексации. Если xml-карта отсутствует, то могут быть проблемы с индексацией глубоких страниц на сайте, но если с индексаций сайта проблем нет, то на позиции сайта она не влияет.