Карта сайту Sitemap.xml

XML-карта сайту — список усіх URL, які потрібно показувати пошуковій системі, щоб прискорити індексацію та переіндексацію сайту. Файл має спеціальний формат XML і створюється виключно для пошукових систем, оскільки пересічному користувачеві вона навряд знадобиться.

Зазвичай XML-карта сайту представлена у вигляді файлу, який лежить у корені сайту і має назву sitemap.xml. Однак це необов'язково, оскільки пошукові системи можуть обробляти карти й за адресами з Get-параметрами, типу http://site.com/index.php?option=com_xmap&sitemap=1&view=xml. Тут найважливіше, щоб пошукова система отримала адресу цієї карти та її формат був вірним.

XML потрібна для:

• надсилання повідомлення пошуковим системам про всі сторінки сайту, які потрібно індексувати;
• розставляння пріоритетів індексації сторінок;
• повідомлення пошукових систем про частоту оновлення сторінок;
• повідомлення пошукових систем про останні зміни на сторінках;
• управління скануванням та індексацією сайту.

Приклад фрагмента sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>https://sanmarco-vernici.ru/</loc>
<changefreq>always</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://sanmarco-vernici.ru/abc-riflessi.html</loc>
<lastmod>2017-02-16</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
<image:image>
<image:loc>https://sanmarco-vernici.ru/image/cache/catalog/lessiruyushhie-finitury/abc-riflessi/abc-riflessi-001-m-700x500.jpg</image:loc>
<image:caption>ABC Riflessi - АБиЧи Рифлесси</image:caption>
<image:title>ABC Riflessi - АБиЧи Рифлесси</image:title>
</image:image>
</url>
</urlset>

У цій карті представлено цілу низку елементів, які можна розділити на 2 типи:

• обов'язкові;
• необов'язкові.

Обов'язкові елементи

Необов'язкові елементи, які враховуються пошуковими системами

Насправді це не всі елементи, які можна ще вказати в XML-карті, але найпоширеніші. Дуже популярною практикою є створення окремих XML-карт для такого контенту:

• зображень;
• відео;
• новин.

Карта сайту для картинок

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
       xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
 <url>
   <loc>http://site.com/page.html</loc>
   <image:image>
     <image:loc>http://site.com/pic1.jpg</image:loc>
   </image:image>
   <image:image>
     <image:loc>http://site.com/pic1.jpg</image:loc>
   </image:image>
 </url>
</urlset>

Зазвичай подібна карта містить спеціальні елементи, що описують картинки, і створюється окремим файлом. Посилання на нього вказується в основній карті сайту.

Причому варто зазначити, що останні два елементи зазвичай не дуже популярні в російськомовному інтернеті та рідко використовуються в картах.

Карта сайту для відео

У принципі цей файл є необов'язковим на сайтах, а розширену інформацію можна передавати й за допомогою мікророзмітки для відео. Тут кожен власник сайту сам вирішує, що йому зручніше впроваджувати на своєму ресурсі.

Файл із картою сайту для відео може мати такий вигляд:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
   <url>
     <loc>http://www.site.com/videos/some_video_landing_page.html</loc>
     <video:video>
       <video:thumbnail_loc>http://www.site.com/thumbs/123.jpg</video:thumbnail_loc>
       <video:title>Як приготувати чудовий шашлик</video:title>
       <video:description>Алла вчить правильно готувати шашлик</video:description>
       <video:content_loc>
           http://streamserver.site.com/video123.mp4</video:content_loc>
       <video:player_loc>
         http://www.site.com/videoplayer.php?video=123</video:player_loc>
       <video:duration>600</video:duration>
       <video:expiration_date>2021-11-05T19:20:30+08:00</video:expiration_date>
       <video:rating>4.2</video:rating>
       <video:view_count>12345</video:view_count>
       <video:publication_date>2007-11-05T19:20:30+08:00</video:publication_date>
       <video:family_friendly>yes</video:family_friendly>
       <video:restriction relationship="allow">IE GB US CA</video:restriction>
       <video:price currency="EUR">1.99</video:price>
       <video:requires_subscription>yes</video:requires_subscription>
       <video:uploader
          info="http://www.site.com/users/grillymcgrillerson">GrillyMcGrillerson
       </video:uploader>
       <video:live>no</video:live>
     </video:video>
   </url>
</urlset>

Зазвичай подібна карта містить спеціальні елементи, що описують відео, і створюється окремим файлом. Посилання на нього вказується в основній карті сайту.

Елементи XML-карти для відео для Google

Пошукова система Google рекомендує у себе розмічати карту відео такими тегами:

Це не всі параметри, які можна передати пошуковій системі Google, а тільки лише основні. Детальніше про всі параметри можна прочитати в довідці.

Елементи XML-карти для відео для Яндекс

Пошукова система Яндекс рекомендує використовувати свої власні елементи для розмітки відеороликів. Тому приклад xml-карти для відео у неї має такий вигляд:

<?xml version="1.0" encoding="UTF-8"?>
<ovs:video
    xmlns:ovs="http://webmaster.yandex.ru/schemas/video"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://webmaster.yandex.ru/schemas/video">
  <ovs:url>https://www.mysite.com/page123</ovs:url>
  <ovs:thumbnail>https://www.mysite.com/default.jpg</ovs:thumbnail>
  <ovs:title>Что такое XML?</ovs:title>
  <ovs:description>XML — це сучасна технологія подання даних.
Сьогодні XML дуже поширений у найрізноманітніших галузях: за його допомогою формуються документи різних типів, XML часто використовується для обміну даними в програмуванні, для передачі інформації в інтернеті. Пропонований курс розглядає основні технології XML, такі, як опис даних, граматика XML-розмітки, XML схеми, XSL і XSLT.</ovs:description>
  <ovs:embed_url>https://www.mysite.com/iframe/yacinema/123/</ovs:embed_url>
  <ovs:upload_date>2013-07-19T00:00:00</ovs:upload_date>
  <ovs:duration>5545454</ovs:duration>
  <ovs:adult>no</ovs:adult>
</ovs:video>

І обробляє вона такі елементи:

Насправді Яндекс теж може обробляти набагато більше параметрів, переданих про відео. Детальніше про них можна прочитати в довідці.

Карта сайту для новин

Для новин дуже важлива швидкість індексації нового контенту на сайті, оскільки новини з'являються постійно й застарівають досить швидко. Щоб Google Новини швидше індексували всі новини на вашому сайті та швидше враховували їх під час пошуку, фахівці Гугла рекомендують робити спеціальну карту сайту для Google Новин.

Якщо ж новинний ресурс не бере участі в програмі Google Новини, то створення карти сайту безглузде, про що пишуть самі фахівці Google:

На відміну від усіх інших xml-карт сайту, в карті для новин важливо вказати посилання не на всі новини, що є на сайті, а тільки на актуальні. Тобто в цій карті вказуються посилання на новини, які були опубліковані за останні 2 дні, а все, що старше, повинно видалятися як застаріла інформація.

Файл із картою сайту для відео може мати такий вигляд:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
<url>
  <loc>http://www.example.org/business/article55.html</loc>
  <news:news>
    <news:publication>
      <news:name>The Example Times</news:name>
      <news:language>en</news:language>
    </news:publication>
    <news:publication_date>2008-12-23</news:publication_date>
    <news:title>Companies A, B in Merger Talks</news:title>
  </news:news>
</url>
</urlset>

Зазвичай подібна карта містить спеціальні елементи, що описують картинки, і створюється окремим файлом. Посилання на нього вказується в основній карті сайту.

У принципі, це всі елементи, які використовує Google, проте у цієї карти є багато особливостей у роботі, які треба врахувати. Про це детально написано в довідці Google.

XML-карта для багатомовного сайту

Для сайтів кількома мовами можна в карті сайту вказувати мовні версії через атрибут rel="alternate" hreflang="x". Це один зі способів передачі інформації про мовні версії для пошукового робота. Це необов'язкова процедура, оскільки регіональність і багатомовність сайтів можна передавати через html теги та html заголовки.

Щоб це зробити коректно, спочатку в простір імен XHTML вказуємо:

xmlns:xhtml="http://www.w3.org/1999/xhtml"

Для кожної адреси створюється окремий елемент <url>, який включатиме таку інформацію:

• дочірній елемент <loc>, де вказується URL сторінки;
• дочірній елемент <xhtml:link rel="alternate" hreflang="код языка">, де перераховуються всі варіанти сторінки, включно з поточною із зазначенням коду мови.

Порядок дочірніх елементів <xhtml:link> для пошукових систем тут не важливий, однак для зручності роботи з файлом і пошуку помилок, у цьому документі треба дотримуватися певних логічних послідовностей.

Наприклад, на сайті є розділ російською мовою, призначений для користувачів з усього світу. Зокрема існують дві версії цієї сторінки: українською та англійською.

Якщо у нас 3 мови на сайті:

• site.com/ua/
• site.com/ru/
• site.com/en/

То xml-карта для тримовного сайту матиме такий вигляд:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
 xmlns:xhtml="http://www.w3.org/1999/xhtml">
 <url>
   <loc>http://site.com/ru/</loc>
   <xhtml:link
                rel="alternate"
                hreflang="ua"
                href="http://www.site.com/ua/"
                />
   <xhtml:link
                rel="alternate"
                hreflang="en"
                href="http://www.site.com/en/"
                />
   <xhtml:link
                rel="alternate"
                hreflang="ru"
                href="http://www.site.com/ru/"
                />
 </url>
 <url>
   <loc>http://www.site.com/deutsch/</loc>
   <xhtml:link
                rel="alternate"
                hreflang="ru"
                href="http://www.site.com/ru/"
                />
    <xhtml:link
                rel="alternate"
                hreflang="en"
                href="http://www.site.com/en/"
                />
    <xhtml:link
                rel="alternate"
                hreflang="ua"
                href="http://www.site.com/ua/"
                />
 </url>
 <url>
   <loc>http://www.site.com/en/</loc>
    <xhtml:link
            rel="alternate"
                hreflang="ru"
                href="http://www.site.com/ru/"
                />
    <xhtml:link
                rel="alternate"
                hreflang="ua"
                href="http://www.site.com/ua/"
                />
      <xhtml:link
                rel="alternate"
                hreflang="en"
                href="http://www.site.com/en/"
                />
 </url>
</urlset>

Best practices зі створення xml-карти сайту

Виходячи з рекомендацій довідки пошукової системи, а також з напрацювань цілої низки SEO-фахівців і програмістів, виникли рекомендації, до яких варто дослухатися при створенні карти сайту.

Обов'язково читаємо довідку пошукової системи щодо створення sitemap.xml

У статтях довідки зазвичай розглядаються всі найважливіші моменти, які треба врахувати під час розроблення карти сайту (це те, що пошукові системи перевірятимуть). Також не менш корисно прочитати довідку про сам формат xml для карти сайту. Посилання на ці статті вказані тут:

• https://support.google.com/webmasters/topic/4581190?hl=ru&ref_topic=4581352
• https://yandex.ru/support/webmaster/indexing-options/sitemap.xml
• https://www.sitemaps.org/ru/protocol.html

Загалом інформація в статтях буде схожою, але деякі важливі моменти відрізнятимуться. Наприклад, Google у своїй довідці наполегливо рекомендує робити xml-карту сайту для картинок, тоді як роботи пошукової системи Яндекс не обробляють теги картинок у xml-карті сайту, а інструменти перевірки навіть можуть вказувати через це на помилку.

Рекомендується стандартна адреса карти site.com / sitemap.xml

Бажано створювати карту сайту sitemap.xml за адресою site.com/sitemap.xml — у такому варіанті пошукові системи за замовчуванням шукають карту сайту на домені. Але це не означає, що якщо у вас карта сайту розташована за іншою адресою (наприклад — http://site.com/index.php?option=com_xmap&sitemap=1&view=xml), то пошукові роботи її не враховуватимуть. Просто вони не будуть самі її там шукати. І якщо адреса xml-карти інша, то її потрібно обов'язково вказати для пошукових систем — у файлі Robots.txt і сервісах Яндекс.Вебмайстер і Google Search Console.

На основному домені тільки URL основного домену

Карти сайтів для піддоменів генеруються окремо на піддоменах і не довантажуються в карту на основний домен. Тобто в карті сайту домену мають бути тільки URLи цього домену. Виняток лише становить карта сайту для відео, де допускаються посилання на YouTube відеофайли.

У карті сайту присутні тільки доступні для індексації документи

Усі сторінки в XML-карті повинні віддавати відповідь 200 Ok і бути доступними для індексації пошуковими системами. Там не повинно бути сторінок із кодами відповідей 404, 301, 307, 5xx тощо. До того ж сторінки, закриті від сканування у файлі Robots.txt або із закритими від індексації тегами meta robots і canonical, теж не повинні вказуватися в xml-карті сайту. Поява подібних посилань на сторінки в xml-карті сайту може погіршувати індексацію та переобхід всього сайту, оскільки пошукові роботи будуть зайняті відвідуванням непотрібних URLів.

Великі xml-карти потрібно розбивати на частини

Одна карта сайту може бути до 50 Мб і містити до 50000 URL одночасно. Файл Sitemap можна стиснути за допомогою архіватора gzip, щоб зменшити вимоги до пропускної здатності каналу. Однак його розмір без стиснення все одно не повинен перевищувати 50 МБ. Якщо карта буде більшою, то сторінки в ній гірше індексуватимуться.

Тому великі карти розбивають на частини. В основній карті виводять посилання на підкарти, типу:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.site.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.site.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>

При цьому можна, а іноді навіть потрібно, робити окремі карти для картинок, відео, новин тощо. Якщо проєкт дуже великий, то для зручності аналізу карту краще розбивати на частини за типами сторінок (окремо карта сайту товарів, окремо категорій тощо). Подібне рішення спростить аналіз причин поганої індексації кожного типу сторінок у Search Console. І тут головне не забувати посилатися на ці файли в основній карті сайту.

Кодування UTF-8

Хоча пошукові роботи можуть працювати з різними кодуваннями, все ж краще використовувати у файлі Sitemap UTF-8, оскільки воно добре індексується, сприймається пошуковими системами та є найпопулярнішою під час розроблення сайту.

Автоматизація генерації та підтримки актуальності файлів Sitemap.xml

Бажано, щоб карта формувалася в CMS автоматично, інакше доведеться генерувати її сервісом і тоді її потрібно буде регулярно оновлювати через сервіс. Крім цього, в xml-карті важлива актуальність інформації. Щоб не думати щоразу про ручну перегенерацію карти сайту під час додавання або видалення сторінок, вона має оновлюватися автоматично. В іншому разі завжди є ризик втратити нові сторінки або навпаки відправляти постійно робота на видалені.

Усуваємо помилки по картах сайту в сервісах для вебмайстрів пошукових систем

Слідкуйте, щоб у сервісах для вебмайстра по карті не було помилок. Але враховуйте, що Яндекс не обробляє xml-карти картинок і теги image у карті, тому на теги картинок він буде у валідаторі Вебмайстра показувати помилку.

Включати картинки в карту сайту можна, але необов'язково, оскільки пошукові системи і так їх проіндексують під час обходу сторінок. Однак зазвичай рекомендується робити карту сайту для картинок у разі, коли на сайті їх багато і всі вони унікальні, бо це може прискорити їхню індексацію.

Як варіант, для того, щоб позбутися помилок, можна віддавати окремо для Google в Robots.txt мапу з картинками, а для Яндекса — мапу без картинок, але це потребує додаткових впроваджень на сайті, тому простіше просто ігнорувати попередження про теги картинок в інструментах Яндекса.

Чисті URL у картах

Урли в карті мають бути без ідентифікаторів сеансів, UTM-міток тощо. Робот має отримувати тут тільки ті адреси сторінок, які мають проіндексуватися.

Карта сайту має бути доступна для індексації

Її файл має бути не заборонений для індексації та сканування в пошукових системах і віддавати відповідь 200 Ok. У всіх інших випадках вона буде ігноруватися роботами.

Вказуємо адресу карти сайту в Robots.txt і додаємо карту в сервіси вебмайстрів Яндекс і Google

Щоб пошукові системи напевно знайшли вашу карту сайту, обов'язково вкажіть посилання на неї у файлі Robots.txt:

Причому навіть якщо у вас карта сайту розташована за стандартною адресою site.com / sitemap.xml, то все одно рекомендується її вказати в Robots.txt.

Ба більше, щоб вам легше було аналізувати всі помилки в карті сайту та індексації ресурсу, то краще ще її вказати в інструментах для вебмайстрів від пошукових систем Google (Google Search Console) і Яндекс (Яндекс Вебмайстер):

У принципі в Яндекс Вебмайстер може знаходити посилання на xml-карту сайту у файлі Robots.txt:

Щоб це зробити потрібно в будь-яке місце файлу Robots.txt прописати

Sitemap: {url-файлу-sitemap},

де {url-файлу-sitemap} — це повний URL вашої xml-карти. Наприклад:

Sitemap: https://site.com.ua/sitemap.xml

Окремо посилання на мапу сайту вказувати у Вебмайстер Яндекс некритично, оскільки воно буде додатковим:

Як створити sitemap.xml

Існує кілька способів створення карти сайту й кожен із них має свої переваги та недоліки:

• ручне створення карти;
• за допомогою програм;
• за допомогою сервісів;
• автоматична генерація карти двигуном сайту.

Ручне створення файлу sitemap.xml

Це найдешевший варіант, хоча й кропіткий. Для цього вам треба детально вивчити синтаксис формування XML-мап, який описувався вище, і створити відповідний файл або файли. У такому варіанті ви можете створювати будь-які карти, які вам потрібні (головне знати всі урли всіх сторінок), однак, якщо у вас дуже багато урлів на сайті, то це займе багато часу. Та й оновлювати подібний файл вручну при внесенні змін на сайт теж доведеться самому.

Якщо у вас сайт, який рідко оновлюється та має 10 сторінок, то можна скористатися цим методом. В інших випадках треба скористатися іншими методами.

Створення карти сайту за допомогою програм

Насправді програм, за допомогою яких можна створювати карти сайту, досить багато. Це вміють робити багато спеціалізованих програм для технічного аналізу сайту.

Суть цього методу така: спеціальний софт сканує сайт, переходячи за внутрішніми посиланнями, і після закінчення формує готовий xml-файл, який можна розмістити на домені.

Я особисто використовую для цієї мети програми Screaming Frog. Її можна завантажити безплатно прямо з сайту розробника і в пробній версії вона скануватиме щонайбільше 500 сторінок одного сайту, однак в інтернеті можна за бажання знайти ліки для програми. І тут, як то кажуть: "Google на допомогу!":)

Під час завантаження програми перед вами буде її інтерфейс, де найважливіше правильно вказати режим роботи програми:

Оскільки ми збираємося сканувати сайт, то вибираємо режим "Spider" і в полі для домену вказуємо URL сайту. Далі тиснемо кнопку "Start":

Після цього програма починає сканування сайту. Воно може бути різним за часом залежно від розміру сайту, швидкості його роботи та налаштувань програми. У цьому разі потрібно тільки дочекатися закінчення сканування при досягненні 100% просканованих сторінок і повної його зупинки:

Далі в меню програми вам потрібно вибрати розділ "Sitemaps" і тип карти, яку ви хочете створити. У принципі ця програма може створювати XML-карту сайту тільки для всіх html-сторінок (режим "XML sitemap") або карту сайту для картинок (Image sitemap). У цьому разі я вибираю режим "XML sitemap":

Тут у вас відкриється вікно налаштування, де ви можете вказати всі налаштування формування карти (яку інформацію хочете передавати, а яку ні):

Тут є ціла низка налаштувань:

• На поточному екрані можна вказати, щоб додавалися в карту сайту сторінки, закриті в Robots.txt і тегом meta robots, сторінки з відповідями, відмінними від 200 OK. За замовчуванням, якщо галочок немає, то вони не включаються в карту.
• Значення параметра lastmod (вкладка Last Modification).
• Вказати пріоритетність сторінок залежно від глибини сторінки на сайті (вкладка "Priority"). Тут варто відзначити один момент — глибина сторінки в цьому разі визначається програмою за кількістю кліків сторінки від головної.
• Періодичність змін сторінок (вкладка Change Frequency). У цьому параметрі також можна вказати періодичність зміни сторінки залежно від її глибини.
• Створення та додавання карти картинок в основну карту (вкладка Image). За замовчуванням ця функція не ввімкнена, проте її можна використовувати. Вона навіть працює для сайтів, у яких картинки знаходяться на CDN-домені.
• Додавання мовних версій для багатомовних сайтів (вкладка hreflang).

Щойно потрібні налаштування вибрано, натисніть зелену кнопку "Next". Система запропонує вам зберегти вже готову карту на комп'ютер:

У принципі робити карту сайту цим інструментом нескладно, для цього не потрібно залучати програмістів і витрачати купу часу на написання тегів. Однак через те, що ця програма стоїть не на сервері, а на вашому комп'ютері, можуть виникнути такі проблеми:

• Некоректна робота з великими сайтами (де тисячі й десятки тисяч сторінок). На таких сайтах програмі може не вистачати пам'яті, і тоді потрібно буде зберігати дані сканування в процесі роботи.
• На деяких хостингах робота програми може викликати зависання комп'ютера в процесі сканування.
• У разі вимкнення світла або випадкового закриття програми потрібно буде починати все спочатку, та й комп'ютер під час сканування не вимкнеш.

Ще один важливий недолік — необхідність регулярного оновлення карти в ручному режимі (пересканування сайту), оскільки вона не буде оновлюватися автоматично.

Створення xml-карти сайту онлайн-сервісом

Онлайн-сервіси, як і софт, теж генерують карти сайту на основі даних сканування сайту. Але на відміну від софту, вони працюють на сторонніх серверах і тому можуть без проблем обробляти сайти на десятки та сотні тисяч сторінок. А вам для цього не треба сидіти з увімкненим комп'ютером і стежити, щоб не переповнювалася пам'ять пристрою. Варто тільки ввімкнути сканування, виставити всі налаштування, і сервіс зробить все сам.

Освоїти синтаксис xml-карт нескладно, вони прості у використанні й не потребують залучення програміста. Якщо будуть великі карти, ви навіть можете закрити вкладку в браузері з цим сервісом і повернутися туди вже через кілька годин. До речі, деякі сервіси взагалі можуть надіслати вам готову карту сайту одразу на пошту. Тобто з огляду на зручність роботи — подібні сервіси набагато кращі за аналогічний софт. Але зазвичай під час роботи з великою кількістю сторінок вони роблять карти сайту тільки платно. Та й сама карта щоразу під час додавання або оновлення сторінок на сайті вимагатиме перегенерації, оскільки вона автоматична. Щоправда, деякі сервіси можуть автоматично регулярно перегенерувати карту сайту за умови щомісячної підписки, наприклад:

Але це додаткові регулярні витрати на сервіс.

Як сервіси генерації xml-карти можна використовувати:

• MySitemapGenerator,
• HTML Web,
• інструменти для генерації сайтмапа від SaitReport і Cy-Pr та ін.

Функціонал кожного з сервісів дещо відрізняється і деякі з них навіть дають змогу створювати мапу для невеликих сайтів безоплатно, а також робити мапу картинок.

Так, наприклад, MySitemapGenerator дає змогу безплатно зробити карту на 500 сторінок, а готовий файл надсилає вам на пошту. В платному варіанті навіть може додавати карту картинок.

Щоб ним скористатися, вам для початку потрібно визначитися з тарифом роботи:

У цьому випадку вибираємо безплатний варіант і відкривається вікно:

Тут вам потрібно вказати адресу головної сторінки, свій email і код перевірки. Email тут необов'язковий, але краще його вказати, щоб після закінчення сканування готовий файл прийшов у листі. Нижче на сторінці є багато налаштувань карти, які трохи перетинаються з тими, що були у програми Screaming Frog:

Детальніше про всіх них можна дізнатися прямо на сайті в розділі "Допомога вебмайстру". У принципі, для більшості сайтів підійдуть налаштування за замовчуванням. Щойно все необхідне зазначено, можна натискати зелену кнопку "Старт" і запустити сканування:

Після закінчення роботи система вам запропонує просто зберегти файл на комп'ютер:

Насправді цей метод нескладний і працює набагато швидше програми, але він не позбавлений недоліків, що вже описувалося раніше.

Автоматична генерація карти двигуном сайту

На мій погляд, це найприйнятніший варіант створення карти сайту. Хоча він потребує платних доробок сайту програмістами, але один раз впровадивши потрібний функціонал, ви далі забудете про все. Оскільки сама CMS-система (двигун сайту) перегенерує карту в міру додавання нових сторінок і їхнього оновлення, а вам залишається тільки вказати посилання на карту сайту в сервісах вебмайстрів пошукових систем і в Robots.txt і все. Найскладніше в цьому варіанті — скласти технічне завдання для програмістів, щоб карта сайту працювала коректно і за всіма правилами. У принципі, на більшості найпоширеніших CMS-систем все це робиться за допомогою розроблених додаткових модулів і плагінів, і програмістам залишається тільки встановити потрібний функціонал і правильно його налаштувати.

Приклад ТЗ на створення карти сайту

Основні моменти перевірки Sitemap.xml

Для коректного обліку xml-карти сайту дуже важливо, щоб у ній не було помилок. Існує безліч інструментів, які допомагають знайти помилки в карті сайту. Найважливішими для мене є 2 інструменти:

• https://www.google.com/webmasters/tools/sitemap-list — аналізатор карти сайту в інструменті Search Console від Google
• https://webmaster.yandex.ru/tools/sitemap/?tab=text — аналізатор карти сайту в інструменті Яндекс Вебмайстер

Перевірка sitemap.xml у Google Search Console

Цим інструментом можна перевірити карту тільки для власного сайту, на якому встановлено Google Search Console. Якщо цього інструменту немає, то перевірити карту сайту не вийде.

Переходимо за вказаним раніше посиланням, і в нас відкриється вікно вибору аналізованого сайту:

Переходимо в новий звіт про карту сайту:

І тут ми просто вибираємо сайт, який нас цікавить. Якщо карта додана в Search Console, то результат звіту матиме такий вигляд:

Якщо не додано, то через кнопку вгорі (на скрині) вам потрібно її додати.

Для аналізу помилок у карті заходимо в глибший звіт за кнопкою:

У разі якщо в карті сайту є якісь помилки, це буде вказано в нижній частині звіту:

Далі, переходячи за посиланнями в помилках, можна отримати відповідне пояснення:

Звіти про проблеми та виключені сторінки допомагатимуть побачити ступінь індексації ресурсу:

Якщо ця частка сторінок із помилками та / або з виключеними сторінками різниця велика, як видно на зображені вище, то варто детальніше аналізувати ресурс й усувати причини, через які пошукова система не хоче приймати сторінки в індекс.

Перевірка sitemap.xml в Яндекс.Вебмайстер

На відміну від аналогічного інструменту Google, Яндекс дає змогу перевіряти на помилки карту сайту навіть непідтверджених у Яндекс.Вебмайстері ресурсів. Для цього треба перейти за посиланням і у вікні, що відкрилося, вибрати режим роботи інструменту:

Тут ви можете просто скопіювати вміст карти сайту у вікно (режим "Текст"), вказати посилання на файл з картою сайту (режим "URL") або завантажити файл з картою прямо з вашого комп'ютера (режим "Файл").

У цьому випадку використовую режим "Текст". Копіюю весь код файлу sitemap.xml у відповідне вікно та натискаю кнопку "Перевірити", що підсвічується:

Якщо помилок у карті сайту не виявлено, ви побачите відповідну інформацію на сторінці:

Але якщо у файлі є якісь проблеми, то відповідну інформацію ви також побачите у звіті аналізу:

Найпоширеніші помилки Sitemap.xml

Існує типовий набір помилок xml-карт, які заважають її обробці:

• Файл карти сайту на іншому домені. Така карта не буде оброблятися, оскільки тільки в карті сайту для відео допускається вказівка URLів зі сторонніх доменів.
• Встановлено редирект із карти на іншу сторінку. Карта повинна віддавати відповідь 200 Ok, інакше вона не буде оброблятися пошуковими системами.
• Відсутні обов'язкові службові елементи. Така помилка в оформленні елементів може впливати негативно на опрацювання карти, оскільки роботи не знатимуть, як коректно рахувати.
• У карті присутні сторінки, закриті для індексації в meta robots і Robots.txt. Ця помилка може приводити роботів знову і знову на закриті сторінки, знижувати швидкість сканування сайту, але при цьому до корисних сторінок робот може не дістатися.
• Карта згенерована стороннім сервісом, типу Sitemapgenerator.ru, і не оновлюється. У всіх випадках, коли вона генерується вручну на сайті, де контент постійно додається, є висока ймовірність, що новий контент буде погано індексуватися, оскільки замінити карту просто забули. Тому найкраще робити так, щоб сама CMS генерувала карту.
• Сама карта закрита Robots.txt. Зазвичай ця помилка трапляється, коли карта розміщена не за стандартною адресою site.com/sitemap.xml/ . Тоді робот просто не може її зчитати й обробити (фактично для нього її немає).
• Некоректні дати публікації та оновлення контенту. Пошукова система може не знати про оновлення вашого контенту і робити його переіндексацію гіршою.
• Якісь корисні типи сторінок не потрапляють у карту сайту. Це часте явище на CMS-системах, де якийсь функціонал створюється модулями або плагінами. Наприклад, інтернет-магазини на Bitrix або Opencart мають блог на сайті, реалізований модулем, і посилання на всі його сторінки можуть забути додати до XML-карти, оскільки це вимагає додаткових доробок. У результаті пошукова система просто не знатиме про нові сторінки в блозі, поки не знайде їх за посиланнями безпосередньо на сайті. А це може займати багато часу. Тому важливо перевіряти всі типи корисних сторінок на сайті на наявність їх у xml-карті.

Важливі зауваження про карту сайту sitemap.xml

Є ціла низка моментів, які хотілося б згадати ще про файл sitemap.xml:

• Файл sitemap.xml є рекомендацією для пошукової системи, тому не всі URLи, що включені в карту, можуть бути проіндексовані. Її використання просто підвищує шанс індексації.
• Видалення URL з карти сайту не видаляє сторінку з індексу і не забороняє її індексацію. Щоб заборонити пошуковій системі індексувати сторінку, потрібно використовувати заборону або у файлі Robots.txt, або в метатезі robots.
• Використання карти сайту не є обов'язковим моментом для пошукових систем, але при цьому воно допомагає індексації. Якщо xml-карта відсутня, то можуть бути проблеми з індексацією глибоких сторінок на сайті, але якщо з індексацією сайту проблем немає, то на позиції сайту вона не впливає.