Генератор sitemap.xml

Карту не разбирали

Карту ещё не разбирали.

Как пользоваться

1. Вставьте адрес сайта и нажмите «Обойти». Сервер пройдёт по внутренним ссылкам и вернёт список страниц с кодами ответа; ниже он ляжет в поле, где его можно править руками.

2. Нажмите «Проверить страницы подробно». Каждый адрес опрашивается отдельно: оттуда берутся дата из Last-Modified, meta robots и X-Robots-Tag, canonical и языковые версии. Закрытые от индексации, битые и указывающие canonical на чужой адрес помечаются и в карту не идут.

3. Посмотрите таблицу «Адреса и что с ними». Там видно, почему каждый исключённый адрес исключён; лишнее можно убрать кнопкой, а всю таблицу — скачать CSV.

4. Выберите приоритет и частоту, при желании поставьте общую дату. Если у адресов есть свои даты и приоритеты — они сильнее общей настройки, кроме «Не указывать».

5. Скачайте файл. Один файл — sitemap.xml или сжатый sitemap.xml.gz; больше 50 000 адресов — архив с частями и индексным sitemap-index.xml. Рядом лежат HTML-карта для посетителей и простой текстовый список, который Google тоже принимает.

6. Положите файл в корень сайта и добавьте в robots.txt готовую строку Sitemap — она напечатана справа от карты.

7. Если карта уже лежит на сайте, начните с последнего блока: нажмите «Разобрать», и сервер принесёт её сам. Индексный файл раскроется по частям, .gz распакуется. Инструмент покажет число адресов, ошибки формата и — если перед этим был обход — чего в карте не хватает и что в ней осталось от прошлой версии сайта.

Разбор примера: четыре адреса, приоритет по глубине

Исходные данные — те же, что стоят в полях по умолчанию: их можно пересчитать в уме и убедиться, что инструмент не врёт.

• https://example.com/ — корень, вложенности нет
• https://example.com/about/ — один уровень
• https://example.com/blog/ — один уровень
• https://example.com/blog/first-post/ — два уровня
• Дата и частота не заданы, обход не запускался

1. Глубина — это число частей пути. У корня их ноль, у /about/ одна, у /blog/first-post/ две.

2. Приоритет: 1,0 − 0,2 × глубину. Получается 1,0 для корня, 0,8 для /about/ и /blog/, 0,6 для записи блога.

3. Каждый адрес занимает четыре строки: открывающий url, loc, priority и закрывающий url.

4. Сверху две служебные строки — объявление XML и открывающий urlset, снизу одна закрывающая.

В карте 4 адреса и 19 строк: 2 сверху, 4 × 4 = 16 на адреса и 1 снизу. Ровно это показывают счётчики. После обхода живого сайта в тех же строках появятся даты из ответа сервера, а исключённые адреса уйдут в таблицу с причиной.

Частые вопросы

• Сколько страниц собирает обход и почему не весь сайт?

  За один запрос сервер отдаёт сотню адресов, а выбранный предел набирается несколькими заходами: до пятисот. Ограничитель общий для всех инструментов сайта — триста обращений с адреса в час, и обход чужого сайта целиком в него всё равно не помещается. Для сайта крупнее берите список из своей CMS и вставляйте в поле: проверка, деление на части и скачивание работают одинаково.

• Что именно инструмент выбрасывает из карты?

  Ответы 4xx и 5xx, страницы с noindex в мета-теге или в заголовке X-Robots-Tag, страницы с canonical на другой адрес и адреса, закрытые в robots.txt. Каждый такой адрес остаётся в таблице с причиной — это отчёт, а не молчаливое удаление.

• Откуда берётся lastmod?

  Из заголовка Last-Modified ответа при подробной проверке. Если сервер его не отдаёт, тег не ставится вовсе: выдуманная дата хуже отсутствующей. Поле «дата для всех адресов» перебивает найденные даты — это ручное переопределение.

• Каким должен быть lastmod и почему проверка на него ругается?

  Спецификация требует форму W3C Datetime: ГГГГ-ММ-ДД либо полная дата со временем, и тогда часовой пояс обязателен — 2024-05-17T09:30:00+03:00. Проверка ругается на дату не той формы, на несуществующее число вроде 31 апреля и на дату из будущего. Отдельно отмечается случай, когда у всех адресов дата одна и та же: это обычно штамп времени сборки, и признаком изменения страницы он не служит.

• Сколько адресов помещается в один файл?

  По спецификации sitemaps.org — до 50 000 адресов и до 50 МБ в несжатом виде. Инструмент режет карту сам: части называются sitemap-1.xml, sitemap-2.xml и так далее, а рядом собирается sitemap-index.xml со ссылками на них. Всё это скачивается одним архивом.

• Нужны ли priority и changefreq?

  Обязателен только loc. Google сообщал, что priority и changefreq не использует. Оставлять их не вредно, но рассчитывать на них не стоит: частота обхода зависит от того, как часто страница действительно меняется, а не от того, что написано в файле.

• Что проверка находит в уже готовой карте?

  Файл забирает наш сервер, поэтому разрешение чужого домена на чтение из браузера больше ни при чём: сжатая карта распаковывается, индексная раскрывается по частям, каждая часть разбирается как XML — вместе с языковыми ссылками xhtml:link, которые при разборе как HTML теряются. Дальше считаются адреса, повторы, относительные адреса, кириллица в loc, чужие домены, сломанный lastmod, priority вне промежутка и changefreq не из списка. Если перед этим был обход, сверху ложится сравнение в обе стороны: чего в карте нет и что в ней осталось от прошлой версии сайта.

• Можно ли класть в одну карту адреса разных доменов?

  Не нужно. Карта относится к тому сайту, где она лежит, и чужие адреса из неё не берут. Для поддомена делают свою карту в его корне; инструмент предупредит, если в списке или в проверяемой карте смешались домены.

• Как быть с кириллицей в адресах?

  В файл адрес пишется в том виде, в каком его отдаёт сервер: домен в punycode, путь — процентным кодированием. Кириллица в чистом виде в loc не годится, генератор такие строки отметит — и в своей карте, и в чужой.