Разбор файла Sitemap для быстрой индексации сайта

Если простыми словами, то файл Sitemap - это карта Вашего сайта, с помощью которой поисковые роботы будут замечать изменения на страницах Вашего проекта и добавлять эти изменения в выдачу. Создание sitemap - это то, с чего я обычно начинаю после того, как полноценная структура проекта по семантическому уже создана и настало время показать поисковым роботам четкую иерархию важности страниц на Вашем сайте.

Что вообще делает карта сайта и как сделать sitemap? Для того что бы понять, зачем придуман этот файл, необходимо углубится в логику работы поисковой системы. Если Вы еще не знали, но у всемогущих поисковиков, таких как Google и Yandex есть ограниченное количество ресурсов для сканирования проектов в выдаче. Это миллионы сайтов, которые необходимо обойти, посмотреть что изменилось, добавить эти изменения в выдачу и всегда следить за свежестью информации на всех индексируемых проектах, и этим занимались алгоритмы поисковика. 

Этих роботов еще называют краулеры или пауки. Привожу два простых примера их работы, после которых Вы точно поймете зачем Вам файл sitemap и почему его необходимо создать:

1. Краулер заходит на сайт и начинает он всегда с файла robots.txt. Он смотрит его содержимое, в котором есть строка с адресом Вашей карты сайта. То есть файл robots, это первое место куда попадают все краулеры и если там есть ссылка на файл sitemap - он начинает просматривать именно его содержимое и в приоритете индексировать те страницы, которые указаны именно в sitemap.xml;
2. Если же краулер не находит карты сайта в robots, и не обнаруживает ее по основной ссылке - он начинает действовать на свое усмотрение. То есть, основная проблема в том, что паук начинает заниматься самодеятельноcтью. После чего, реально важные для нас страницы могут не попасть в выдачу поисковика, а мусорные наоборот попадут в индекс.

Как Вы поняли - создание и настройка sitemap, дает Вам возможность указывать приоритетность индексации страниц. Просто потому что каждый поисковик выделяет на проект, так называемый краулинговый бюджет. Это время провождения бота на сайте, до того момента, пока он не перейдет на другой ресурс. И он может не успеть обойти все нужные для Вас Url на проекте.

Настройка Sitemap - как сделать реально правильный sitemap 

Раньше существовали 2 типа карт сайта. HTML тип - для пользователей и XML тип - для поисковиков. Первый вариант уже устарел и особо нигде не используется, а вот sitemap.xml - это то что нам нужно. В этом файле нет особо интересного синтаксиса - настройка sitemap заключается в том, что бы в этом файле присутствовали все необходимые для Вас ссылки всего с 4 параметрами:

1. location - ссылка на страницу;
2. lastmod - последняя дата изменения;
3. priority-  приоритетность в соотношении других;
4. changefreq - частота изменения страницы.

Для большинства проектов настройка sitemap заключается в банальной генерации всех необходимых страниц с помощью своего движка сайта( CMS ) и использования 3 первых параметров. Потому что параметр changefreq - подойдет только для очень крупных интернет магазинов или статейников. Я очень часто вижу, как владельцы онлайн ресурсов впадают в панику, от того, что у них нет sitemap.xml, или они его не добавили в директиву robots. Не переживайте, если у Вас до сих пор нет правильного sitemap - это не критично. Его роль состоит только в том, что бы ускорять попадание страниц в индекс и не более.

Как сделать Sitemap если у меня его до сих пор нет?

Я уже года 4 как не видел ручного создания карты сайта. Если вы не знаете как сделать sitemap - Вам необходимо определится с движком Вашего проекта. Лучше конечно же обратиться к разработчикам сайта, но если нет возможности, каждый движок сайта предоставляет функционал создания карты сайта в несколько кликов. Например в CMS WordPress можно использовать такие плагины как Yoast SEO или All in one pack SEO, установив которые Вы увидите новые пункты в меню для создания sitemap. А в Drupal есть множество модулей для его умной генерации. 

Если Вы не знаете как сделать Sitemap, значит не сталкивались с готовыми решениями в Вашей CMS. Если же Вы не можете сделать это с помощью движка, то предлагаю Вам на выбор еще 2 варианта генерации крутых карт сайта:

• Приобрести или скачать платные программы для создания sitemap ( Sitemap Generator например );
• Воспользоватся бесплатными сервисами, просто поищите их в поиске.

При создании карты, нужно понять, как использовать те 3 основные параметра, о которых я Вам говорил выше - location, lastmod, priority. Не нужно особо заморачиваться, главное задать основные параметры именно основной странице Вашего проекта - главной. Параметр priority должен быть максимальным и равен 1 (единице). 

Правильный sitemap - подведем итог

Я думаю, что Вы поняли что такое файл sitemap и как его создавать. Теперь нужно сделать еще несколько вещей:

• Добавить карту сайта в файл robots.txt - так как поисковики ищут ее именно там;
• Не забывать обновлять sitemap;
• Читать мой блог и смотреть видео на Youtube!

Всем спасибо за Ваше внимание, я надеюсь что помог Вам создать правильный sitemap для Вашего сайта.