Google: Sitemap попадания в индекс не гарантирует

Представитель корпорации Google - Гэри Илльес - припомнил вебмастерам, что присутствие файла Sitemap не гарантирует попадания в индекс поисковой системы всех указанных в нем URL. Повторное обсуждение на эту тему спровоцировала просьба одного сео-специалиста объяснить причины, из-за которых Google "отказывается" добавлять в индекс указанные в Sitemap страницы, опубликованная в Группах Google.

И Гэри Илльес решил еще раз возратиться к этому вопросу, чтобы объяснить ситуацию: "Прежде всего, обращаю ваше внимание на то, что наличие файла Sitemap не подразумевает того, что абсолютно все указанные в нём адреса страниц попадут в индекс Google. Вам следует расценивать файл Sitemap как дополнительный способ, который позволяет алгоритму сканирования Googlebot найти ваш контент. Если URL-ы не будут добавлены в Sitemap, краулерам потребуется намного больше времени на индексацию вашего сайта. Иными словами, без Sitemap сайт будет индексироваться еще дольше.

Еще один аспект, на который стоит обратить внимание: наши алгоритмы вполне могут "принять решение" не индексировать абсолютно все URL-ы вашего сайта, добавленные в файл Sitemap. И это повсеместная ситуация. Как правило, не индексируются страницы, содержащие малозначимый контент".

Представители российского поисковика Яндекс на странице Помощи вебмастеру сообщают практически то же самое, что и Гэри Илльес: "Несмотря на то, что файлы Sitemap учитываются при обходе сайта, команда Яндекса не гарантирует того, что все URL, указанные в нём, будут добавлены в поисковый индекс Яндекса".