3 обычных шага, как посчитать краулинговый бюджет | Статьи SEOnews
Напрямую краулинговый бюджет не влияет на ранжирование, но он все одинаково главен для продвижения. Ежели на сайте много страничек, не факт, что бот их проиндексирует все — он может проиндексировать ложные, а на главные не хватит медли и бюджета.
Краулингового бюджета не хватает в нескольких вариантах:
- если на сайте есть технические оплошности – их непременно идет поправить, чтоб прирастить бюджет сканирования;
- если бот расходует размер сканирования на негодные разделы, а главные пропускает. Главная страничка остается без сканирования не попадет даже на сотую позицию выдачи;
- если на сайте заброшенный и нерелевантный контент. Из-за того, что сайт не обновляет информацию, боты будут реже его навещать, и краулинговый бюджет снизится.
С ситуацией нехватки бюджета может столкнуться как большой, так и малюсенький сайт. Мы выявляем это на аудите.
На сканирование всем сайтам, в зависимости от их размера, выделяется различный бюджет. Маленькому – до 1000 страничек, вероятнее всего, будет выделен наименьший бюджет, ежели большому сайту.
Почаще всего того минимума бюджета, что выделяется вначале, маленькому сайту хватает для превосходной индексации. Это значит, что все нужные странички индексируются и находятся в поиске. А великому сайту полностью может потребоваться увеличение бюджета.
Сайты с историей меняют собственный краулинговый бюджет при каждом сканировании, которое происходит каждодневно. На рост показателя влияют PageRank, поведенческие причины и возраст ресурса.
В статье поведаем и покажем на образце нашего сайта, как найти уровень краулингового бюджета, какими сервисами для этого пользуемся мы. Это поможет проанализировать достаточность краулингового бюджета, сделать вывод о наличии ошибок и перейти к их последующему анализу и исправлению. Поехали!
Шаг 1. Определите количество страничек, которое обязано быть в индексе
Странички, которые обязаны быть в индексе, мы определяем в ScreamingFrog. Сервис видит, какие странички теснее просканированы – это и будет разыскиваемый показатель. По нашему сайту количество таковых страничек сочиняет 150.
Ежели эти странички отыскал ScreamingFrog, значит, бот тоже отыщет и истратит на их краулинговый бюджет.
Шаг 2. Определите количество обращений бота к сайту
Существует два метода, как выяснить количество обращений бота к сайту: один попроще, иной потруднее. Осмотрим два.
1 метод – при поддержки сервисов Google либо Яндекс для расчета примерного бюджета
Google Search Console и Яндекс.Вебмастер подсобляют найти количество просканированных ботами страничек. В Google Search Console вы можете выяснить информацию за период 90 дней, в то время как в Яндексе можнож выбрать хоть какой период.
Краулинговый бюджет, который мы узнаем благодаря инфы из Google Search Console и Яндекс.Вебмастер, будет примерный. Это соединено с тем, что указанные сервисы засчитывают обращение роботов за день к хоть каким страничкам один разов.
Другими словами бот зайдет один разов на ложную страничку, ничего там не отыщет, позднее зайдет еще пару разов в попытках найти там контент. Все эти пробы в отчетах мы не увидим – зафиксируется лишь одно обращение бота, желая по факту их быть может 4-5.
Метод хоть и примерный, но образцово подходит для страничек с количеством страничек до 50 000. По нашему опыту у таковых страничек традиционно точная структура, а боты индексируют все нужные странички, потому нет необходимости в трудном анализе. Ежели необходимо больше подробностей, нужен анализ логов, о котором поведаем в последующем подпункте.
Чтоб выяснить краулинговый бюджет в Google Search Console, заходим в «Настройки» ? «Статистика сканирования» -> «Открыть отчет».
В отчете мы глядим на общую статистику сканирования и непосредственно на показатель «Всего запросов сканирования» – кликаем на него, чтоб узреть четкое значение. В нашем случае запоминаем цифру 6051, она понадобится для последующих расчетов.
Также тут можнож поглядеть и иные отчеты. Они разделяются на группы по ответу, по типу файла и бота Googlebot, цели. Тут можнож поглядеть, куда непосредственно бот прогуливается, какой процент ответов дает сайт, сколько бот навещает корректных страничек и сколько ложных.
Чтоб выяснить краулинговый бюджет при поддержки Яндекс.Вебмастер, избираем раздел «Индексирование» -> «Статистика обхода». Сервис указывает количество обращений к сайту за текущий день, но не указывает общий показатель за желанный период. Количество обращений можнож поглядеть на графике слева:
Приятные графики и анализ отчетов посодействуют выявить вероятные трудности при сканировании, также отследить конфигурации либо трудности краулингового бюджета.
Мы советуем применять анализ сайта при поддержки сервисов Google и Яндекс приблизительно разов в недельку. Это поможет просто и живо понять общую картину по сайту и выявить оплошности.
2 метод – при поддержки анализа логов сервера для четкого расчета бюджета
Этот метод труднее, ежели вариант с сервисами Google и Яндекс, и будет истинным маст-хэвом для страничек с количеством страничек от 7000 – чем крупнее сайт, тем больше ошибок встречается и, традиционно, отыскать их становится труднее.
Анализ логов дозволяет не совсем лишь рассчитать четкий краулинговый бюджет, но и поглядеть наиболее глубочайшие данные: по одному пути прогуливаются боты либо по различным, когда на какую страничку зашел бот, как глубоко прошел, сколько разов обращался к одной и той же страничке.
Логи – файлы, содержащие информацию о работе сервера либо компа. Снутри этих файлов собираются последующие данные:
- IP-адрес, с которого происходило посещение;
- адрес странички;
- GET-запрос, значит получение данных;
- page/2 – когда обращение было ко 2-ой страничке;
- код ответа сервера;
- размер переданной инфы;
- общие данные о юзерах (операционная система, регион и т.д.) .
Для анализа логов мы советуем программы Screaming Frog Log Analyzer, LogViewer, Loggly. В програмке Screaming Frog Log Analyzer комфортно показываются графики с количеством обращений самых различных роботов.
К примеру, на нашем сайте количество страничек в индексации составило 150, количество обращений роботов – 67.
Мы советуем проводить проверку логов минимум разов в полгода, ежели у сайта 50 000-70 000 страничек и разов в 3 месяца для страничек от 70 000 страничек. Это еще труднее проверки в Google и Яндекс и просит особых познаний, но подсобляет выявлять суровые недоделки технической доли сайта. К примеру, оплошности с кодами ответа 300, 404 и 500 и ложную структуру сайта, из-за которых странички могут длинно индексироваться, не попадать в поиск и лишать вас конверсий.
Шаг 3. Подставьте данные в формулу и определите бюджет
Сейчас у вас на руках обязаны быть все данные:
- количество страничек, которые обязаны быть в индексе;
- количество обращений роботов к сайту.
Можнож приступать к вычислению данных по сайту.
Поначалу нам необходимо выяснить среднее число обращений в день:
В Google Search Console определили, что за 90 дней боты поисковых систем обращались к нашему сайту 6051 разов.
Вычисляем среднее количество обращений роботов к сайту в день:
6051/90= 67 страниц
Потом остается посчитать уровень краулингового бюджета:
В сервисе ScreamingFrog определили, что на сайте в индексе обязано быть 150 страничек. Сейчас разделяем приобретенное количество страничек в индексе на среднее число обращений роботов за день:
150/67= 2,23
Как интерпретировать результаты:
- ? 3 – размера краулингового бюджета хватает для сайта;
- 4-10 – средний итог;
- >10 – необходимо увеличение бюджета.
Ежели показатель краулингового бюджета оказался меньше 3, то у вас превосходный уровень краулингового бюджета. Ежели больше 3, но меньше 10, значит, надобно провести работу по устранению ошибок. В данном варианте советуем проанализировать сайт, чтоб понять, верно ли бюджет распределяется на сайте.
А ежели показатель больше 10, то на сайте есть уязвимые места. Маленький краулинговый бюджет разговаривает, что, быстрее всего, на сайте находятся технические оплошности. Также боту может не нравиться контент на вашем сайте – к примеру, он не отвечает на запросы юзеров.
В случае с нашим сайтом на момент проверки краулинговый бюджет составил 2,23, что считается превосходным показателем – нет предлогов для беспокойства.
В последующей доли статьи мы детально разберем, какие события предпринять, чтоб поправить на сайте технические оплошности и повысить краулинговый бюджет.
Статьи
Комментариев 0