LightSEO · Техническое SEO
Краулинговый бюджет: что это и кому о нём думать
У робота ограниченный ресурс на обход вашего сайта. Если он тратит его на мусорные страницы, до новых товаров просто не доходит.
10 000+
страниц — когда это важно
3
источника утечки
1
отчёт статистики обхода
Суть
Что это значит на практике
Робот не обходит сайт полностью каждый день. Он решает, сколько страниц проверить, опираясь на размер сайта, скорость и качество.
Для малых сайтов это не проблема. Если у вас двести страниц, робот обойдёт всё. Вопрос возникает на тысячах адресов.
Признак проблемы. Новые товары долго не появляются в поиске, а в индексе много мусорных адресов.
Утечки
На что ресурс тратится зря
🎚
Комбинации фильтров
Тысячи адресов, которые никто не ищет.
🔁
Цепочки редиректов
Каждый шаг — отдельный запрос робота.
🕳
Ошибки и дубли
Страницы, отдающие 404 или дублирующие друг друга.
Решение
Как сохранить ресурс
Закрыть фильтры и сортировку. Базовое правило: индексируются только осознанно открытые комбинации.
Убрать цепочки редиректов. Прямая ссылка вместо трёх переходов.
Ускорить сервер. Чем быстрее отвечает сайт, тем больше страниц робот успевает обойти.
Следить за отчётом обхода. Search Console показывает, сколько запросов делает робот и что он качает.
Новые товары долго не появляются в поиске?
Проверим статистику обхода и уберём то, что отбирает ресурс у важных страниц.