Краул-бюджет

Количество страниц, которое сканирует робот за визит

Определение

Crawl Budget — условное количество страниц, которое поисковый робот готов просканировать на сайте за определённое время.

Crawl Rate Limit: Сколько запросов сайт выдержит

Crawl Demand: Насколько страницы нужны поисковику

Большие сайты (100K+ страниц)

Часто обновляемый контент

Сайты с параметрами URL

Быстрый сервер

Не блокировать CSS/JS

Убрать дубли и параметры

Актуальный sitemap

Минимум редиректов

Исправить 404 ошибки