Краулинг

Процесс сканирования сайта поисковыми роботами

Определение

Краулинг (crawling) — это процесс, при котором поисковые роботы (боты, пауки) обходят страницы сайта, собирая информацию для индексации.

1. Робот находит URL (из sitemap, ссылок)

2. Скачивает HTML-код страницы

3. Извлекает ссылки для дальнейшего обхода

4. Передаёт данные в индексатор

Правильный robots.txt

XML-карта сайта

Внутренняя перелинковка

Быстрая загрузка страниц