robots.txt

Файл с инструкциями для поисковых роботов

Определение

robots.txt — это текстовый файл в корне сайта, указывающий поисковым роботам, какие страницы сканировать, а какие — нет.

User-agent: *

Disallow: /admin/

Disallow: /private/

Allow: /

Sitemap: https://example.com/sitemap.xml

Не защищает от индексации (страницы могут появиться в выдаче)

Для защиты используйте noindex или авторизацию

Проверяйте через инструменты вебмастеров