Как пользоваться
- Введите домен или полный адрес robots.txt — или переключитесь на «Вставить код» и вставьте текст файла.
- При необходимости выберите, от имени какого робота загружать файл: FindHuntBot, YandexBot, Googlebot или Chrome.
- Нажмите «Проверить» и изучите замечания: каждое ссылается на строку файла.
- В блоке «Проверка адресов» перечислите страницы и посмотрите, какое правило к ним применяется.
Зачем проверять robots.txt
robots.txt — первый файл, который поисковый робот запрашивает на сайте. Одна лишняя строка Disallow может закрыть от индексации каталог или весь сайт, а забытая директива — открыть служебные страницы, фильтры и дубли. Ошибки в robots.txt не видны посетителям, поэтому их часто замечают только после падения трафика.
Анализатор FindHunt разбирает файл так же, как это делают поисковые роботы: группирует правила по User-agent, выбирает самое длинное совпадение между Allow и Disallow и учитывает спецсимволы * и $.
Что проверяет инструмент
- синтаксис: неизвестные директивы, правила вне группы User-agent, пустые и некорректные значения;
- группы правил для YandexBot, Googlebot и остальных роботов (*) — какие строки к кому относятся;
- директивы Sitemap: полный ли адрес, нет ли повторов; из результата можно сразу перейти к проверке карты сайта;
- устаревшие и специфичные директивы: Host, Crawl-delay, Clean-param;
- код ответа сервера: при 4xx роботы считают, что ограничений нет, при 5xx Google временно прекращает обход;
- разрешён ли обход конкретных адресов — с указанием строки, которая сработала.
Как роботы читают правила
Робот ищет группу с самым точным совпадением User-agent; если её нет — использует группу *. Внутри группы побеждает правило с самым длинным путём, а при равной длине Яндекс и Google отдают предпочтение Allow. Символ * означает любую последовательность символов, $ — конец адреса. Поэтому «Disallow: /*?sort=» закрывает все страницы с параметром сортировки, а «Disallow: /catalog$» — только сам адрес /catalog.
robots.txt управляет обходом, а не индексацией: закрытая страница всё равно может попасть в выдачу, если на неё ведут ссылки. Чтобы убрать страницу из индекса, используйте meta robots noindex или заголовок X-Robots-Tag — проверить их можно в анализе мета-тегов.
Вопросы и ответы
Где должен лежать robots.txt?
Строго в корне домена: https://example.ru/robots.txt. Для каждого поддомена и протокола нужен свой файл — правила robots.txt основного домена на поддомены не распространяются.
Нужна ли директива Host?
Нет. Яндекс перестал её учитывать: главное зеркало определяется по 301-редиректам. Строка Host не вредит, но и не помогает.
Почему страница в индексе, хотя закрыта в robots.txt?
Запрет обхода не удаляет страницу из индекса. Если на неё есть ссылки, поисковик может показать её без описания. Для удаления используйте noindex и откройте страницу для обхода, чтобы робот увидел этот тег.
Можно ли проверить robots.txt до публикации?
Да. Переключитесь на «Вставить код», вставьте черновик файла и проверьте нужные адреса — загрузка с сервера не требуется.