Robots.txt

Robots.txt — это текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно обходить, а какие нет. Он управляет сканированием, но не гарантирует, что страница не попадёт в выдачу.

Зачем нужен robots.txt

Файл помогает не тратить краулинговый бюджет на служебные страницы, дубли и фильтры, а также указывает адрес карты сайта. Ошибка в нём может закрыть от поисковиков весь сайт.

Основные директивы

• User-agent — для какого робота правило (* значит для всех).
• Disallow — запретить обход пути.
• Allow — разрешить путь (в том числе внутри закрытой папки).
• Sitemap — адрес карты сайта (см. Site Map).
• Clean-param — директива Яндекса для параметров в адресах.

Пример:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.by/sitemap.xml

Как применять на практике

1. Откройте файл по адресу вашсайт/robots.txt и проверьте, что он существует.
2. Закройте служебные разделы, поиск по сайту, корзину, личный кабинет, страницы с параметрами сортировки.
3. Не закрывайте CSS и JavaScript, которые нужны для отображения страниц.
4. Добавьте директиву Sitemap с актуальным адресом.
5. Проверьте файл в Google Search Console и Яндекс Вебмастере.
6. После крупных изменений на сайте пересмотрите правила.

Частые ошибки

• Disallow: / на рабочем сайте: сайт исчезнет из поиска. Часто остаётся после разработки.
• Считать robots.txt способом скрыть страницу из выдачи. Для этого нужен мета-тег noindex или закрытие паролем.
• Закрыть файлы, нужные для рендеринга страницы.
• Ошибки в синтаксисе и пути.

Пример robots.txt для WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://example.by/sitemap_index.xml

Это шаблон: перед использованием сверьте его с вашей структурой сайта.

Что закрывать и что не закрывать

• Закрывать: админку, результаты внутреннего поиска, корзину и личный кабинет, страницы с техническими параметрами.
• Не закрывать: CSS, JavaScript и изображения, которые нужны для отображения; страницы, которые должны быть в поиске.

Роботы нейросетей: что учитывать

Названия и назначение роботов меняются: перед настройкой сверяйтесь с документацией сервисов. Решение об открытии или закрытии доступа принимайте осознанно: закрытый сайт может не попасть в источники ответов.

Как проверить

В Google Search Console и Яндекс Вебмастере есть отчёты по robots.txt и инструменты проверки конкретного URL. Также проверьте, что файл отдаётся с кодом 200 и не содержит лишних директив.

Что изменилось к 2026–2027 году

Помимо поисковых роботов сайты обходят и роботы нейросетей: например GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot. Через robots.txt можно разрешать или запрещать им доступ, а также использовать отдельные директивы (например, токен Google-Extended). Если закрыть эти роботы, содержимое может не попасть в источники ответов. Решение о доступе принимайте осознанно и сверяйтесь с актуальной документацией сервисов. Подробнее: поисковый робот и GEO.

Частые вопросы

Чем robots.txt отличается от noindex?

Robots.txt ограничивает обход страниц роботом, а noindex запрещает включать страницу в индекс. Закрытая в robots.txt страница может остаться в выдаче без описания, если на неё ссылаются.

Нужен ли robots.txt маленькому сайту?

Файл не обязателен, но полезен как минимум для указания карты сайта и закрытия служебных разделов.

Можно ли удалить страницу из выдачи через robots.txt?

Нет: robots.txt ограничивает обход, но страница может остаться в индексе, если на неё ссылаются. Для удаления используйте noindex или удаление страницы.

Связанные материалы

• Noindex
• Site Map
• Индексация
• Поисковый робот