robots.txt и sitemap.xml для 1С-Битрикс: рабочая схема
Практическая схема для Битрикс: robots управляет обходом, sitemap перечисляет канонические страницы, а метатеги и редиректы решают другие задачи.
robots.txt и sitemap.xml решают разные задачи. Robots управляет обходом URL, а sitemap сообщает поиску о канонических страницах, которые сайт хочет показать. Ни один из файлов не заменяет корректные HTTP-коды, canonical, noindex, редиректы и внутренние ссылки.
Что обычно закрывают в robots.txt
Служебные разделы, внутренний поиск, корзину, оформление заказа, персональные страницы и технические обработчики. Но правила нельзя копировать из другого проекта: путь внутри /local/ может содержать публичные CSS и изображения, а параметр фильтра — полезную SEO-посадочную.
User-agent: *
Disallow: /bitrix/
Disallow: /ajax/
Disallow: /search/
Disallow: /personal/
Disallow: /cart/
Sitemap: https://example.ru/sitemap.xml
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaignЧто должно входить в sitemap
- URL отвечает 200 без редиректа;
- страница разрешена к индексированию;
- canonical указывает на этот же URL;
- адрес используется во внутренних ссылках;
- страница имеет самостоятельное назначение;
- дата lastmod меняется при содержательном обновлении, а не при каждом открытии.
Не включайте сортировки, UTM, результаты поиска, пустые фильтры, 404, редиректы и неканонические версии. Для большого сайта используйте индекс sitemap и отдельные файлы по типам страниц, чтобы быстрее находить ошибки.
Clean-param для Яндекса
Если GET-параметр не меняет полезное содержание — например, рекламная метка — Яндекс позволяет описать его директивой Clean-param. Это отличается от Disallow: поисковик понимает связь адреса с основной страницей и может объединить сигналы. Параметры, которые реально меняют товарную выдачу, нельзя объявлять незначимыми вслепую.
Типовые ошибки Битрикс
- после разработки остаётся
Disallow: /; - sitemap содержит HTTP-адреса, а сайт работает по HTTPS;
- в карту попадают товары, которые редиректят после смены раздела;
- URL с
index.phpсоседствуют с ЧПУ; - правило параметров закрывает полезные фильтрационные посадочные;
- ресурсы шаблона закрыты, из-за чего робот не может корректно отрисовать страницу;
- sitemap возвращает не 200 или содержит адреса другого домена.
Как проверить после публикации
- Запросите robots.txt и каждый sitemap без авторизации.
- Проверьте код 200, тип содержимого и отсутствие редиректов.
- Протестируйте несколько разрешённых и запрещённых URL.
- Сопоставьте sitemap, canonical и фактические внутренние ссылки.
- Загрузите файл в Яндекс Вебмастер и дождитесь обработки.
- После переобхода проверьте исключённые страницы и серверные логи.