Почему страницы Битрикс не попадают в Яндекс
Пошаговая диагностика: известен ли URL роботу, доступен ли он, какой адрес выбран каноническим и есть ли у страницы самостоятельная ценность.
Фраза «страница не индексируется» объединяет разные состояния: робот не знает URL, не может его обойти, считает дублем, видит запрет, получил ошибку или решил, что страница недостаточно полезна. Поэтому проверку нужно вести по цепочке, не начиная с повторной отправки sitemap.
1. Проверьте фактический HTTP-ответ
Откройте URL без авторизации и проверьте статус, цепочку редиректов и итоговый адрес. Страница с визуальной заглушкой может возвращать 200, а рабочая на вид — 302 на регион, авторизацию или другой хост. Важный URL должен стабильно отдавать 200, если он существует, либо один понятный 301 при переезде.
2. Сверьте robots, meta robots и заголовки
Проверьте правила для конкретного User-agent, а не только блок *. Затем найдите noindex в HTML и HTTP-заголовке X-Robots-Tag. Если URL запрещён в robots.txt, поисковик может не увидеть noindex и canonical на самой странице.
3. Найдите выбранный canonical
Self-canonical должен указывать на абсолютный доступный URL без цепочки редиректов. Если шаблон строит canonical из текущей строки запроса, в него могут попасть сортировки, фильтры и UTM. Если все страницы пагинации указывают на первую, часть каталога может потерять самостоятельный путь обнаружения.
4. Проверьте, как робот узнаёт URL
Sitemap полезен, но важная страница должна быть достижима обычными ссылками. Проверьте меню, категории, хлебные крошки, блоки связанных материалов и страницы-родители. Ссылка должна быть элементом <a href>, а не только обработчиком JavaScript.
5. Сравните с дублями
В Яндекс Вебмастере посмотрите исключённые страницы и выбранный поиском канонический адрес. Найдите версии со слешем, index.php, параметрами, другим разделом или протоколом. Исправляйте источник внутренних ссылок, а не только добавляйте canonical поверх продолжающей работать генерации.
6. Оцените самостоятельную ценность
Технически доступная страница не обязана попасть в поиск. Категория без товаров, карточка с одним названием, десятки городских копий или статья, пересказывающая выдачу, не дают поиску убедительной причины хранить отдельный URL. Сравните интент, полноту ответа, доказательства, актуальность и внутренние связи.
Контрольный порядок
- HTTP-код и редиректы.
- robots.txt, meta robots и X-Robots-Tag.
- canonical и альтернативные URL.
- наличие в sitemap.
- внутренние ссылки.
- статус в Вебмастере.
- качество и отличие от соседних страниц.
- переобход после исправления, а не до него.