Если на сайте появились десятки или сотни URL с параметрами вроде ?sort=price, ?filter_color=red или ?s=, поисковик быстро начинает индексировать мусорные варианты страниц. Проблема обычно не в одном параметре, а в связке: фильтры, сортировка, пагинация, внутренний поиск и иногда UTM-метки. В итоге в индексе оказываются дубли, а канонический URL теряет вес.
Ниже — рабочая схема, которая помогает не «прятать всё подряд», а точечно закрывать технические URL и оставить в индексе только полезные страницы.
Когда это действительно проблема
Сначала стоит убедиться, что речь именно о технических дублях, а не о полезных посадочных страницах. Если параметры меняют только порядок товаров, вид выдачи или набор фильтров без уникального контента, такие URL обычно не нужны в индексе. Если же параметр формирует отдельную смысловую страницу, например подборку по бренду или категории, её лучше не закрывать автоматически.
Типичные признаки
- в Google Search Console растёт число страниц с параметрами;
- в выдаче появляются URL с
?sort=,?orderby=,?filter_; - одна и та же страница доступна по нескольким адресам;
- в логах или аналитике заметно много заходов на URL с мусорными параметрами;
- канонический URL указывает на чистую страницу, но робот всё равно обходит параметрические версии.
Диагностика: какие параметры реально индексируются
Не начинайте с правки robots.txt наугад. Сначала посмотрите, какие адреса уже попали в индекс и какие из них генерируются самим сайтом. Для этого удобно проверить:
- отчёт «Страницы» в Google Search Console;
- поиск по сайту через
site:example.com inurl:?; - исходный код страницы на наличие
rel="canonical"; - ответ сервера для параметрических URL через
curl -I.
Пример проверки заголовков:
curl -I