Век живи - век учись. Именно с этих слов решил начать данную статью. Дело в том, что так уж вышло, что я проморгал появление явных дублей главной страницы своего сайта. А именно страниц с пагинацией типа "https://creat-pro.ru/?page=*". А содержимое у них конечно же полный дубль главной страницы. Соответственно поисковики не совсем понимали, что из всего этого главная страница, а что ее дубль, коих набралось порядка 250 страниц. И все они отвечали код 200 поисковикам.

А заметил этот факт я случайно, увидев в поисковой выдаче вместо главной страницу https://creat-pro.ru/?page=72. Как это случилось? Скорее всего я в спешке создал представление с новостями или еще с чем-то на главной странице и вывел все это дело на несколько страниц с помощью страчного пейджера, который как раз и добавил данные регулярные выражения к адресу главной страницы.

Действовать решил незамедлительно и радикально - в файле htaccess прописал 301 редирект с данных страниц на главную. Добавив при этом 2 вот такие строки:

RewriteCond %{QUERY_STRING} ^page=(.*)
RewriteRule ^.*$ /? [R=301,L]

В файле robots.txt прописал запрет индексации данных страниц по маске, таким образом:

Disallow: /?page=*

Для пущей уверенности проверил ответ сервера роботу яндекса, вбив адрес https://creat-pro.ru/?page=72. Вебмастер написал, что данная страница запрещена для индексации в файле robots.txt. Надеюсь это поможет и мне, и всем кто читает данную заметку. Еще бы советовал посмотреть видео от работников Яндекса про дубли страниц - https://youtu.be/EZQPJ0UMe3w.

пагинация на сайте