Зеркала сайта: что нужно знать, чтобы не попасть под санкции поисковых систем

Зеркало сайта – это его полная копия, доступная по другому адресу. Например, есть prosuver.ua, но после регистрации торговой марки, я регистрирую домен prosuver.ua и делаю на нем копию. В результате получаю два одинаковых сайта (контент, дизайн, код), доступных по разным адресам. Это и есть зеркала.

Но это только один вариант, а на практике их гораздо больше. И чтобы у вас не сложилась ассоциация, что зеркало – это копия, которая делается при смене домена, разберем какие они бывают и для чего нужны.

Какие бывают зеркала для сайтов

Так мало кто делает, но давайте условно разделим их на 2 группы:

1. Автоматические.
2. Создаваемые владельцем.

Когда вам ставят задачу – проверить зеркала сайта, практически всегда имеют ввиду первую группу. Потому что это они появляются сами по себе, при создании сайта или переезде на https. И если их не склеить (об этом ниже) – будут дубли, за которые поисковые системы могут понижать в выдаче. Или ПС самостоятельно определит главное зеркало и не факт, что то, которое нужно вам. С них и начнем.

Автоматические

Чтобы не забивать голову теорией, смотрим на примере сайта PROSUVER. Главная страница (или любая другая) может быть доступна по адресам:

То есть, http или https, с www или без него, со слешем на конце или без. И все возможные комбинации. Для пользователей все это адреса одной и той же страницы. Для поисковых систем – это разные адреса, причем сами страницы одинаковые. А значит – это зеркала.

Создаваемые владельцем

Вторая группа – это зеркала, которые создаются непосредственно владельцем для решения конкретных задач:

• Переезд на новый домен. Это то, с чего мы начали статью. Может быть просто изменение доменной зоны, а может у компании изменилось название.
• Вывод из-под фильтров ПС.
• Тестовая версия при редизайне. Хороший программист всегда ее скроет, но бывает, что она попадает в индекс.
• Бронирование доменов. Например, для этого сайта я зарегистрировал еще несколько доменов в наиболее популярных доменных зонах.
• Продвижение в разных регионах. Например, для Украины есть prosuver.ua, но, если я захочу охватить аудиторию Германии, не меняя язык сайта, естественно, могу сделать копию на prosuver.de.
• Запасной адрес. На случай, если основной будет недоступен длительное время.

И это только часть поводов сделать зеркало сайта. Разбирать их подробно не будем, там почти по каждому пункту можно полноценную статью писать. Но в любом случае это будет отдельный домен или поддомен.

И еще момент – если ваш сайт кто-то скопировал, то это тоже не зеркало, а воровство, с которым нужно бороться. Но это отдельная история.

Что такое «склейка»

Склейка зеркал сайта – это всего лишь настройка 301 редиректа с дублей на основной домен или основной вариант url адресов, который называют главным зеркалом.

О главном зеркале поговорим ниже. А склейку посмотрим на примере тех же 8 вариантов url адресов, которые я приводил выше. Только для разнообразия возьмем внутреннюю страницу, например, раздел Блог. Составляем возможные адреса и получаем список:

Дальше предположим, что главное зеркало сайта – это вариант с https, без www и со слешем на конце (выделен красным). Тогда зеркала будут считаться склеенными, если ответ сервера для страницы https://prosuver.ua/blog/ будет – 200. А для всех остальных – 301. Проверить его можно через любой сервис проверки ответа сервера (их много, и они бесплатные). Я сделал проверку через URL-checker от Collaborator, видим:

Код 200 только у одной страницы – это и есть главное зеркало. Остальные варианты – это просто зеркала. И в данном случае они склеены. Если бы все страницы или хотя бы часть из них отдавали код 200, мы бы сказали, что они не склеены или склеены неправильно / не полностью.

Обратите внимание – напротив одних адресов 301 написано один раз, а напротив других – два. С этим вы будете сталкиваться очень часто, поэтому должны понимать, что это и что с этим делать.

Вариант 1

Страница с www отдает 301 редирект на страницу без www. При этом последняя отдает код 200. Что правильно. Это прямой редирект на главное зеркало. В идеале именно так он должен быть настроен для всех вариантов адресов.

Вариант 2

В чем здесь проблема – вариант с http и www перенаправляет пользователей сперва на страницу с https и www, которая в свою очередь перенаправляет на целевой url с https и без www, который отдает код 200. Это называется — цепочка редиректов. И это признак того, что настройка сделана неправильно.

Не всегда цепочка редиректов является проблемой. Но если вы новичок – лучше укажите в ТЗ программисту, что такие цепочки есть и нужно заменить их на прямые редиректы. Если этого делать не нужно, он вам сам это пояснит.

Как определить главное зеркало

Все рекомендации ниже будут касаться только автоматически создаваемых зеркал. Если владелец создает их сам, вопрос выбора вообще не возникает. Если новое зеркало делается для вывода из-под фильтра или смены названия – оно и будет основным. Если просто бронирует домены или делает тестовый домен под редизайн – главным будет то, которое у него есть сейчас. Там все очевидно. А вот с автоматическими есть варианты.

Если сайт новый

Это самый простой вариант. Если сайт только создан или еще находится в разработке, вы можете выбрать главное зеркало для сайта самостоятельно. При этом:

• обязательно (по крайней мере для нового сайта) использовать https;
• лучше вариант без www;
• со слешем на конце или без – не имеет значения.

На всякий случай выбранный вариант можно обсудить с владельцем. Но вопросов здесь почти никогда не бывает.

Если сайт действующий

Если это проект возрастом, скажем, до года, еще не продвигался, не имеет позиций и трафика – можете выбрать основное зеркало сайта самостоятельно или проверить какое зеркало выбрали поисковые системы и оставить его.

Несколько пояснений:

• Возраст до года – он может быть и больше, но, если на продвижение приходит 5-летний проект без трафика и позиций, там не зеркало нужно выбирать, а проверять почему нет ни того, ни другого. А вот проект, который создали и забросили на полгода-год – явление частое. И нет никакой проблемы изменить зеркало на этом этапе.
• Не имеет позиций и трафика – если проект уже попал по части ключевых слов хотя бы в ТОП 20-30, не нужно ничего менять. Смотрите какое зеркало считает главным ПС и делайте склейку на него, если это еще не сделано.
• «Можете выбрать» –  выбрать можете, но предпочтительнее будет вариант, который уже выбрала ПС. Об этом ниже. За исключением случаев, когда ПС выбрала вариант на http вместо https.

Если кратко – возможность выбора на этом этапе действительно есть, но предпочтительнее ориентироваться на поисковую систему. Единственное исключение – сайт должен быть на https. Если https настроен, но не выполнена склейка – в любом случае нужно сделать главное зеркало на https. А если он не настроен, тогда обязательно настраивать.

Если сайт с позициями и трафиком

А это самый распространенный вариант. Если сайт имеет какие-то позиции, трафик, возможно, продвигался ранее, тогда существующие адреса менять не нужно. Ваша задача определить какой вариант ПС считает главным зеркалом и работать с ним.

Для этого в поисковую строку Google вводим «site:» и потом название домена:

В результате видим:

В моем случае в индексе страницы с https и без www. Это и есть зеркало сайта, которое Google выбрал главным.

Когда зеркала не склеены, вы увидите одновременно страницы, например, с www или без него. В таком случае основным зеркалом нужно выбирать вариант, которого будет больше.

Проблему составляет только вариант, когда главное зеркало не использует https протокол. Если вы просмотрели, какие варианты страниц индексируются/ранжируются и видите, что это http, тогда нужно делать переезд.

Но если в индексе вариант с https – никаких проблем. Смотрите, что это за вариант и настраиваете 301 редиректы с остальных зеркал на него. Или пишите это в ТЗ для программиста.

Как склеить зеркала сайта

Если вы SEO-специалист, вам не обязательно уметь это делать. Ваша задача – узнать какое зеркало сайта главное, проверить склейку и при наличии проблем написать ТЗ программисту. Например, в нашем сегодняшнем примере есть проблема только с цепочками редиректов. Поэтому в ТЗ можно написать так:

Если вы не ищете легких путей и хотите настроить все своими руками, вам нужно знать, что 301 редирект можно настроить через:

• .htaccess;
• CMS;
• хостера.

За последние 2 в рамках этой статьи нет смысла писать – там своих нюансов на полноценную статью будет. А вот с .htaccess вы почти наверняка столкнетесь. Это конфигурационный файл, который находится в корневой папке вашего сайта. Подключаетесь к хостингу по FTP через FileZilla или аналог, открываете корневой каталог и ищите файл:

Скачиваете, открываете через любой редактор кода и настраиваете редирект (добавляете код из примеров ниже в файл). Затем отредактированный файл загружаете обратно. Не забудьте предварительно сделать бекап!

Существует большое количество редиректов, которые можно настроить. И это тоже тема отдельной статьи. Поэтому я приведу только несколько вариантов, которые встречаются чаще других.

С http на https:

С www на без www:

Без слеша на конце на страницы со слешем на конце:

Все настройки и склейки касаются только новых сайтов. Если сайт уже работает и ему нужен переезд на https – советы выше не подойдут. Точнее их будет недостаточно. Не экспериментируйте. Прежде, чем что-то настраивать – нужно изучить как делать такой переезд правильно. Это касается и зеркал, создаваемых владельцем – часто там нужна не просто склейка. Она является лишь одним из шагов.

Как найти зеркала сайта

Такой вопрос можно услышать часто. Вот только ответить на него без понимания вашей ситуации сложно. Если речь идет про зеркала, которые я назвал автоматическими – их вообще не нужно искать. Какие они могут быть – написано выше. Нужно просто проверить склейку.

Если речь про те, которые создаются владельцем самостоятельно – их тоже не нужно искать. Достаточно спросить у владельца сайта нет ли у него зеркал. Если есть – тогда уже обсуждать с ним ситуацию и проверять, как они настроены. Но это не настолько частое явление, так что сталкиваться с ними вы будете редко.

Поиск зеркал сайта имеет смысл при глубоком анализе конкурентов или при покупке сайта. Но это уровень не новичка. А данная статья написана именно для тех, кто только учится. Поэтому здесь это разбирать не будем.

Заключение

Выделим основным моменты статьи, чтобы в случае необходимости можно было быстро вспомнить какие-то моменты, не читая весь текст:

• зеркало сайта – это его копия;
• таких копий может быть много;
• независимо от их количества сайт должен быть доступен по одному адресу;
• этот адрес называют главным зеркалом;
• все остальные – просто зеркалами;
• страницы главного зеркало отдают код 200, остальных – 301;
• склейка – это настройка 301 редиректа со всех зеркал на главное;
• если сайт с позициями и трафиком – говорят про переезд, а не склейку и там все немного сложнее;
• определить главное зеркало можете вы или ПС;
• склеить их можно разными способами, но самый распространенный – .htaccess.

Все это только базовая информация, чтобы любой начинающий SEO-специалист понял, что такое зеркала сайтов, как они работаю и как провести проверку. Для начального уровня того, что написано в статье, достаточно. При этом нужно понимать, что создание зеркала сайта – это интересный инструмент, иногда позволяющий решить задачи, которые просто невозможно решить другими методами. Но об этом в следующих статьях.