Дзеркала сайту: що потрібно знати, щоб не потрапити під санкції пошукових систем

Дзеркало сайту – це його повна копія, доступна за іншою адресою. Наприклад, є prosuver.ua, але після реєстрації торгової марки, я реєструю домен prosuver.ua та роблю на ньому копію. У результаті отримую два однакових сайти (контент, дизайн, код), доступних за різними адресами. Це і є дзеркала.

Але це тільки один варіант, а на практиці їх набагато більше. І щоб у вас не склалася асоціація, що дзеркало – це копія, яка робиться під час зміни домену, розберемо які вони бувають і для чого потрібні.

Які бувають дзеркала для сайтів

1. Автоматичні.
2. Створювані власником.

Коли вам ставлять завдання – перевірити дзеркала сайту, практично завжди мають на увазі першу групу. Тому що це вони з’являються самі по собі, при створенні сайту або переїзді на https. І якщо їх не склеїти (про це нижче) – будуть дублі, за які пошукові системи можуть знижувати у видачі. Або ПС самостійно визначить головне дзеркало і не факт, що те, яке потрібно вам. З них і почнемо.

Автоматичні

Щоб не забивати голову теорією, дивимося на прикладі сайту PROSUVER. Головна сторінка (або будь-яка інша) може бути доступна за адресами:

Тобто, http чи https, з www чи без нього, зі слешем на кінці чи без. І всі можливі комбінації. Для користувачів все це адреси однієї сторінки. Для пошукових систем – це різні адреси, причому самі сторінки однакові. А отже – це дзеркала.

Створювані власником

Друга група – це дзеркала, які створюються безпосередньо власником для вирішення конкретних завдань:

• Переїзд на новий домен. Це те, з чого ми почали статтю. Може бути просто зміна доменної зони, а може у компанії змінилася назва.
• Виведення з-під фільтрів ПС.
• Тестова версія під час редизайну. Хороший програміст завжди її приховає, але буває, що вона потрапляє в індекс.
• Бронювання доменів. Наприклад, для цього сайту я зареєстрував ще кілька доменів у найпопулярніших доменних зонах.
• Просування в різних регіонах. Наприклад, для України є prosuver.ua, але, якщо я захочу охопити аудиторію Німеччини, не змінюючи мови сайту, природно, можу зробити копію на prosuver.de.
• Запасна адреса. На випадок, якщо основна буде недоступною тривалий час.

І це тільки частина приводів зробити дзеркало сайту. Розбирати їх докладно не будемо, там майже за кожним пунктом можна повноцінну статтю писати. Але в будь-якому разі це буде окремий домен або піддомен.

І ще момент – якщо ваш сайт хтось скопіював, то це теж не дзеркало, а крадіжка, з якою потрібно боротися. Але це окрема історія.

Що таке «склейка»

Склеювання дзеркал сайту – це всього лише налаштування 301 редиректу з дублів на основний домен або основний варіант url-адрес, який називають головним дзеркалом.

Про головне дзеркало поговоримо нижче. А склейку подивимося на прикладі тих самих 8 варіантів url-адрес, які я наводив вище. Тільки для різноманітності візьмемо внутрішню сторінку, наприклад, розділ Блог. Складаємо можливі адреси й отримуємо список:

Далі припустимо, що головне дзеркало сайту – це варіант з https, без www та зі слешем на кінці (виділено червоним). Тоді дзеркала вважатимуться склеєними, якщо відповідь сервера для сторінки https://prosuver.ua/blog/ буде – 200. А для всіх інших – 301. Перевірити її можна через будь-який сервіс перевірки відповіді сервера (їх багато, і вони безкоштовні). Я зробив перевірку через URL-checker від Collaborator, бачимо:

Код 200 тільки в однієї сторінки – це і є головне дзеркало. Решта варіантів – це просто дзеркала. І в цьому випадку вони склеєні. Якби всі сторінки або хоча б частина з них віддавали код 200, ми б сказали, що вони не склеєні або склеєні неправильно / не повністю.

Зверніть увагу – навпроти одних адрес 301 написано один раз, а навпроти інших – два. Із цим ви стикатиметеся дуже часто, тому маєте розуміти, що це і що з цим робити.

Варіант 1

Сторінка з www віддає 301 редірект на сторінку без www. При цьому остання віддає код 200. Що правильно. Це прямий редирект на головне дзеркало. В ідеалі саме так він має бути налаштований для всіх варіантів адрес.

Варіант 2

У чому тут проблема – варіант з http і www перенаправляє користувачів спершу на сторінку з https і www, яка своєю чергою перенаправляє на цільовий url з https і без www, який віддає код 200. Це називається – ланцюжок редиректів. І це ознака того, що налаштування зроблено неправильно.

Не завжди ланцюжок редиректів є проблемою. Але якщо ви новачок – краще вкажіть у ТЗ програмісту, що такі ланцюжки є і потрібно замінити їх на прямі редиректи. Якщо цього робити не потрібно, він вам сам це пояснить.

Як визначити головне дзеркало

Усі рекомендації нижче стосуватимуться тільки автоматично створюваних дзеркал. Якщо власник створює їх сам, питання вибору взагалі не виникає. Якщо нове дзеркало робиться для виведення з-під фільтра або зміни назви – воно і буде основним. Якщо просто бронює домени або робить тестовий домен під редизайн – головним буде те, яке у нього є зараз. Там усе очевидно. А ось з автоматичними є варіанти.

Якщо сайт новий

Це найпростіший варіант. Якщо сайт тільки створений або ще перебуває в розробці, ви можете вибрати головне дзеркало для сайту самостійно. При цьому:

• обов’язково (принаймні для нового сайту) використовувати https;
• кращий варіант без www;
• зі слешем на кінці чи без – не має значення.

Про всяк випадок обраний варіант можна обговорити з власником. Але питань тут майже ніколи не буває.

Якщо сайт чинний

Якщо це проект віком, скажімо, до року, який ще не просувався, не має позицій і трафіку – можете обрати основне дзеркало сайту самостійно або перевірити яке дзеркало обрали пошукові системи та залишити його.

Кілька пояснень:

• Вік до року – він може бути і більшим, але, якщо на просування приходить 5-річний проект без трафіку та позицій, там не дзеркало потрібно обирати, а перевіряти, чому немає ні того, ні іншого. А ось проект, який створили і закинули на півроку-рік – явище часте. І немає жодної проблеми змінити дзеркало на цьому етапі.
• Не має позицій і трафіку – якщо проект уже потрапив за частиною ключових слів хоча б у ТОП 20-30, не потрібно нічого змінювати. Дивіться яке дзеркало вважає головним ПС та робіть склейку на нього, якщо це ще не зроблено.
• «Можете вибрати» – вибрати можете, але кращим буде варіант, який вже вибрала ПС. Про це нижче. За винятком випадків, коли ПС вибрала варіант на http замість https.

Якщо коротко – можливість вибору на цьому етапі дійсно є, але краще орієнтуватися на пошукову систему. Єдиний виняток – сайт має бути на https. Якщо https налаштований, але не виконано склеювання – у будь-якому разі потрібно зробити головне дзеркало на https. А якщо він не налаштований, тоді обов’язково налаштовувати.

Якщо сайт із позиціями та трафіком

А це найпоширеніший варіант. Якщо сайт має якісь позиції, трафік, можливо, просувався раніше, тоді наявні адреси міняти не потрібно. Ваше завдання визначити який варіант ПС вважає головним дзеркалом і працювати з ним.

Для цього в пошуковий рядок Google вводимо «site:» і потім назву домену:

В результаті бачимо:

У моєму випадку в індексі сторінки з https і без www. Це і є дзеркало сайту, яке Google вибрав головним.

Коли дзеркала не склеєні, ви побачите одночасно сторінки, наприклад, з www або без нього. У такому разі основним дзеркалом потрібно обирати варіант, якого буде більше.

Проблему становить лише варіант, коли головне дзеркало не використовує https протокол. Якщо ви переглянули, які варіанти сторінок індексуються/ранжуються та бачите, що це http, тоді потрібно робити переїзд.

Але якщо в індексі варіант з https – жодних проблем. Дивитесь, що це за варіант і налаштовуєте 301 редиректи з інших дзеркал на нього. Або пишіть це в ТЗ для програміста.

Як склеїти дзеркала сайту

Якщо ви SEO-фахівець, вам не обов’язково вміти це робити. Ваше завдання – дізнатися, яке дзеркало сайту головне, перевірити склейку та за наявності проблем написати ТЗ програмісту. Наприклад, у нашому сьогоднішньому прикладі є проблема тільки з ланцюжками редиректів. Тому в ТЗ можна написати так:

Якщо ви не шукаєте легких шляхів та хочете налаштувати все своїми руками, вам потрібно знати, що 301 редирект можна налаштувати через:

• .htaccess;
• CMS;
• хостера.

За останні 2 в рамках цієї статті немає сенсу писати – там своїх нюансів на повноцінну статтю буде. А ось із .htaccess ви майже напевно зіткнетеся. Це конфігураційний файл, який знаходиться в кореневій папці вашого сайту. Підключаєтеся до хостингу по FTP через FileZilla або аналог, відкриваєте кореневий каталог та шукайте файл:

Завантажуєте, відкриваєте через будь-який редактор коду та налаштовуєте редирект (додаєте код із прикладів нижче у файл). Потім відредагований файл завантажуєте назад. Не забудьте попередньо зробити бекап!

Існує велика кількість редиректів, які можна налаштувати. І це теж тема окремої статті. Тому я наведу лише кілька варіантів, які трапляються частіше за інші.

З http на https:

З www на без www:

Без слеша на кінці на сторінки зі слешем на кінці:

Усі налаштування та склейки стосуються лише нових сайтів. Якщо сайт уже працює і йому потрібен переїзд на https – поради вище не підійдуть. Точніше їх буде недостатньо. Не експериментуйте. Перш, ніж щось налаштовувати – потрібно вивчити як робити такий переїзд правильно. Це стосується і дзеркал, що створюються власником – часто там потрібна не просто склейка. Вона є лише одним із кроків.

Як знайти дзеркала сайту

Таке запитання можна почути часто. Ось тільки відповісти на нього без розуміння вашої ситуації складно. Якщо йдеться про дзеркала, які я назвав автоматичними – їх взагалі не потрібно шукати. Які вони можуть бути – написано вище. Потрібно просто перевірити склейку.

Якщо йдеться про ті, які створюються власником самостійно – їх теж не потрібно шукати. Достатньо запитати у власника сайту, чи немає у нього дзеркал. Якщо є – тоді вже обговорювати з ним ситуацію і перевіряти, як вони налаштовані. Але це не настільки часте явище, тож стикатися з ними ви будете рідко.

Пошук дзеркал сайту має сенс під час глибокого аналізу конкурентів або під час купівлі сайту. Але це рівень не новачка. А ця стаття написана саме для тих, хто тільки вчиться. Тому тут це розбирати не будемо.

Висновок

Виділимо основні моменти статті, щоб у разі потреби можна було швидко згадати якісь моменти, не читаючи весь текст:

• дзеркало сайту – це його копія;
• таких копій може бути багато;
• незалежно від їхньої кількості сайт має бути доступний за однією адресою;
• цю адресу називають головним дзеркалом;
• всі інші – просто дзеркалами;
• сторінки головного дзеркала віддають код 200, інших – 301;
• склейка – це налаштування 301 редиректу з усіх дзеркал на головне;
• якщо сайт з позиціями і трафіком – кажуть про переїзд, а не склейку, і там все трохи складніше;
• визначити головне дзеркало можете ви або ПС;
• склеїти їх можна різними способами, але найпоширеніший – .htaccess.

Усе це тільки базова інформація, щоб будь-який SEO-фахівець-початківець зрозумів, що таке дзеркала сайтів, як вони працюють та як провести перевірку. Для початкового рівня того, що написано в статті, достатньо. При цьому потрібно розуміти, що створення дзеркала сайту – це цікавий інструмент, який іноді дає змогу розв’язати завдання, які просто неможливо вирішити іншими методами. Але про це в наступних статтях.