Практичний посібник платона щукіна: правильна настройка індексації

Щоб сторінки могли з`явитися в пошуку і перебувати за відповідними запитами, вони, перш за все, повинні бути успішно проіндексовані роботом. Тому обходу сайту варто приділити особливу увагу і про те, що необхідно для цього обов`язково зробити. Про це люб`язно розповів Платон Щукін:

1. Почніть з перевірки HTTP-заголовків, переданих вашим сервером:

сторінки, індексування яких необхідно, повертають HTTP відповідь 200;
сторінки, що не існують на сайті, повертають HTTP відповідь 404;
сторінки, що змінили свою адресу, за старим url повертають HTTP відповідь 301;

Побачити HTTP-відповідь від сервера на запит тієї чи іншої сторінки сайту можна за допомогою інструменту «Перевірка відповіді сервера» в Я.Вебмастере (для цього ваш сайт повинен бути вже доданий і підтверджений в сервісі), або ви можете скористатися будь-яким сервісом перевірки HTTP- заголовків (наприклад, Bertal.ru, що дозволяють як User-agent вибрати Yandex.

xtock / Shutterstock.com

2. На наступному кроці варто подумати, які розділи і сторінки сайту повинні індексуватися, а які ні. Створіть файл robots.txt і забороніть в ньому обхід технічних і службових розділів сайту. Якщо на сайті є сторінки, присутність яких небезпечно у видачі або не несе цінності для відвідувачів, їх також варто заборонити, наприклад:

сторінки з результатами пошуку по сайту;
сторінки, які можуть містити персональні дані про клієнтів вашого сайту;
кошики з товарами.

Це дозволить виключити індексування «зайвих» сторінок сайту і їх потрапляння в результати пошуку, а також допоможе прискорити обхід сайту в цілому, так як робот буде більше уваги приділяти індексування найбільш цінних і корисних сторінок.

3. Тепер потрібно перевірити, що буде, якщо хтось поставить помилкову посилання на ваш сайт:

Відкрийте будь-яку сторінку і допишіть в адресі кілька довільних символів. Ця сторінка повинна повертати 301 перенаправлення на доступну сторінку сайту або віддавати 404 помилку. Це допоможе уникнути потрапляння в пошук небажаних сторінок.

4. Далі розбираємося з дублями і динамічними сторінками:

Якщо один і той же товар або стаття може міститися в різних каталогах сайту, то це призводить до появи дублюючих сторінок. У цьому немає нічого страшного, просто потрібно явно вказати, яка сторінка з групи дублів повинна індексуватися і брати участь в пошуку. Зробити це можна за допомогою атрибуту rel = "canonical» тега .
Перевірте доступність сторінок сайту за адресами без слеша на кінці і з Слеш. Якщо вони доступні і повертають однаковий контент, налаштуйте 301 перенаправлення зі сторінок без слеша на сторінки Слеш або навпаки. Це дозволить уникнути наявності дублів і вкаже роботу, за якою адресою сторінки повинні індексуватися і брати участь в пошуку, в тому випадку, якщо йому будуть відомі обидві адреси.
Перевірте, чи є на Вашому сайті сторінки з динамічними параметрами (наприклад, PHPSESSID = і т.п.), зміна яких не призводить до зміни контенту сторінки. Якщо структура сайту припускає наявність подібних сторінок, скористайтеся атрибутом rel = "canonical», або пропишіть директиву Clean-param в файлі robots.txt.

Відео: Сергій Нижегородцев проти Платона Щукіна

5. Після того, як всі налаштування перевірені, заборонено індексування непотрібних сторінок, а також виключені дублі і динамічні сторінки, саме час подбати про те, щоб робот швидше дізнався про сторінках сайту. Для цього створіть файл sitemap, вкажіть в ньому посилання на всі сторінки, індексування яких необхідно, і повідомте про існування файлу: пропишіть директиву «Sitemap:» в robots.txt або скористайтесь формою в сервісі Яндекс.Вебмастер. Після обробки файлу всі сторінки будуть передані в чергу на обхід роботу. Особливо наявність файлу sitemap актуально для сайтів, сторінки яких часто оновлюються, взагалі не мають посилань, за якими вони можуть бути знайдені або мають дуже глибоку вкладеність.

Якщо ж потрібно повідомити робота про якоїсь певної сторінці, то для цього підійде форма: //webmaster.yandex.ru/addurl.xml