Кожна людина, яка хоч раз стикалася з поняттями seo-просування сайту, пошукова оптимізація, видача Гугл тощо, ставила собі запитання, як же перевірити результати своїх зусиль, а якщо над просуванням працює Seo-агентство, то, зрозуміло, побачити результати їхніх робіт хочеться насамперед, якщо відстежити результати немає можливості одразу з органічної видачі.

У цій статті я хочу розповісти про найпоширеніші способи, які використовуються в пошуковій оптимізації сайту.

Вступне слово

На мій погляд, доцільніше почати статтю з розгляду, як взагалі відбувається процес обходу сайту/сторінок сайту пошуковим роботом.

Процес відвідування сайту пошуковим роботом (ботом, краулером) здійснюється в три етапи:

1. Сканування.
2. Індексування.
3. Формування релевантної пошукової видачі.

Сканування

Отже, на сторінку сайту потрапив пошуковий робот*, він зчитав інформацію, передав її далі на сервери пошукової системи (ПС) і пішов далі сканувати інформацію на інших сторінках сайту. Тому важливо на сайті робити різноманітні перелінковки, адже робот від сторінки на сторінку переходить тільки за посиланнями, розташованими на сторінці.

*Пошуковий робот – це програмний код, за допомогою якого відбувається зчитування контентної інформації зі сторінки сайту.

Індексування

На цьому етапі інформація, яку було проскановано на сторінці, потрапляє в БД пошукової системи, в якій присвоюється певний індекс. Присвоювання індексу необхідне суто для зручності пошуку інформації в БД ПС. Зверну відразу увагу, не завжди обхід краулером сторінок сайту починається зі сканування. Якщо робот потрапив на сторінку зі стороннього ресурсу, він може не сканувати сторінку, а занести в БД інформацію зі статті, з якої він потрапив на сайт.

Пошукова видача

На цьому етапі ПС аналізує інформацію в індексі (це складний внутрішній процес, заснований на принципах машинного навчання і нейронних мережах). У результаті цього процесу ми отримуємо видачу в пошуковій системі.

Як же перевірити чи є сторінки в індексі чи ні?

Не будемо довго вас мучити складними даними, алгоритмами роботи ПС і перейдемо безпосередньо до розгляду теми нашої статті. Перевірити, чи є сторінка в індексі, можна ось так:

• Перевірити інформацію в Search Сonsole. Для цього необхідно перейти на сторінку Search Сonsole проєкту далі перейти у вкладку “Сторінки”. У цьому розділі можна побачити повну інформацію зі статусами сторінок, описом помилок, які було виявлено на етапі сканування.

Більш коротку інформацію про стан індексування сторінок можна побачити у вкладці “Огляд”.

Окремо також можна перевірити конкретну сторінку. Для цього необхідно в полі “Перевірка всіх URL на ресурсі” вбити УРЛ сторінки, що вас цікавить.

Після чого ви побачите одне з повідомлень:

Перше повідомлення свідчить про те, що зі сторінкою все добре, вона є в індексі, друге – на жаль, не втішне, оскільки сторінка не потрапила в індекс.

• За допомогою пошукових операторів. Найпоширеніший пошуковий оператор – оператор “site:”. Це не найнадійніше і найдостовірніше джерело даних, за його допомогою можна побачити тільки приблизну кількість сторінок в індексі, до того ж він досить часто показує недостовірні дані. За допомогою цього оператора можна перевіряти не весь домен, а й тільки сторінку, яка вас цікавить.

• За допомогою спеціальних сервісів. Ці інструменти дадуть змогу обходити сайт, імітуючи обхід пошукового робота. До таких сервісів належать: Netpeak Spider, Screaming Frog, LinkChecker, SiteAnalyzer тощо. Таких сервісів величезна кількість в інтернеті. За допомогою таких сервісів можна не тільки перевірити, чи є сторінки в індексі, а й отримати інформацію щодо кодів відповіді, зібрати метадані, побачити список Canonical, зчитати метатеги Robots і т. ін. Ці сервіси доволі гарні в роботі, але вони мають і недоліки: зазвичай їхнє використання платне, потрібно багато часу, потужностей ПК для перевірки сайту за їхньою допомогою

• За допомогою сервісу Web Archive. Web Archive – це безкоштовний сервіс, який зберігає в собі архіви сторінок сайтів. З його допомогою можна відстежувати зміни на сторінці, у разі втрати даних їх можна відновити з веб архіву (якщо звичайно є кешована версія сторінки в архіві).

Цей сервіс простий у роботі:

1. Переходимо на головну сторінку – https://web.archive.org/
2. Вводимо назву домену/сайту/ключового слова.

• Далі відкривається вікно з інформацією скільки було зроблено копій. Інформація виводиться в календарі за роками. Блакитним кольором виділяються дати, коли були створені копії.

• Після вибору дати, що цікавить, і натискання на неї, вас перекине на архівну сторінку.

Висновок

Ми розглянули в статті найпоширеніші варіанти перевірки наявності сторінки в індексі:

1. За допомогою Search Сonsole.
2. За допомогою операторів пошуку.
3. За допомогою спеціальних сервісів.
4. За допомогою сервісу Web Archive.

Запам’ятати

Мета власника сайту – щоб усі сторінки, відкриті для індексації, були в індексі пошукової системи. Досягти цього складно. До того ж важливо стежити за процесом занесення сторінок до індексу: різкі зміни в позитивний або негативний бік – сигнал про проблему. Ми описали чотири способи перевірки індексації сторінок сайту:

1. У панелях вебмайстрів Google і Яндекс.
2. За допомогою пошукового оператора site:.
3. За допомогою плагінів, на кшталт RDS bar, і букмарклетів.
4. У спеціальних сервісах, наприклад, Netpeak Spider.

Сайт може погано індексуватися через помилки на сайті, відсутність файлу sitemap. Також важливо перевірити, чи не закритий сайт від індексації за допомогою метатега robots, x-robots tag або в robots.txt.

Поліпшити індексацію допоможе:

• оптимізація та коректне налаштування файлів sitemap robots.txt;
• оптимізація швидкості завантаження сайту;
• видалення дублів сторінок і контенту;
• грамотна перелінковка (між сторінками і під час виведення прев’ю нових сторінок на головну);
• промоушен нових сторінок у соцмережах;
• регулярне оновлення та поліпшення контенту сайту.

Часто справа не в індексації, а в підході до оптимізації. Відповідайте на запит користувача краще за всіх. У такому разі всі поради стануть у пригоді вам тільки для фіксації хорошого результату.