Каждый человек, который хоть раз сталкивался с понятиями seo-продвижение сайта, поисковая оптимизация, выдача Гугл и т.д. задавался вопросом, как же проверить результаты своих усилий, а если над продвижением работает Seo – агентство, то, разумеется, увидеть результаты их работ хочется в первую очередь, если отследить результаты нет возможности сразу по органической выдачи.

В этой статей я хочу рассказать про самые распространенные способы, которые используются в поисковой оптимизации сайта.

Вступительное слово

На мой взгляд, целесообразнее начать статью с рассмотрения, как вообще происходит процесс обхода сайта/ страниц сайта поисковым роботом.

Процесс посещения сайта поисковым роботом (ботом, краулером) осуществляется в три этапа:

1. Сканирование.
2. Индексирование.
3. Формирование релевантной поисковой выдачи.

Сканирование

Итак, на страницу сайта попал поисковый робот*, он считал информацию, передал ее дальше на сервера поисковой системы (ПС) и пошел дальше сканировать информацию на других страницах сайта. Поэтому важно на сайте делать разнообразные перелинковки, ведь робот от страницы на страницу переходит только по ссылкам, расположенным на странице.

*Поисковый робот – это программный код, с помощью которого происходит считывание контентной информации со страницы сайта.

Индексирование

На этом этапе информация, которая была просканирована на странице, попадает в БД поисковой системы, в которой присваивается определённый индекс. Присваивание индекса необходимо сугубо для удобства поиска информации в БД ПС. Обращу сразу внимание, не всегда обход краулером страниц сайта начинается со сканирования. Если робот попал на страницу со стороннего ресурса, он может не сканировать страницу, а занести в БД информацию со статьи, с которой он попал на сайт.

Поисковая выдача

На этом этапе ПС анализирует информацию в индексе (это сложный внутренний процесс, основанный на принципах машинного обучения и нейронных сетях). В результате этого процесса мы получаем выдачу в поисковой системе.

Как же проверить есть ли страницы в индексе или нет?

Не будем долго вас томить сложными данными, алгоритмами работы ПС и перейдем непосредственно к рассмотрению темы наши статьи. Проверить если страница в индексе можно вот так:

• Проверить информацию в Search Сonsole. Для этого необходимо перейти на страницу Search Сonsole проекта дальше перейти во вкладку «Страницы». В данном разделе можно увидеть полную информацию со статусами страниц, описанием ошибок, которые были выявлены на этапе сканирования.

Более краткую информацию про состояние индексирования страниц можно увидеть во вкладке «Обзор».

Отдельно также можно проверить конкретную страницу. Для этого необходимо в поле «Проверка всех URL на ресурсе» вбить интересующий вас УРЛ страницы.

После чего вы увидите одно из сообщений:

Первое сообщение говорит о том, что со страницей все хорошо, она есть в индексе, второе – увы не утешительное, т.к. страница не попала в индекс.

• С помощью поисковых операторов. Наиболее распространенный поисковый оператор – оператор «site:». Это не самый надежный и достоверный источник данных, с его помощью можно увидеть только приблизительное количество страниц в индексе, к тому же он довольно часто показывает недостоверные данные. С помощью этого оператора можно проверять не весь домен, но и только интересующую вас страницу.

• С помощью специальных сервисов. Эти инструменты позволят обходить сайт имитируя обход поискового робота. К таким сервисам относятся: Netpeak Spider, Screaming Frog, LinkChecker, SiteAnalyzer и т.д. Таких сервисов огромное количество в интернет. С помощью таких сервисов можно не только проверить, есть ли страницы в индексе, но получить информацию по кодам ответа, собрать метаданные, увидеть список Canonical, считать метатеги Robots и т.д.Эти сервисы довольно хороши в работе, но они имеют и недостатки: обычно их использование платное, требуется много времени, мощностей ПК для проверки сайта с их помощью

• С помощью сервиса Web Archive. Web Archive – это бесплатный сервис, который хранит в себе архивы страниц сайтов. С его помощью можно отслеживать изменения на странице, в случае потери данных их можно восстановить с веб архива (если конечно имеется кешированная версия страницы в архиве).

Этот сервис прост в работе:

1. Переходим на главную страницу – https://web.archive.org/   
2. Вводим название домена/ сайта/ключевого слова.

• Далее открывается окно с информацией сколько было сделано копий. Информация выводится в календаре по годам. Голубым цветом выделяются даты, когда были созданы копии.

• После выбора интересующей даты и нажатия на нее, вас перебросит на архивную страницу.

Вывод

Мы рассмотрели в статье наиболее распространенные варианты проверки наличия страницы в индексе:

1. С помощью Search Сonsole.
2. С помощью операторов поиска.
3. С помощью специальных сервисов.
4. С помощью сервиса Web Archive.

Запомнить

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

1. В панелях вебмастеров Google и Яндекс.
2. С помощью поискового оператора site:.
3. С помощью плагинов, вроде RDS bar, и букмарклетов.
4. В специальных сервисах, например, Netpeak Spider.

Сайт может плохо индексироваться из-за ошибок на сайте, отсутствия файла sitemap. Также важно проверить, не закрыт ли сайт от индексации с помощью метатега robots, x-robots tag или в robots.txt.

Улучшить индексацию поможет:

• оптимизация и корректная настройка файлов sitemap robots.txt;
• оптимизация скорости загрузки сайта;
• удаление дублей страниц и контента;
• грамотная перелинковка (между страницами и при выводе превью новых страниц на главную);
• промоушен новых страниц в соцсетях;
• регулярное обновление и улучшение контента сайта.

Часто дело не в индексации, а в подходе к оптимизации. Отвечайте на запрос пользователя лучше всех. В таком случае все советы пригодятся вам только для фиксации хорошего результата.