Как проверить индексацию сайта в Google и Яндекс: полное руководство

2026-03-30 · CheckSEO

Как проверить индексацию сайта в Google и Яндекс: полное руководство

Вы опубликовали новую страницу, прошла неделя, а трафика из поиска нет. Знакомая ситуация? Скорее всего, страница просто не попала в индекс поисковой системы. Без индексации ваш контент невидим для пользователей, какой бы качественный он ни был.

В этом руководстве мы разберём все способы проверки индексации в Google и Яндекс, разберём типичные причины деиндексации и дадим конкретные инструкции по ускорению попадания страниц в поисковую выдачу.

Что такое индексация и почему она критически важна

Индексация --- это процесс, при котором поисковые роботы (Googlebot, YandexBot) сканируют страницы вашего сайта и добавляют их в свою базу данных --- поисковый индекс. Только проиндексированные страницы могут появляться в результатах поиска.

Процесс работает в три этапа:

Краулинг (сканирование) --- робот обнаруживает URL и загружает содержимое страницы.
Обработка и рендеринг --- поисковая система анализирует HTML, выполняет JavaScript, извлекает контент.
Индексация --- страница добавляется в индекс и становится доступна для ранжирования.

Если хотя бы один этап нарушен, страница не попадёт в выдачу. По данным исследований, до 30% страниц на среднестатистическом сайте имеют проблемы с индексацией, о которых владельцы даже не подозревают.

Как проверить индексацию через оператор site:

Самый быстрый способ проверки --- оператор site: прямо в поисковой строке. Он показывает все страницы домена, которые находятся в индексе.

Google

Введите в поисковую строку Google:

site:example.com

Google покажет приблизительное количество проиндексированных страниц и список URL. Для проверки конкретной страницы используйте полный адрес:

site:example.com/blog/moya-statya/

Если страница не найдена --- она отсутствует в индексе.

Яндекс

Аналогично, в строке Яндекса:

site:example.com

Яндекс также покажет количество найденных документов. Обратите внимание: цифры в Google и Яндекс могут существенно отличаться --- это нормально, так как каждая поисковая система имеет собственные алгоритмы краулинга.

Совет: Сравните количество проиндексированных страниц с общим числом страниц на сайте (его можно узнать из sitemap.xml). Если разница больше 20--30%, стоит разбираться в причинах.

Проверка через Google Search Console

Google Search Console (GSC) --- главный инструмент для анализа индексации в Google. Он даёт точные данные, а не приблизительные оценки.

Отчёт «Страницы» (бывший «Покрытие»)

Перейдите в GSC в раздел Индексирование > Страницы. Здесь вы увидите четыре категории:

Проиндексировано --- страницы в индексе, всё в порядке.
Не проиндексировано --- страницы, которые Google обнаружил, но не добавил в индекс.
Ошибки --- страницы с техническими проблемами (5xx, redirect loops и др.).

Для каждой непроиндексированной страницы Google указывает причину. Наиболее частые:

«Обнаружено --- в настоящее время не проиндексировано» --- Google знает о странице, но ещё не краулил.
«Просканировано --- в настоящее время не проиндексировано» --- Google загрузил страницу, но посчитал её недостаточно качественной для индексации.
«Исключено с помощью тега noindex» --- вы сами закрыли страницу от индексации.
«Альтернативная страница с надлежащим каноническим тегом» --- Google выбрал другой URL в качестве канонического.

Инструмент проверки URL

Для проверки конкретной страницы введите её URL в поле поиска вверху GSC. Инструмент покажет:

Статус индексации (проиндексирована / не проиндексирована).
Дату последнего краулинга.
Канонический URL, который выбрал Google.
Результат сканирования мобильным агентом.

Здесь же можно запросить повторную индексацию кнопкой «Запросить индексирование».

Проверка через Яндекс.Вебмастер

Для Яндекса основной инструмент --- Яндекс.Вебмастер.

Раздел «Индексирование > Страницы в поиске»

Здесь отображается общее количество страниц, попавших в поиск Яндекса, с динамикой по дням. График помогает отслеживать резкие падения, которые могут сигнализировать о проблемах.

Раздел «Индексирование > Статистика обхода»

Показывает, сколько страниц робот обходит ежедневно, какие коды ответа получает (200, 301, 404, 500) и среднее время ответа сервера.

Проверка конкретного URL

В разделе «Инструменты > Проверить URL» введите адрес страницы. Яндекс покажет:

Есть ли страница в индексе.
HTTP-код ответа.
Дату последнего визита робота.
Наличие мета-тегов noindex/nofollow.

Раздел «Исключённые страницы»

Отдельный список страниц, которые робот посетил, но не включил в индекс, с указанием причин.

Массовая проверка URL

Когда на сайте сотни или тысячи страниц, ручная проверка каждого URL нереальна. Вот инструменты для массовой проверки:

Google Search Console API позволяет программно запрашивать статус индексации. Это удобно для интеграции с системами мониторинга.

Скрипты на Python с использованием библиотек вроде requests и beautifulsoup4 могут автоматически проверять, отдаёт ли каждая страница корректный HTTP-код и не содержит ли мета-тег noindex.

Crawl-инструменты (Screaming Frog, Sitebulb) выполняют полное сканирование сайта и выявляют все страницы с потенциальными проблемами индексации: noindex, canonical на другой URL, коды 4xx/5xx, редиректы.

CheckSEO включает автоматическую проверку индексации в рамках SEO-аудита, сканируя все URL из sitemap и выявляя расхождения между тем, что должно быть в индексе, и тем, что реально проиндексировано.

Причины деиндексации: почему страницы выпадают из индекса

Понимание причин --- ключ к решению проблемы. Рассмотрим наиболее распространённые.

Мета-тег noindex

Тег <meta name="robots" content="noindex"> или HTTP-заголовок X-Robots-Tag: noindex явно запрещает индексацию. Это может быть установлено намеренно или по ошибке --- например, если на боевой сервер перенесли настройки с тестового окружения.

Что делать: Проверьте HTML-код страницы и HTTP-заголовки. Убедитесь, что noindex установлен только на тех страницах, где он действительно нужен (личный кабинет, результаты поиска по сайту, страницы с дублирующим контентом).

Некорректный canonical

Тег <link rel="canonical">, указывающий на другой URL, сообщает поисковику, что основной версией страницы является другая. Если canonical настроен ошибочно, ваша страница не попадёт в индекс.

Что делать: Каждая самостоятельная страница должна иметь self-referencing canonical --- ссылку на саму себя. Проверьте, нет ли массовых canonical на главную или на несуществующие URL.

Soft 404

Страница возвращает HTTP 200, но по содержимому является пустой или содержит текст «Страница не найдена». Google умеет распознавать такие ситуации и помечает страницы как Soft 404.

Что делать: Настоящие страницы 404 должны возвращать HTTP-код 404. Удалённые страницы с ценным контентом лучше редиректить (301) на релевантную замену.

Crawl Budget (бюджет краулинга)

Каждый сайт имеет ограниченный бюджет краулинга --- количество страниц, которые робот готов обходить за определённое время. Если на сайте много технического мусора (параметрические URL, дубли, пагинации), робот тратит бюджет на ненужные страницы и не добирается до важных.

Что делать: Закройте от краулинга ненужные разделы через robots.txt. Используйте noindex, follow для страниц фильтров и сортировок. Оптимизируйте внутреннюю перелинковку, чтобы важные страницы были доступны за 2--3 клика от главной.

Низкое качество контента

Google и Яндекс могут отказать в индексации страницам с тонким (thin) контентом, дублями или сгенерированным текстом без добавленной ценности. Статус «Просканировано --- в настоящее время не проиндексировано» в GSC часто указывает именно на эту проблему.

Что делать: Добавьте уникальный, полезный контент. Объедините дублирующиеся страницы. Убедитесь, что каждая страница отвечает на конкретный поисковый запрос.

Ошибки сервера (5xx)

Если при обращении робота сервер возвращает ошибку 500, 502 или 503, страница не будет проиндексирована. При повторяющихся ошибках поисковик может временно снизить частоту обхода всего сайта.

Что делать: Мониторьте серверные логи и время ответа. Настройте алерты на 5xx-ошибки. Убедитесь, что сервер справляется с нагрузкой, особенно при пиковых обходах роботов.

Как ускорить индексацию

Когда проблемы устранены, хочется, чтобы страницы попали в индекс как можно быстрее. Вот проверенные способы.

Протокол IndexNow

IndexNow --- протокол мгновенного уведомления поисковых систем об изменениях на сайте. Поддерживается Яндексом и Bing. Вместо ожидания краулера вы отправляете HTTP-запрос с URL изменённой страницы, и поисковик приоритетно её обрабатывает.

Отправка запроса:

https://yandex.com/indexnow?url=https://example.com/new-page/&key=YOUR_KEY

Google пока не поддерживает IndexNow официально, но ведёт эксперименты. Для Google используйте другие методы.

Обновление Sitemap.xml

Убедитесь, что ваш sitemap.xml содержит все страницы, которые должны быть проиндексированы, и не содержит тех, которые не должны. Обновляйте тег <lastmod> при реальных изменениях контента.

Отправьте sitemap через Google Search Console (раздел Файлы Sitemap) и через Яндекс.Вебмастер (раздел Инструменты > Анализ файлов Sitemap).

Запрос индексации в Google Search Console

Используйте инструмент «Проверка URL» в GSC и нажмите «Запросить индексирование». Google ставит URL в приоритетную очередь на краулинг. Лимит --- несколько десятков запросов в день, поэтому используйте для самых важных страниц.

Внутренние ссылки

Роботы обнаруживают новые страницы в первую очередь через ссылки. Если новая страница не имеет внутренних ссылок, робот может её просто не найти.

Добавьте ссылки на новую страницу:

С тематически связанных страниц сайта.
Из раздела «Похожие статьи» или «Читайте также».
Из навигации или хлебных крошек, если это раздел сайта.

Хорошая практика --- обновить 3--5 существующих страниц, добавив на них ссылки на новую публикацию.

Социальные сигналы и внешние ссылки

Публикация ссылки на новую страницу в социальных сетях, на форумах или в тематических сообществах помогает роботам быстрее её обнаружить. Это не гарантирует мгновенную индексацию, но ускоряет процесс.

Мониторинг индексации: как не пропустить проблемы

Одноразовая проверка --- это хорошо, но реальную ценность даёт постоянный мониторинг.

Настройте оповещения в GSC. Google Search Console автоматически отправляет email-уведомления при обнаружении критических проблем с индексацией.

Отслеживайте динамику. Еженедельно проверяйте, не уменьшается ли количество проиндексированных страниц. Резкое падение --- сигнал о серьёзной проблеме.

Проверяйте новые страницы. После публикации нового контента проверяйте его индексацию через 3--7 дней. Если страница не появилась --- разбирайтесь в причинах.

Автоматизируйте. Ручной мониторинг десятков или сотен URL --- утомительное занятие. Используйте инструменты автоматической проверки, чтобы получать отчёты без рутинной работы.

Как CheckSEO помогает с индексацией

CheckSEO автоматизирует проверку индексации в рамках комплексного SEO-аудита. Система сканирует все URL из вашего sitemap, проверяет наличие мета-тегов noindex и canonical, анализирует HTTP-коды ответа и сравнивает реальную индексацию с ожидаемой.

Вы получаете понятный отчёт с приоритезированным списком проблем и конкретными рекомендациями по каждой странице --- без необходимости вручную проверять каждый URL.

Запустите бесплатный SEO-аудит на CheckSEO.site и узнайте, сколько страниц вашего сайта действительно проиндексировано, а сколько --- невидимы для поисковых систем.

Как проверить индексацию сайта в Google и Яндекс: полное руководство

Что такое индексация и почему она критически важна

Как проверить индексацию через оператор site:

Google

Яндекс

Проверка через Google Search Console

Отчёт «Страницы» (бывший «Покрытие»)

Инструмент проверки URL

Проверка через Яндекс.Вебмастер

Раздел «Индексирование > Страницы в поиске»

Раздел «Индексирование > Статистика обхода»

Проверка конкретного URL

Раздел «Исключённые страницы»

Массовая проверка URL

Причины деиндексации: почему страницы выпадают из индекса

Мета-тег noindex

Некорректный canonical

Soft 404

Crawl Budget (бюджет краулинга)

Низкое качество контента

Ошибки сервера (5xx)

Как ускорить индексацию

Протокол IndexNow

Обновление Sitemap.xml

Запрос индексации в Google Search Console

Внутренние ссылки

Социальные сигналы и внешние ссылки

Мониторинг индексации: как не пропустить проблемы

Как CheckSEO помогает с индексацией

Источники