Как узнать какие страницы проиндексированы. Быстрый способ проверить индексацию страниц в Яндексе и Google. Сколько страниц проиндексировано Google

Большинство оптимизаторов используют для проверки сайта на индексацию браузерные бары вроде RDS-bar и других.

Все бары берут эти данные из выдачи поисковых систем c помощью различных операторов и просто «подтягивают» в свой интерфейс.

Но стоит учитывать что данные, полученные таким способом не точные, так как поисковые системы не отдают корректные данные об индексации для больших сайтов. По картинкам выше можно заметить расхождения в данных даже для маленького сайта. Для больших сайтов (начиная от 10 000 страниц) данные по индексации могут очень сильно искажаться!

Как же корректно проверить сайт на индексацию, чтобы данные были точными?

В отличие от сайта целиком, поисковые системы выдают точные данные об индексации каждой конкретной страницы. Следовательно, необходимо взять все нужные страницы сайта и проверить индексацию каждой из них по отдельности, а затем свести все данные вместе для получения целостной картины индексации всего сайта. Это верно как для Яндекса, так и для Гугла.

Массовая проверка страниц сайта
на индексацию в Яндекс и Google
от Rush Analytics

Большинство онлайн сервисов по проверке индексации дают возможность проверить небольшое количество страниц - от 10 до 100. А что делать, если нужно проверить на индексацию большой интернет-магазин или портал размером 100 000 или несколько миллионов страниц? Для задач такого масштаба в Rush Analytics был запущен модуль проверки индексации в Яндексе и Гугле. Основные преимущества и возможности данного модуля:

• Удобная пакетная загрузка страниц на проверку индексации тремя способами:

а) С помощью списка URL
б) С помощью файла, поддерживаются форматы xls, xlsx, xml
в) С помощью файла Sitemap.xml – просто укажите путь к карте сайта, мы сами спарсим ее, достанем оттуда URL и пробьем их на индексацию!

• Неограниченное количество URL на проверку – вы можете за раз проверить на индексацию от одной, до нескольких миллионов страниц!
• Доступна проверка индексации как в Яндексе, так и в Гугле: вы можете отправить свои страницы на проверку только в одной поисковой системе или в обоих сразу, достаточно поставить всего одну галку
• Удобная выгрузка в Excel. Вы можете просматривать данные как в веб-версии сервиса, так и быстро выгрузить их файлом

У нас предусмотрены особые условия для больших сайтов и порталов. Если у вас есть потребность в разовой или постоянной проверке на индексацию в Яндекс и Google от 200 000 страниц, напишите нам в поддержку на

Рассмотрим вопрос как определить количество проиндексированных страниц в поисковых системах. Сделать это можно разными путями. Что такое индекс можете прочитать в статье индекс поисковой машины .

Информация о количестве страниц в индексе является открытой и доступной для всех. Так что любой вебмастер может проверить абсолютно любой сайт.

1. Сколько страниц проиндексировано Яндексом

1.1. Через запросы в Яндексе

Заходим на главную страницу Яндекса (yandex.ru или ya.ru) и вбиваем в поиске запрос:

site : www.site.ru | url:site.ru или host : www.site.ru | url:site.ru

В ответе Яндекс выдаст количество проиндексированных страниц:

1.2. Через панель Яндекс Вебмастер

В панели webmaster.yandex.ru есть специальная вкладка проиндексированные страницы:

Здесь же можно посмотреть количество страниц известных роботу, количество исключенных страниц и дату последнего посещения роботом сайта. Однако стоит отметить, что воспользоваться Яндекс Вебмастером могут только владельцы сайтов, поскольку это "частная" информация.

2. Сколько страниц проиндексировано Google

2.1. Через запросы в Гугле

Как и в Яндексе, в Google есть специальный запрос, который выводит все известные страницы сайта. Заходим на главную страницу google.ru и вводим:

site :site.ru

Такой запрос отобразит все известные страницы. Чтобы узнать какие страницы попали в так называемый "основной индекс" в конце запроса нужно дописать амперсант:

site :site.ru/&

2.2. Через панель Google Webmaster

В панели google.com/webmaster есть специальная вкладка "Индекс Google" -> "Статус индексирования":

Помимо рассмотренных способов так же есть универсальные методы.

3. Универсальные методы

3.1. Узнать индексацию через специальные сервисы

Специальными сервисами я называю множество различных систем аналитики. Например, самими популярными являются:

Здесь можно получить информацию об количестве проиндексированных страниц сразу в несколько поисковых системах.

Индекс поисковой системы — база данных, которая хранит информацию о веб-документах. Назначение этого «хранилища» очевидно — используя базу данных, поисковик может быстро и точно вычислять значения факторов ранжирования, численное значение релевантности URL по запросу пользователя и формировать результаты выдачи.

Для SEO-специалистов и владельцев сайтов это означает одно — сколько страниц проиндексировано, столько документов и может быть найдено в результатах выдачи по целевым запросам и столько же URL может привлекать трафик.

Как быстро проверить индексацию в Яндексе и Google?

Способов и сервисов проверки индексации страниц достаточно много и у нас есть три инструмента, которые показывают количество документов в индексе по домену:

Просто укажите домен в любом из них. Инструмент поможет проверить сайт на индексацию и подскажет сколько документов в базе данных Google и Яндекс, с учётом поддоменов или без них:

Поисковые операторы для проверки индексации

Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:» , «host:» и «url:» .

Для Google — «site:» , «inurl:» и «info:» .

В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:

Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.

Вебмастер и Search Console

В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:

Проверить индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, исключенных страниц и график показов:

Возможный контроль индексации

Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:

Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.

Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:

• С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.

  Crawl delay — задаёт минимальное время обращения робота к серверу для избежания нагрузок на сайт.

  Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.

Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию , отслеживайте изменения и удачных позиций в выдаче!

Задайте вопрос или оставьте комментарий

Время чтения: 11 минут(ы)

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Для анализа список страниц можно скачать из сервиса файлом в форматах.xls и.csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google , вводим url сайта и нажимаем кнопку «Добавить ресурс».

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

ссылке

Установить расширение вы можете по ссылке

4. Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате.txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name="robots" content="noindex, nofollow" />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле.htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.

Выводы SEO-специалиста Веб-центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.

Подробно эту тему мы разобрали в видео на нашем Ютуб-канале

Если вы последовательно читаете мой мануал, то в прошлой статье узнали, как можно ускорить индексацию сайта .

Теперь нам надо это процесс контролировать. Т.е. следить за страницами, какие попадают в индекс, а какие нет. Осуществить проверку индексации сайта не сложно. Для этого есть два решения: ручной метод и специальный seo-софт.

В первую очередь можно воспользоваться системой автоматического продвижения SeoPult . Система конечно платная, НО много информации по своему сайту можно посмотреть бесплатно! В частности, какие страницы проиндексированы, посмотреть релеватные запросы, советы по оптимизации страниц и много другой и полезной информации. Советую по чаще туда заглядывать.

Так же, можно воспользоваться бесплатной программой Site-Auditor от Ашманова. Как я сказал, она бесплатная, периодически обновляется и вполне справляется с этой задачей. Что бы проверить индексацию сайта через программу Site-Auditor, скачиваем ее с официального сайта. Запускаем софт и в меню «экспресс анализ» вбиваем наш урл, жмем «проверить».

Прога выдает нам количество страниц в индексе Яндекс и Google. Нажав на эти цифры мы попадем в выдачу ПС, где и будут наши проиндексированные страницы. Такую же проверку можно сделать, если у вас есть программа Yazzle , которой мы оценивали конкурентов.

Но бывают случаи, когда подобный анализ не совсем удобен или невозможно сделать. Например ПС обновили что-то и софт перестал работать (пока его не обновят), а вам надо срочно проверить. Или, что чаще, надо проверить индексацию конкретной страницы, а в общем списке искать не всегда удобно. Тут и поможет второй (ручной) способ.

Проверка индексации сайта в Яндексе

Проверить индексацию своего сайта в Яндексе можно в панели вебмастера webmaster.yandex.ru/ . Но для этого сайт придется добавить в эту панель и подтвердить права на сайт. Без регистрации, увы, он не покажет все данные по индексации. Вот раздел с данными по индексации в панеле вебмастера.

Там вы сможете посмотреть индексацию страниц за последнюю неделю, за 2 недели и за все время.

Индексацию отдельной страницы в Яндексе проще всего в самом поиске. Тупо вбиваем страницу в строку поиска и жмем найти. Если она в индексе, Яндекс покажет ее сниппет. Если ее нет, соответственно не покажет.

Там же, если нажать зеленую стрелочку рядом с url станицы, мы сможет посмотреть сохраненную копию документа. Это та версия страницы, которая хранится в данный момент в кэше Яндекса. В кеше содержится очень важная информация — дата, когда робот последний раз посещал ваш сайт. Всегда можно глянуть в кэше, учел Яндекс или Гугл ваши последние изменения на странице или нет.

Проверка индексации сайта в Google

Что бы проверить, как ваш сайт проиндексировал Google достаточно в поисковой строке ввести специальную команду

site:имя_сайта.домен

Гугл покажет, сколько страниц в индексе. А по зеленой стрелочке (как и в Яндексе) можно посмотреть сохраненную копию страницы (содержимое кеша). Где вы увидите текущую версию страницы в базе Google. Отдельную страницу также можно глянуть просто вбив ее в поисковую строку.

Проверка индексации сайта в Rambler

Индексацию в Рамблере в данный момент можно проверить только одним путем – вбить урл в строку поиска. Там же можно посмотреть, что находится в кэше. Для этого надо нажать «копия».