Различия в индексации Яндекса и Google
В данной статье рассмотрим различия в индексации Яндекса и Google и почему в разных поисковиках может быть проиндексировано разное количество страниц. Подписчик спрашивает: «По какой причине в индексе Яндекса и Google количество страниц моего сайта разное? К примеру, в Яндексе 155, а в Google 230. Насколько это плохо? Как определить, почему так случилось? Как исправить?».
Почему необходимо попадание страниц в индекс
Индекс — это некоторая поисковая база, из которой потом поисковая система выбирает старнички, чтобы они участвовали в ранжировании (то есть участвовали в конкуренции за первые места) по тем или иным запросам.
Если страница вылетела из индекса либо в него не попала, то, соответственно, нигде не будет участвовать — и это плохо. Потому что если она хоть как-то худо-бедно в индекс залетела, то какой-нибудь запрос все равно на себя притянет, по нему выйдет. Пусть он даже будет супермикрочастотный, все равно хоть какой-то трафик может на себя собирать.
Потому за этим действительно нужно следить. У каждой поисковой системы существуют разные критерии по добавлению страниц в индекс и сохранении их там.
Есть четкие, например, и Яндекс, и Google выбрасывают дубли, а также страницы, закрытые от индексации тем или иным способом (и это очевидно, вебмастеры сами сказали поисковиком, что их не надо индексировать) и т.д.
Но есть и более мягкие критерии:
В обе эти категории входят страницы, которые по этим «мягким», не всегда понятным критериям не попадают в индекс. И в основном различие в индексации Яндекса или Google относится к этим категориям страниц, которые вылетели и не попали в индекс по неоднозначным критериям.
Особенности индексирования в Яндексе и Google
В Яндексе «недостаточно качественное» поменялось на одтельные два блока — малополезное/малоценное и невостребованное — и две категории как бы объединены, но по факту это 2 разных проблемы.
Первая, когда они малополезны, малоценны — это про их качество: мало контента, либо он настолько некачественный или недостаточный по мнению Яндекса, что из-за этого страница не попадает в индекс. Обычно это карточки товаров без фотографий, документ практически без контента — только заголовок, а больше ничего нет, или заголовок и один комментарий. Вот такие часто вылетают. То есть просто страница настолько проигрывает конкурирующим, что не может быть показана по какому-либо запросу, потому что бесполезна.
А вот вторая часть — невостребованы — это абсолютно про другое. Такая страница не нужна, нет тех запросов, по которым она будет ранжироваться, люди такое не спрашивают, поэтому даже нет смысла ее добавлять. И здесь вопрос в спросе.
Например, у вас есть теговая страница на сайте. И вы берете и добавляете заголовок в Вордстат, можно даже без разметки (кавычек, восклицательных знаков), а просто в широком соответствии. Даже можно регион не выставлять, а выбрать всю страну. И смотрите, а есть ли в таком режиме хоть какой-то мизерный спрос на это. И если хотя бы 10-20 человек так спрашивают, то страницу можно оставлять и под «невостребована» она не попадет. Если там 0, то лучше такую теговую страницу вообще не создавать, не внедряйте искусственную семантику на сайт, это вам только навредит. В ряде случаев это может пройти, но потом все равно такие страницы вылетят и сайту будет плохо.
Иногда, конечно, бывает, что может повезти и получится. Есть опыт, когда сгенерировали всё на всё, немного доделали и оно все-таки зашло — но это довольно редкая ситуация.
В Google нет такой детализации. Данный поисковик не особо любит объяснять, почему он именно так решил и именно эти страницы в категорию «просканировано, но не проиндексировано» отправил. И, в общем, в справке у них это тоже описано довольно абстрактно. В Яндексе тоже раньше про недостаточно качественно толком написано не было, сейчас хоть расписали в новой формулировке, спасибо им за это. А вот у Google четких критериев нет.
Что делать
Таким образом, все отличие в количестве проиндексированных страниц заключается в том, что критерии отличаются у разных поисковиков. Так что вам нужно заходить и в отчет Яндекса по просканивроанным и проиндексирвоанным старницам, смотреть, почему вылетели именно они: недостаточно качественные, дубли или еще какие-то причины, они случайно стали закрыты или не случайно. И обратить внимание, есть ли проблемы, какие, и постараться исправить их: сделать документы более качественными, а если не востребованы (спроса нет), то просто удалить, и в Яндекс и Google они не должны попадать.
И в Google тоже заходить в отчет «просканировано, но не проиндексировано» и смотреть, какие страницы туда попали, затем пробовать их либо прокачать, либо закрыть от индексации.
Поэтому в целом такое отличие, как правило, не несет ничего плохого, но если очень сильно отличается количество страниц, то нужно проверять и там, и там и как-то исправлять.
Сколько страниц в индексе яндекса
Первое условие для успешного продвижения сайта – нахождение его страниц в индексе, то есть базе поисковика. Есть много случаев, когда важные документы там отсутствуют, и пользователи не могут их найти. В результате проект теряет аудиторию.
Прочитав статью, вы узнаете:
- как проверить, какие страницы сайта находятся в индексе Яндекса или Google,
- узнаете способы посмотреть количество документов в базе поисковой системы,
- познакомитесь с полезными SEO-сервисами.
Что такое индекс поисковой системы?
- Документы, которые робот (Crawler) признал низкокачественными или маловостребованными.
- Дубли, неканонические страницы.
- Документы с неуникальным контентом.
- Страницы, закрытые от индексации или отдающие ошибку в коде состояния HTTP (301, 404, 503).
- документы с неуникальным контентом,
- страницы, на которых практически отсутствует контент или с текстом менее 500 символов,
- дубли,
- иногда в туда могут попадать документы с низким ссылочным весом.
Почему важно проверять количество страниц в индексе Яндекса или Google?
- Этот показатель влияет на потенциальный трафик, то есть количество переходов, которое можно получить из поисковых систем. Чем больше документов сайта участвуют в поиске, тем выше шанс получить визиты по разным запросам, особенно низкочастотным.
- Если число страниц в индексе Яндекса и Google сильно отличается, это может говорить о наличии технических проблем, недоработках в структуре, перелинковке, качестве контента. Необходимо проводить аудит и разбираться в ситуации.
- Количество страниц в индексе Яндекса и Google может указывать на масштаб сайта и уровень его авторитетности. Чем шире проект охватывает семантику в нише, тем лучше его могут оценивать алгоритмы. Поэтому имеет смысл проверять этот показатель не только у себя, но и конкурентов.
- В случае интернет-магазинов количество страниц в индексе Яндекса может указывать на широту ассортимента. Это – один из важных показателей, который влияет на оценку коммерческих факторов, а они в свою очередь – на позиции.
Если вы видите, что количество страниц в индексе Яндекса перестало расти, возможно, проект уперся в лимит числа документов, которые могут быть в базе поисковика. Он устанавливается для каждого интернет-проекта и зависит от его масштаба. Данная проблема возникает редко, но на крупных порталах может появиться. В этом случае потребуется закрыть от индексации второстепенные страницы, чтобы более важные попали в базу и участвовали в поиске.
Как узнать, сколько страниц в индексе Яндекса или Google?
Есть несколько способов проверить этот показатель: 1. Введите в поисковую строку запрос: site:URL. Посмотрите пример на скриншоте ниже: Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы – Яндекса или Google в зависимости от того, где вы задаете запрос. Этот способ позволяет узнать число страниц в базе поисковой машины у любого сайта, в том числе конкурента. 2. Проверить количество документов в индексе Google можно в сервисе Google для вебмастеров. Аналогичный сервис в Яндексе – это Яндекс.Вебмастер: в нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра информации потребуется подтвердить права на сайт. Поэтому данный способ не подходит для анализа конкурентов.
| Сервис | Раздел, в котором находится информация о числе проиндексированных страниц |
| Google для вебмастеров | Индекс Google -> Статус индексирования |
| Яндекс.Вебмастер | Индексирование -> Структура сайта |
Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число документов в индексе, но и историю индексации, причины удаления отдельных страниц из базы, дату последнего их посещения роботом. Этот раздел помогает выявлять технические и иные проблемы, которые могут периодически появляться. 3. При помощи онлайн-сервисов, например, многие бесплатные инструменты для проведения SEO-аудитов выводят информацию о количестве документов в индексе.
Как проверить страницу в индексе Яндекса или Google?
Часто вебмастеру требуется узнать, находится в базе поисковика конкретная страница или нет. Самый простой способ – ввести поисковый запрос, состоящий из ее адреса. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе: 
В Яндекс.Вебмастер есть функция, которая позволяет следить за важными страницами, чтобы они не выпадали из поиска. Чтобы добавить URL в список отслеживаемых, зайдите в раздел «Индексирование» -> «Мониторинг важных страниц» и в открывшейся форме добавьте нужные: 
Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор. Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по их количеству. Также сервис позволяет снимать позиции по запросам, проводить группировку и решать другие задачи.
Как вернуть или добавить страницу в индекс?
- Переобход страниц в Яндекс.Вебмастер
- Отправить документ на индексацию в Google
Как ускорить индексацию сайта?
- Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового ресурса в индекс.
- Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и проверять новые материалы на нем.
- Следите за качеством текстов. Они должны быть уникальными, полезными, хорошо оформленными.
- Периодически проводите технический аудит, чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые разделы от роботов.
- Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить ее в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в базу, несмотря на ваши действия. Иногда решить проблему помогает только обращение в службу поддержки Яндекса или на форум Google.
- Если страницы стали вылетать из базы ПС, проверьте ресурс на наличие фильтров, уникальность текстов и техническую сторону его работы.
- Если интернет-ресурс слишком большой, вы можете достигнуть лимита по числу документов в индексе (он есть для каждого ресурса). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные оставались в поиске.
- Как снять позиции сайта в Яндексе и Google? Список полезных сервисов
- Что такое уникальность текста и сколько процентов допустимо при проверке данного показателя?
- Как сократить время ответа сервера?
Как определить сколько страниц проиндексировано в Яндекс и Google?
В поисковой строке Яндекс или Гугл нужно набрать запрос следующего типа: site:домен.рф, где домен.рф – это адрес интересующего вас сайта. Например:
Проверка количества страниц в поисковой выдаче Яндекс с помощью запроса
Такой же запрос действует и в Google:
Проверка количества проиндексированных страниц в Goggle с помощью специального запроса
Гугл обычно показывает в поиске больше результатов. Это связано с тем, что Google быстрее добавляет новые страницы в поисковую выдачу.
Статистика индексирования в консоли вебмастера Яндекс и Google
Статистику индексирования и количество страниц можно посмотреть в консоли вебмастера:
Проверка количества проиндексированных страниц в консоли вебмастера
По данным консоли в поиске Яндекс 126 страниц, а с помощью запроса мы обнаружили 129. По данным техподдержки Яндекса – значение, которое мы видим в поиске – достовернее. А разница в количестве страниц может зависеть от настроек браузера, типа устройства и проведения работ на стороне Яндекса.
Также можно обратить внимание, что поисковой системой загружено больше страниц, чем добавлено в поиск. Загруженные страницы – это все страницы сайта, о которых известно поисковой систем, страницы в поиске – это все, что выводится в поиск.
Страницы, которые не попадают в поиск:
- Дубликаты,
- Заспамленные страницы,
- Закрытые от индексирования.
- Содержащие бесполезный контент.
Как проверить проиндексированность конкретной страницы?
В Яндексе можно использовать поисковый оператор «url:». После двоеточия нужно указать полную ссылку страницы:
Как узнать проиндексирована ли страница в Яндексе?
В Яндексе оператор URL позволяет также проверять проиндексированность отдельных разделов сайта. Для этого нужно набрать в строке поиска такую конструкцию – url:домен.рф/раздел1/* — звездочка обозначает любое количество любых символов, поэтому в ответ на такой запрос Яндекс отобразить все страницы, ссылки которых начинаются на домен.рф/раздел1/, т.е. отобразить все проиндексированные страницы в первом разделе.
Чтобы определить проиндексирована ли страница в Google, нужно воспользоваться оператором «site:», а после двоеточия указать полную ссылку на страницу:
Проверка индексации страницы в Google
Следите за тем, чтобы количество страниц в поиске Яндекс и Google было примерно одинаковым. Поисковые системы использую разные алгоритмы, поэтому разница в индексе может достигать 10-15%. Если у вас разница больше, нужно провести SEO-аудит и выяснить причину.
Поисковая оптимизация сайта на WIX
Продвижение сайта на WIX вполне реально. Конструктор соответствует минимальным требованиям для базовой оптимизации. При правильном подходе возможно вывести сайт на WIX в топ
Какую CMS лучше выбрать для интернет-магазина?
Выбор правильного движка для интернет-магазина отразиться на работе сайта, поисковой оптимизации, удобстве проекта для пользователей и бюджете на разработку
Что такое движок сайта?
Движок сайта – это программное обеспечение, которое позволяет управлять контентом сайта без знания языков программирования
Что такое посадочная страница?
Посадочная страница – это страница входа посетителей на ваш сайт, спроектированная таким образом, чтобы получать максимум заявок от посетителей
Базовый аудит рекламных кампаний в Яндекс Директ
Быстрый аудит рекламных кампаний в Яндекс Директе можно использовать в качестве проверки профессионализма агентства или фрилансера, который настраивал рекламу
Настройка корректировки ставок в системе контекстной рекламы Яндекс Директ
Корректировка ставок в Яндекс Директ позволяет уменьшать или увеличивать стоимость клика в зависимости от признаков целевой аудитории. Правильная корректировка ставок в Директе
Бесплатная консультация
Мы создаем и раскручиваем сайты, ведем аналитику и размещаем рекламу в интернете. Задайте нам вопрос по любой из этих тем
Индексация сайта: что такое, как работает, как использовать
Отвечаем на подробный вопрос пользователей — как проверить, сколько страниц проиндексировано в поисковых системах, и что делать, чтобы ускорить индексацию.
Для многих наших клиентов индексация сайта — это что-то из разряда фантастики. Они привыкли, что маркетологи как-то сами справляются с продвижением сайта и иногда у них даже получается. Однак ведение блога компании это еще не все. В этом материале расскажем, что такое индексация сайта и как выяснить, сколько страниц проиндексировано.
Что такое индексация сайта
Индексация помогает сайту или странице появляться в результатах поисковых систем, что обычно приводит к ранжированию и привлечению трафика.
Индексация веб-сайта — это процесс, который поисковые системы используют для понимания функций вашего веб-сайта и каждой страницы на этом сайте. Это помогает поисковикам Google или Яндекс найти сайт, добавить его в свой индекс, связать каждую страницу с поисковыми запросами, вернуть этот сайт на страницы результатов поиска и привлечь к вашему контенту нужных людей.
Почему индексация так важна для продвижения
То, что вы видите в поисковой системе, — это не интернет. Это индекс поисковой системы в Интернете. Это важно, потому что не каждая страница, которую вы публикуете, гарантированно привлечет внимание поисковой системы.
Как владелец сайта, вам нужно сделать несколько вещей, чтобы добавить его в этот индекс. Наличие проиндексированных страниц гарантирует, что ваш сайт сможет появляться в результатах поисковой системы.
Например, если сайт посвящен сетям B2B, продвинуть его могут ключевые слова «бизнес для бизнеса» и «сеть». Они помогут поисковой системе понять, как контент соотносится с этими поисковыми запросами. Помните, что актуальность контента, а также то, какие страницы ссылаются на него — играют ключевую роль в способности поисковой системы найти и проиндексировать ваш сайт.
Как происходит индексация сайта в Яндексе и в Google
Поисковые системы индексируют веб-сайты, которые имеют несколько ключевых компонентов. Взгляните на них ниже:
- Соответствует популярным поисковым запросам.
- Легко перемещается для создания домашней страницы сайта.
- Ссылается с других страниц в домене вашего сайта и за его пределами.
- Не является «заблокированным» от индексации с использованием определенных метатегов.
Это связано с тем, что ключевые слова похожи на пинг для поисковой системы: они говорят ей, о чем ваш контент, в нескольких словах, которые могут быть переданы обратно поисковым запросам.
Как проверить индексацию сайта
Внешняя оптимизация сайта, а именно ее качество, зависит от количества проиндексированных страниц. Чтобы провести анализ индексации сайта поисковыми системами, введите URL-адрес вашего домена, поставив перед ним тег site:. Например, site:mywebsite.com.
Результаты показывают сколько страниц вашего сайта проиндексировано, и текущие метатеги, сохраненные в индексе поисковой системы. Если ни одна из ваших страниц не отображается, значит, что сайт еще не проиндексирован. Этим способом можно проверить индексацию в Яндексе, так и в Google.
Как ускорить индексацию сайта
Добавьте ссылки на сайты с высокой посещаемостью. Лучшее, что вы можете сделать для индексации сайта в поисковых системах, — это увеличить количество ссылок, указывающих на вашу домашнюю страницу или на страницу, которую вы хотите проиндексировать. Количество входящих ссылок и PageRank домена напрямую влияют как на общее количество проиндексированных страниц веб-сайта, так и на скорость индексации сайта в Яндексе и Google
Используйте карты сайта XML и HTML. Теоретически поисковые системы могут извлекать ссылки со страницы и переходить по ним без вашей помощи. Тем не менее, настоятельно рекомендуется использовать карты сайта XML или HTML, поскольку доказано, что они могут помочь в процессе индексации. После создания XML-файлов Sitemap убедитесь, что вы отправили их в консоли для веб-мастеров различных поисковых систем и включили их в robots.txt. Поэтому убедитесь, что вы обновляете свои карты сайта и повторно отправляете их, когда на вашем сайте происходят серьезные изменения.
Измените скорость сканирования. Еще один способ уменьшить время индексации сайта в Google — изменить скорость сканирования из консоли инструментов Google для веб-мастеров. Установка скорости сканирования на «быстрее» позволит роботу Googlebot сканировать больше страниц, но, к сожалению, это также увеличит генерируемый трафик на вашем сервере.
Если вы еще только раздумываете о том, чтобы заказать сайт Казань, рекомендуем проконсультироваться с нашими специалистами.
Сайт, находящийся на первых строчках в выдаче поисковых систем, приносит компании максимум прибыли. Продвижение сайтов в Google и Yandex разрабатывается на основе данных, полученных в результате аудита. Комплексное создание сайтов с дальнейшим продвижением в поисковых системах дает возможность уже на этапе разработки начать продвигать сайт!
Оставьте заявку на SEO-аудит вашего сайта
Получите скидку 15% на месяц продвижения