Как часто яндекс индексирует сайты

12 причин, почему Google и Яндекс не индексирует ваш сайт

Больше полезных статей, кейсов и мануалов. Подпишись на обновления!

Без нормальной индексации сайта – поисковое продвижение в принципе невозможно.

Первое, что нужно сделать – это проиндексировать сайт и сделать так, чтобы новый контент на нем быстро индексировался поисковиками.

В данной статье мы рассмотрим 12 причин, по которым у вашего сайта могут быть проблемы с индексацией в поисковых системах Google и Яндекс .

Переходим к причинам:

1. Google и Яндекс пока не нашел ваш сайт

Такое случается в том случае, если вы только что выложили свой сайт и ничего не делали для того, чтобы поисковые системы его заметили.

В таком случае не стоит ожидать быстрой индексации. Но это легко можно поправить.

Для этого нужно сделать:

• Добавить сайт в поисковые системы (Add url)
• Добавить сайт в Google и Яндекс вебмастер

Статьи в тему:

После чего, нужно немного подождать и ваш сайт должен проиндесироваться. Обычно это занимает от пару часов, до пару дней и более.

2. Сайт или страницы закрыты в robots.txt

Это часто бывает причиной, которую не учитывают разработчики и выкатывают сайт закрытым от индексации в файле robots.txt. Но такое легко можно поправить.

Если у вас не много технических разделов, то можно обойтись и таким robots.txt:

Но если на сайте нужно много чего закрывать, то:

• читаем статью по ссылке выше
• закрываем только те разделы, что не нужно индексировать
• оставляем для индексации все остальное

Тогда все с вашим сайтом должно быть нормально.

3. Включены приватные настройки

Если вы используете систему управления сайта WordPress, то по умолчанию могут стоять приватные настройки. Это действительно может быть причиной того, что сайт до сих пор не проиндексирован.

Для этого нужно зайти в:

• Настройки
• Чтение
• Видимость для поисковых систем
• Убрать галочку

Многие забывают убрать эту галочку и потом не могут понять, в чем же причина не индексации сайта.

4. Сайт закрыт от индексации в noindex в мета тегах

Индексацию контента или страницы так же можно закрыть с помощью мета тега. Выглядит он так:

Все что нужно:

• проверить код на наличие такого тега и что в нем прописано
• убрать строку кода
• или просто сделать follow и index

Пример:

Из нашей практики встречались и такие сайты, на которых это было причиной индексации.

5. Ошибки сканирования

Если возникает много ошибок при сканировании, то поисковый бот просто может не дойти до нужных страниц.

Чтобы это проверить:

• Заходим в Google Webmaster Tools
• Сканирование
• Ошибки сканирования

Если есть какие-то критические ошибки. Просто нужно их исправить и все будет хорошо.

6. Сайт заблокирован в .htaccess

В этом файле обычно прописывается 301 редирект. Но в нем, так же можно закрыть от индексации поисковыми системами.

Для того, чтобы это проверить:

• находим на сервере файл .htaccess
• в коде смотрим, чтобы не был закрыт сайт

Это может быть причиной, но многие даже не думаю в этом направлении. А как вариант не стоит исключать.

7. Хостинг или сервер работает не стабильно

Если в момент, когда поисковый бот пришел на сайт индексировать страницы, сайт не доступен, то это может быть причиной не индексации.

Как минимум стоит позаботиться о том, чтобы up time у вашего сервера был хорошим и хостинг стабильным.

Сервисов, которые позволяет это проконтролировать множество. Если нужно бесплатно, то Яндекс Метрика оповещает о том, когда сайт не доступен.

Как я сказал, сервисов множество, вводим в поиск uptime checker и получаем множество результатов сервисов. А дальше выбираем на вкус и цвет.

8. Проблемы с AJAX/JavaScript

Не секрет, что Google индексирует AJAX и JavaScript. Вот ссылка для разработчиков с инструкцией: https://support.google.com/webmasters/answer/174992

Но на данный момент поисковая система индексирует эти языки не так легко и просто как HTML.

В случае, если вы не правильно настроили все для поиска в AJAX и JavaScript, то Google не проиндексирует ваш сайт и страницы.

Вот полезная информация из справки Гугла на этот счет: https://support.google.com/webmasters/answer/174993

9. У вас на сайте много дублированного контента

Если на сайте много дублированного контента, как:

То во первых можно получить санкции от Google Панды. Во вторых это может быть причиной того, что сайт не индексируется.

Статьи в тему:

На эту причину стоит обращать внимание. Так как сейчас это № 1 причина, за которые можно получить санкции и сложности в дальнейшей раскрутке сайта.

10. Очень медленная скорость загрузки сайта

Скорость загрузки сайта влияет на позиции и это один из факторов ранжирования. Поэтому если ваш сайт грузиться очень долго, то вполне вероятно, что он не будет нормально индексироваться.

После чего, нужно учесть все моменты со скоростью загрузки и сделать ее очень быстрой.

11. Ваш домен ранее был забанен

Такое часто случается. Когда:

• регистрируешь хороший и звучный домен
• по обратным ссылкам все нормально
• делаешь хороший сайт с нормальным дизайном
• наполняешь уникальным и толковым контентом
• а он не хочет никак индексироваться

В таком случае дела не очень хороши. Но все равно это можно поправить. А именно:

• написать запрос на пересмотр (если Яндекс, узнать в чем причина)
• написать на форуме Google (постараться узнать в чем причина)
• развивать проект

Но по опыту скажу. Если домен не лезет в течении 3-4 месяцев нормально. То лучше развивать проект на другом домене. Как минимум это будет быстрее и на порядок проще.

12. У вас нет sitemap на сайте

Это очень редко может быть причиной. Но все же может быть. Поэтому нужно сделать карту сайта и добавить ее как Google вебмастер, так и в Яндекс вебмастер.

В заключение

Индексация сайта важнейший момент для поискового продвижения сайта. Поэтому сначала нужно найти причину, понимать следствия. В итоге не допускать того, чтобы с индексацией сайта были проблемы.

Хорошие статьи по индексации сайта в помощь:

А что вы думаете про причины не индексации или плохой индексации сайта?

PS: если вы перепробовали все причины и сайт не индексируется, то однозначно стоит писать в поддержку поисковых систем и узнавать причину у них.

Сколько времени индексируется сайт?

Как известно, сделать понятный, красивый и интересный сайт – это только полдела. Остальная работа – добиться высокой посещаемости. В начале существования сайта основная масса посетителей приходит на него из популярных поисковых систем.

Итак, сайт создан, выложен на хостинг, наполняется информацией. Владелец ведет над ним непрерывную работу, а посещаемость все равно не растет. Сайта нет в результатах выдачи Google и Yandex? Это непосредственно связано с тем, что поисковики не сразу индексируют новый сайт, а через определенный промежуток времени. Как долго ждать посетителей? Сколько времени индексируется сайт в Google и «Яндекс»?

Для начала нужно разобраться, от чего вообще зависит скорость индексации сайта. Как показывает практика, на нее влияют следующие факторы:

• движок сайта;
• возраст домена и доменная зона;
• частота наполнения сайта контентом.

Чтобы разобраться в том, сколько времени индексируется сайт в «Яндексе» или Google, нужно детальнее познакомиться с каждым из пунктов.

Индексация сайта в Google и «Яндекс»: разбивка по группам

1. Высшая категория. Живые форумы и новостные сайты. Боты на таких сайтах пасутся регулярно. Индексация для таких сайтов никогда не будет проблемой, так как страницы заходят в индекс практически моментально.
2. Первый сорт. Часто обновляемые, трастовые сайты. Сюда поисковые боты заглядывают каждый день и быстро индексируют новые страницы.
3. Второй сорт. Качественные сайты, обновляемые каждую неделю. На них поисковый робот заглядывает периодически, как только появилось сообщение о том, что ресурс обновился. В некоторых случаях индексация на них может задерживаться дней на семь.
4. Третий сорт. Если Ваши сайты не подходят к первым трем группам, то, скорее всего, они где-то здесь. «Яндекс» заходит на сайт, когда ему захотелось, и это никак не влияет на скорость. Иногда индексации ждать приходится очень долго.
5. Не сортовые сайты. К этой группе относятся все новые сайты, которые только недавно были выложены на хостинг. Если никак не влиять на их индексацию, то может уйти несколько месяцев, пока они появятся в поиске. Больше всего вопросов и возгласов, связанных с индексацией сайтов в Google и «Яндексе», поступает от владельцев таких ресурсов.

Естественно, такая разбивка на группы была сделана условно, а не из официальных источников «Яндекса» или Google.

Сколько времени индексируется сайт в Google?

На новый сайт быстрее всего заходит робот от Google. Уже в первую неделю после создания сайта в поиске могут появиться некоторые страницы. Google одинаково хорошо индексирует доменные зоны .ru и .com. Хотя в зоне .com сайты вылезают в поиске несколько раньше. Бытует мнение, что домен в зоне .info индексируется медленно. Что касается доменной зоны .рф, то здесь проблем индексации не отмечено (хотя мнения веб-мастеров в этом плане отличаются).

Сколько времени индексируется сайт в «Яндексе»?

В поисковой выдаче сайт появляется спустя две-четыре недели после добавления его в аддурилку. Но это время может несколько затянуться по причине редких апдейтов поисковой базы.

Если Вы создали сайт, но на нем нет посетителей, не стоит опускать руки. Ведите над ним планомерные работы, и в скором времени заметите первые движения.

Особенно хорошо индексируются «Яндексом» и Google сайты, построенные на популярных движках, таких как WordPress, Drupal, DLE, 1C-Bitrix, OpenCart и т.д. Такие скрипты интернет-магазинов, как Webasyst, Shop Script и Vam Shop, индексируются намного хуже. Могут встречаться проблемы и с индексированием сайтов на самописных движках.

Во многом скорость индексации сайта в «Яндексе» и «Гугле» зависит и от того, насколько часто он наполняется контентом. Например, поисковый бот зашел на сайт раз в три дня. Если он заметит, что контент редко обновляется, то, соответственно, и заглядывать на него он будет реже. При регулярном обновлении контента Google и «Яндексу» придется чаще заглядывать на сайт, чтобы никогда не отставать от последних обновлений. Если нет возможности регулярно добавлять новости самостоятельно, можно воспользоваться планировщиком записей.

Возраст домена тоже сказывается на скорости индексации ресурса. Более старые домены, имеющие определенный вес, будут индексироваться быстрее, чем новые. При этом трафик может идти с других сайтов посредством внешних ссылок.

Как ускорить индексацию сайта?

В поисковых системах есть специальные сервисы – аддурилки, которые позволяют «рассказать» поисковым системам о том, что появился новый сайт. Также Вы можете добавить свой сайт в популярные каталоги, такие как «Яндекс.Каталог», DMOZ и прочие.

Для ускорения индексации поможет регистрация в социальных сетях и закладках (vkontakte.ru, twitter.com, memori.ru и другие). Туда можно добавлять анонсы своих новостей.

Также можно завести свои блоги на livejournal.com, blogs.mail.ru, blogspot.com, my.ya.ru и др. Регулярно добавляйте записи со ссылками, и индексация сайта заметно улучшится.

Не забывайте о таком важном моменте, как внутренняя перелинковка. Она помогает продвигать сайт по НЧ-запросам, а также способствует улучшению поведенческих факторов.

Поисковые роботы часто посещают трастовые блоки с их комментариями. Они отслеживают в блогах все ссылки и индексируют их, переходя на Ваш ресурс. Но при размещении комментариев соблюдайте правила блога, добавляя ссылки в специально отведенное место, чтобы исключить удаление Вашего комментария.

Е-mail-рассылка. В рассылке очень помогает сервис Subscribe.ru. Опубликованные темы будут рассылаться многим пользователям, а ссылки на сайт будут улучшать его индексацию.

Достаточно трудоемким является способ размещения большого количества текстов со ссылками на свой сайт. Сложность заключается в том, что Вам придется писать много интересных статей, которые бы выполняли функцию, похожую на каталог ссылок.

Нужно построить грамотную и четкую структуру ресурса. Она должна быть удобной и легкой для работы поисковых ботов со страниц. Добиться этого несложно. Принцип состоит в том, чтобы ссылки на страницах направляли бота с одной страницы на другую.

Если сайт состоит из огромного количества страниц, то робот просто может не добраться до последних страниц, наиболее удаленных от главной. В таком случае нужно создать карту сайта и продумать структуру так, чтобы каждая из страниц была не больше трех кликов от главной.

Веб-мастера отмечают, что основное содержимое сайта быстрее индексируется, нежели статьи в разделах, которые не отдаются в RSS-ленту и не появляются на главной. Статьи в скрытых разделах в некоторых случаях способствуют ускорению индексации. Хотя если Вы готовы ждать несколько недель, то дергаться не нужно.

В принципе способов улучшения индексации в «Яндексе» и Google гораздо больше, но даже этих вполне достаточно.

Что делать, если поисковик отказывается индексировать сайт?

Часто на форумах можно встретить вопрос: «Почему сайт не индексируется?». И на это есть несколько самых распространенных причин:

• Сайт закрыт от индексации командой в файле txt. Подкорректируйте файл, открыв сайт для индексации, добавив следующую строчку:

• Ошибка в коде сайта, не позволяющая видеть поисковикам страницы сайта. К примеру, текст заключен в следующие теги .
• Неуникальный контент. Важно, чтобы тексты на сайте были уникальными, то есть они не должны встречаться на других сайтах. Поисковики особенно не любят сайты с неуникальным контентом, которые продают ссылки. Рано или поздно они попадают под фильтры, из которых выйти практически невозможно. Если ранее сайт имел неуникальный контент, но с него не продавались ссылки, то есть вероятность, что сайт будет нормально ранжироваться и индексироваться, если Вы добавите уникальные статьи.
• Переспам, переоптимизация. Не злоупотребляйте вхождением ключевых слов в статье и такими тегами, как , , , . Все должно быть непринужденно и естественно.
• Некачественный контент. Не стоит экономить на текстах, если Вы надеетесь на развитие сайта.
• Сайт выступает зеркалом другого сайта. Речь идет о той ситуации, когда есть сайт с полностью уникальным контентом, но по структуре и смыслу он частично или полностью копирует другой сайт. «Яндекс», по крайней мере, не очень любит такие сайты, и если он их вычисляет, то «склеивает» их с «главным зеркалом» всех ресурсов.
• Продажа ссылок с сайта. Поисковые системы плохо относятся к сайтам, которые продают ссылки. Как следствие, выпадение всех страниц из индекса. В этом плане «Яндекс» более жестокий, чем Google, который ранжирует все что можно и нельзя.
• Ссылочный взрыв. Если на неизвестный сайт в один прекрасный день начнут ссылаться сразу тысячи сайтов, то это может стать причиной санкций со стороны поисковиков.
• Домен, который Вы купили, был заблокирован (забанен) поисковыми системами.
• Хостинг блокирует поисковых ботов. К сожалению, и такая ситуация может быть. Поэтому пользуйтесь услугами хостинга с проверенной репутацией.

Как проверить индексацию сайта?

1. Проверить страницы, вошедшие в индекс, можно очень легко. Достаточно скопировать URL и вбить их в поисковую строку «Яндекса» или Google. Если Ваша страница видна в поиске, это означает, что она занесена в базу поисковика. Если ее нет в выдаче, то она не прошла индексацию.
2. Сервис pr-cy.ru и тому подобные позволяет Вам обо всем узнать быстрее и проще. С его помощью можно контролировать индексацию всего сайта и посмотреть, какие страницы уже вошли в индекс и каков их процесс. Внесите в форму адрес сайта и нажмите на кнопку «Анализировать», после чего Вы получите подробный отчет по данным.
3. В меню «Яндекс.Вебмастер» и GoogleWebmaster Они содержат функции проиндексированных страниц и другую полезную информацию. В «Яндекс.Вебмастере» отдельно подсчитывается число страниц, которые прошли проверку роботов, и общее количество загруженных страниц для будущей индексации.

Что делать, если Вы исправили все недочеты, но сайт все равно не индексируется?

Если вышеперечисленные советы не помогли, сайт все равно не индексируется, то здесь остается только одно – обратиться за помощью к сотрудникам поисковых систем:

• Написать Google. Вы можете задать вопрос Google на родном языке, но ответ получите на английском, и он будет стандартным. Первый ответ будет приблизительно таким: «Мы получили Вашу заявку на пересмотр сайта и т.д.» Второй ответ, если с сайтом все нормально, будет примерно следующим: «Мы рассмотрели сайт и не обнаружили присутствие спама. Ожидайте, пока сайт будет проиндексирован».
• Написать «Яндексу». В большинстве случаев ответ от «Яндекса» приходит такой: «Улучшайте качество сайта». Однако не стоит расстраиваться, если Вам пришел шаблонный ответ. Скорее всего, это означает, что времени на рассмотрение Вашего ресурса совсем не было. В таком случае вступите в долгую переписку с представителями поисковика, стараясь отстоять свои права. Они должны понять, что Ваш сайт им небезразличен. Если Вы будете до конца уверены в том, что ресурс качественный, фильтр будет снят.

Внимание! Не давайте адрес сайта на разных форумах, блогах и прочих ресурсах, если он еще не проиндексировался. В противном случае у Вас просто своруют контент, скопировав его с Вашего сайта и разместив на своем. Также не рекомендуем регистрировать сайт, который еще не вошел в индекс, поскольку владельцы каталогов могут проверить сайт на наличие страниц в поиске и своровать его страницы.

Индексация сайта в Google и Яндекс: почему сайт не индексируется

Чтобы пользователи узнали о вашем сайте и, к примеру, совершили покупку или прочитали статью — он должен отображаться в поисковых системах, вроде Google и Яндекс. Для этого каждый ресурс проходит индексацию. Этот процесс отличается от ранжирования тем, что при индексации сайт просто попадает в базу данных поисковиков, а при ранжировании — встает на конкретное место.

Мы спросили мнение у экспертов в области веб-оптимизации и рассказали в статье о том, как происходит индексация сайтов и что делать, если ваши страницы не индексируются поисковиками.

Что значит индексация сайта и почему она важна

«Индексирование сайта — это процесс, в ходе которого поисковые системы получают информацию о страницах ресурса. Полученные данные хранятся в базе, которую называют поисковым индексом. Так Яндекс, Google и другие поисковики узнают, что ваш сайт существует и наполнен полезным контентом. Индексация нужна для того, чтобы юзеры могли найти ваши страницы при поиске» — так определяет индексацию Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group.

Эксперт Роман Огрин добавляет, что индексация — важный этап запуска любого проекта, на котором планируется активное SEO-продвижение или есть планы по развитию органического трафика. Исключения составляют рекламные форматы, вроде контекстной рекламы, — для них процесс индексации не является ключевым.

Для индексирования поисковик, например Яндекс или Google, отправляет на сайт роботов, они считывают код и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.

Как происходит индексация сайта

Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс, сравнивает индексацию с добавлением книги в библиотеку: когда определен жанр, автор и название книги, она занимает свое место в библиотеке, и читатель может ее найти. Поэтому индексацию сайта вернее рассматривать как двухэтапный процесс: сначала идет сканирование страниц, затем — их обработка.

Сканирование страниц

Сканирование страниц — это основная задача поискового робота. Когда он попадает на новую страницу, то получает два набора данных:

• Содержание, информацию о сервере и служебные данные.
• Перечень ссылок на страницах.

Затем робот передает данные в обработку, а после — сохраняет в базе. Самый простой способ индексации страниц в рамках домена — создание карты сайта sitemap.xml.

Чтобы Google и Яндекс увидели ваш сайт, нужно cначала добавить его в сервисы, а затем прикрепить ссылку на файл Sitemap в Google Search Console и Яндекс.Вебмастере. Это специальные сервисы для веб-мастеров, которые помогают работать с индексацией.

Чтобы добавить файл Sitemap в Google Search Console, зайдите в сервис, добавьте свой сайт и перейдите в раздел «Сканирование». В пункте «Файлы Sitemap» выберите «Добавить файл Sitemap» и вставьте ссылку на файл Sitemap.

В Яндекс.Вебмастере путь похож: зайдите в ваш аккаунт, выберите нужный сайт. Затем в левом меню нажмите на раздел «Индексирование» и выберите вкладку «Файлы Sitemap». В строку «Добавить файл Sitemap» вставьте ссылку файла и нажмите «Добавить». Кстати, если вы внесли изменения в карту сайта, то просто отправьте карту на перепроверку, нажав на стрелочки рядом с файлом Sitemap.

Обработка страниц

После сбора роботами информация проходит обработку и потом попадает в базу данных. Это необходимо для ускорения дальнейшего поиска.

В начале программа формирует страницу со всем содержимым: скрипты, эффекты, стили. Важно, чтобы робот имел полный доступ ко всем файлам, потому что без них индексатор не сможет понять структуру.

Вы можете посмотреть, одинаково ли видят страницу пользователи и поисковой робот. Для этого зайдите в Google Search Console, выберите отчет «Посмотреть как Googlebot» в разделе «Сканирование».

Затем робот анализирует текст страницы: упрощает слова и определяет частоту упоминания ключевого слова, проверяет уникальность. Так, если ваш контент уже индексировали в интернете, то у страниц будет низкая уникальность. Значит, робот может не добавить их в поисковый индекс. Поэтому важно наполнять свой сайт уникальным и полезным контентом.

Как проверить индексацию

Эксперты выделяют три способа, чтобы проверить, отображается ли сайт в поисковиках: запрос в поисковой системе, использование бесплатных сервисов для автоматической проверки и использование сервисов для веб-мастеров.

Если значения проиндексированных страниц в Google и Яндекс сильно различаются, это свидетельствует о проблемах в оптимизации сайта.

Дарья Каблаш, основатель маркетингового агентства Dvizh

Поисковая строка

Роман Огрин, руководитель группы оптимизации в Kokoc Group, называет специальные операторы самым быстрым и простым способом проверки индексации. Яндекс и Google поддерживают оператор site, который помогает отображать проиндексированные страницы. Базовый синтаксис использования: site:sitename.com

Но поисковые системы могут ограничить работу этих операторов для снижения нагрузки. Поэтому рекомендуют использовать дополнительные способы для проверки индексации.

Бесплатные плагины

«Можно использовать специальные бесплатные сервисы, например, be1.ru и pr-cy.ru. Для проверки введите адрес сайта в специальную строку и нажмите «Проверить». Обычно такие сервисы, помимо количества страниц в индексе популярных поисковиков, предоставляют еще много интересных данных» — Николай Полушкин, директор веб-студии DIUS.

Веб-сервисы Яндекс.Вебмастер и Google Search Console

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, считает веб-сервисы поисковых систем самым достоверным источником информации о наличии страницы в индексе. В этих инструментах можно получить данные о количестве, динамике индексации, причинах удаления или включения страницы в базу данных, а также многое другое. Минус в том, что доступы к этой информации могут получить только владельцы сайта или те, у кого есть права владельцев.

Эксперт Роман Огрин рассказывает, как именно посмотреть индексацию в Яндекс.Вебмастере и Google Search Console. Оба сервиса сначала надо «привязать» к исследуемому домену и только потом смотреть точную статистику.

В Яндекс.Вебмастере есть раздел «Индексирование» с подразделом «Страницы в поиске». По клику на вкладку «Все страницы» сервис выдает список проиндексированных на данный момент документов. В Search Console аналогичный инструмент — отчет «Покрытие».

Помимо простого анализа страниц в индексе, оба сервиса предоставляют много полезной статистики. Эта информация поможет сделать правильные выводы при проблемах с индексацией.

Например, посмотрите, совпадает ли количество проиндексированных страниц с количеством страниц вашего сайта. Если у вас 240 страниц, а в индексе только 100, это означает, что есть проблемы с индексацией, ведь поисковая система не знает о большей части контента.

Управление индексацией сайта

Вы можете сами задать параметры индексирования для роботов поисковых систем. Например, настройка канонического адреса необходима, если есть страницы с одинаковым содержанием. Она позволяет указать, какая из них приоритетна для индексации.

Текстовый файл robots.txt также позволяет управлять поисковыми роботами с помощью директив.

• Директива Disallow закрывает сайт или конкретные страницы от индексации роботами.
• User-Agent указывает поисковую систему для индексации по написанной инструкции.
• Crawl-delay задает частоту обращения роботов к ресурсу. Работает для Яндекса.
• Clean-param закрывает индексирование с конкретными динамическими параметрами.
• Директива Allow разрешает роботам индексирование отдельных страниц.

Что делать, если сайт не индексируется

Есть множество причин, почему сайт не индексируется. Эксперт Сергей Шабуров условно разделяет причины на технические и контентные. Ниже рассмотрим основные из них с примерами из опыта специалистов.

Технические причины

Сайт может быть случайно закрыт от сканирования роботами или из-за ошибки разработчиков. Это можно определить, если проверить:

1. Директиву Disallow в файле robots.txt. Как мы писали выше, эта директива закрывает конкретные страницы от индексации.
2. Мета-теги в разделе HTML-документа, например, . Они определяют отношение к сканированию контента в документе.
3. HTTP-заголовок X-Robot-Tag — информация о запрете или разрешении индексации сайта в HTTP-заголовках ответа сервера.
4. Код ответа сервера. В индекс попадают только доступные страницы с кодом ответа сервера 200 Ок, а ресурсы с другими кодами ответа удаляются. Изменение кода ответа — один из способов управления индексацией.
5. Настройки сервера. Для разных IP адресов, User-agent и других параметров серверная часть ресурса может регулировать как скорость, так и саму отдачу информации о странице и ее содержимом.
6. Наличие входящих внутренних или внешних ссылок. Индекс может исключать такие страницы.
7. Низкий трафик. Это может быть следствием малополезной страницы или отсутствием семантического спроса со стороны пользователей по данному контенту.

Николай Полушкин, директор веб-студии DIUS, делится недавним случаем из практики. «Пришел сайт на бесплатный аудит. Клиент жаловался на резкую просадку трафика. SEO-специалист сразу открыл файл robots.txt и нашел строчку Disallow. Мы сообщили об этом клиенту и объяснили, что сайт закрыт от индексации, и страницы постепенно удаляются из поиска. Заказчик был удивлен и попросил выяснить, кто и когда это сделал. Недавно компания делала редизайн и наш специалист предположил, что страницы на время работ закрыли от индексации, а потом забыли убрать запрещающую директиву».

Контентные причины

Важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Либо есть ошибки в контентном наполнении страниц:

1. Отсутствие индексируемого контента. Контент может быть реализован на технологии, которую поисковые системы не умеют считывать или плохо воспринимают к индексации. Так векторная графика, например Flash, не индексируется.
2. Контент без пользы или вредный для пользователей. Сюда относят: спам, малый по объему контент, устаревшая информация, которая никогда не будет востребована, наличие вирусов, фишинга.
3. Дублирующийся контент. Поисковые системы стараются не индексировать или удалять из выдачи страницы, которые содержат повторяющуюся информацию.

«У нас была такая ситуация с кулинарной онлайн-школой. В Google сайт показал хорошие результаты уже в первый месяц работы и вышел в ТОП-3 по прямым запросам. Но в Яндексе страницы вообще отсутствовали.

Чтобы узнать причину, мы зарегистрировали сайт в Яндекс.Вебмастере и отправили на проверку. Результаты показали критическую ошибку. Дело было в том, что на ресурсе дублировались страницы. Владельцы школы публиковали для разных таргетологов страницы с одинаковым контентом, но разными ссылками. Яндекс видел в этом неуникальный контент и не индексировал страницы.

Мы удалили дублирующиеся страницы, перейдя на utm-метки, и отправили сайт на переиндексацию. Через несколько дней проблема решилась, сайт стал отображаться в Яндексе» — Дарья Каблаш, основатель маркетингового агентства Dvizh.

Иные причины

Более редкие случаи неиндексации могут быть связаны, например, с фильтром «для взрослых».

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, приводит свежий пример из практики. «Сайт одного из российских операторов мобильной связи перестал ранжироваться по навигационному запросу: » тарифы» в Яндексе. В выдаче присутствовали побочные сайты, а ресурс оператора отсутствовал. Это неслыханная вещь, при учете, что целевая страница и все остальные были в индексе по данным Яндекс.Вебмастера. По данному запросу сайт должен был занимать как минимум несколько строчек поисковой выдачи. Проблема выявилась при переключении настроек поиска с умеренного фильтра на фильтр без ограничений.

Это значит, что страница перешла из основного индекса в специальный “Фильтр для взрослых” или «Adult-фильтр». После обращения в службу поддержки Яндекса обнаружилось, что это ошибка на стороне поисковой системы, так как на странице не было какой-либо специфичной информации».

Также возможен редкий случай неиндексации — «плохая история» домена. В этом случае был куплен домен, на котором ранее был поисковый спам или adult-ресурс, поэтому сайт сразу может быть под фильтром.

«В нашей практике был пример сайта на домене, на котором ранее был размещен белый каталог сайтов. Ресурс индексировался нормально и потом резко пропадал из индекса поисковых систем. Помогли письма в техподдержку Яндекса и отправка страниц на принудительную переиндексацию. Но даже после этого периодически сайт продолжал полностью вылетать из индекса, за этим приходилось отдельно следить. Чтобы таких моментов не было, перед покупкой домена лучше всего проверять его историю» — Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс.

Заключение

Без индексации пользователи не увидят ваш сайт даже при прямом поисковом запросе. Поэтому индексация — обязательный процесс для ресурсов, которым важен органический трафик.

Во время индексации роботы сканируют и обрабатывают информацию на страницах, заносят ее в специальную базу данных — поисковый индекс. Можно легко проверить, есть ли ваши страницы в поисковой выдаче, например, в Google. Самый надежный способ — использование сервисов для веб-мастеров: Яндекс.Вебмастер и Google Search Console.

Часто сайты, которые должны быть проиндексированы, все равно не попадают в поиск. В таком случае нужно проанализировать возможные технические и контентные причины. В редких случаях работы могут убрать ресурс из выдачи из-за ошибки на стороне поисковой системы или плохой истории домена.

Поисковая оптимизация сайта под Яндекс

Рассказали о влиянии рекламы на сайте на ранжирование, преимуществах турбо-страниц и отказе от директивы Crawl-delay.

Последнее обновление: 10 мая 2023 года

Yandex регулярно вносит изменения в алгоритмы ранжирования и вводит новые правила работы с сайтами, поэтому seo-специалистам необходимо постоянно отслеживать нововведения и использовать их в работе. Собрали важные изменения за 2017 г. и начало 2018 г., с которыми предстоит работать в текущем году.

Изменения в алгоритмах ранжирования

Баден-Баден. Хотя Яндекс давно борется с переоптимизированными текстами, до введения этого алгоритма seo-оптимизация часто строилась на максимальном добавлении ключевых слов в контент. Ценности для пользователей такие тексты не несли и были направлены исключительно для чтения роботами. Теперь алгоритм «Баден-Баден» выявляет seo-тексты и понижает сайты в поисковой выдаче. Если на сайте найдены нарушения, то в разделе «Диагностика» появится информация об этом. Уберите все переоптимизированные тексты с сайта и перепишите их для чтения людьми.

Королев. Алгоритм является продолжением другого алгоритма Яндекса — Палех и отвечает за подбор наиболее релевантных текстов под поисковый запрос. Палех определял смысл контента по связке заголовок и текст, Королев учитывает всю семантику текста, включая синонимы и запросы на естественном языке. Изменения коснулись в первую очередь информационных сайтов, потому что на позиции коммерческого сайта влияет много дополнительных факторов ранжирования, не связанных с семантикой текстов.

Другое существенное отличие алгоритмов в том, что Королев задает и сохраняет вектор для текстов еще на этапе индексирования. Когда пользователь введет поисковый запрос, он получит сайты из заранее подготовленного перечня подходящих сайтов с учетом его интересов. Это позволяет экономить вычислительные мощности Яндекса, ускорять процесс поиска и анализировать глубокую подборку — до 200 тысяч документов, по заявлениям Яндекса. Подробнее об алгоритме читайте в материале «Яндекс запустил новый поиск».

Качество рекламы теперь тоже влияет на позиции сайта. Яндекс обновил алгоритм ранжирования и оценивает размещенную рекламу. Когда рекламных блоков слишком много, они мешают пользователю или вводят его в заблуждение, маскируясь под элементы сайта, весь ресурс будет понижен в выдаче.

Если поисковик нашел нарушения на сайте, владелец не получит их точный список. Просто вы найдете отметку об этом в панели «Безопасность и нарушения» раздела «Диагностика сайта». В случае нарушений оптимизируйте сайт под требования поисковика и нажмите кнопку «Я все исправил». Если Яндекс ошибся, и нарушений нет, сразу нажмите кнопку, чтобы ресурс проверили еще раз.

Присоединитесь к Ассоциации «Безопасная гавань», которая объединяет ресурсы, не использующие раздражающие форматы рекламы. Участие бесплатное, для вступления добавьте сайт в Яндекс.Вебмастер и отправьте заявку. Участникам Ассоциации дается время до месяца на исправление нарушений на сайте, если они будут обнаружены.

Закрытие Яндекс.Каталога. В конце 2017 года Яндекс объявил о закрытии сервиса. По всей видимости, это связано с уменьшением входящего трафика Каталога в течение последних несколько лет. С 2012 года посещаемость портала упала в 12 раз до 300 тысяч человек в месяц. Мы писали об этом в октябре 2017 г. в материале «Добавление сайта в Яндекс.Каталог: особенности и влияние на SEO». Возможность присвоения региона перенесена в Яндекс.Вебмастер. Поисковик обещает, что закрытие каталога не повлияет на тИЦ.

Оставить заявку

Изменения на странице поисковой выдачи

Уменьшение количества мест в поисковой выдаче. Яндекс расширяет количество рекламных мест под объявления Директа на странице поисковой выдачи. Уже отдано по четыре места сверху и снизу страницы, планируется добавить блок Директа посередине. Таким образом, количество мест для сайтов с органическим трафиком постепенно уменьшается.

Кнопка «Читать еще» в сниппете сайта раньше работала только в мобильном поиске. Теперь стала доступна на десктопах. Ее внедрение приведет к двум последствиям:

1. Улучшится качество трафика из органической выдачи, потому что после прочтения дополнительной информации посетители примут более взвешенное решение о переходе на сайт.
2. Объем трафика может уменьшиться. Это будет достоверно для запросов, ответ на которые пользователь полностью получит из расширенного описания.

Яндекс пока официально не объявил, какое количество символов следует использовать для описаний. Известно, что объем может превышать первоначальный до трех раз. Составляйте подробные описания в теге Description. Постарайтесь заинтересовать пользователя и побудить его перейти на сайт.

Изображения в сниппете. Яндекс в качестве тестирования начал показывать картинки справа от сниппета в поисковой выдаче на десктопе. Изображения берутся со страницы, а не из микроразметки.

Введение турбо-страниц

Что это. Турбо-страницы — инструмент, который ускоряет скорость загрузки сайта до 15 раз. Это помогает пользователям быстро получить доступ к нужному контенту, и уменьшает показатель отказов до 30%. Сайты с турбо-страницами выделяются в поисковой выдаче через иконку ракеты. Пользователи уже знают, чем удобны такие сайты, и переходят на них.

Как работает. Контент сайта упрощается до минимально необходимых компонентов: текст, изображения, видео — и заранее загружается на сервер Яндекса. Это уменьшает вес ресурса почти в 10 раз и снижает нагрузку на сервера владельцев сайтов. Для передачи контента используется RSS-канал, через который передаются данные в соответствии с настройками. Перед созданием убедитесь, что структура и содержимое сайта соответствуют требованиям Яндекса. Например, тексты статьи разделены на абзацы, на странице присутствует только один заголовок h1, видео и изображения подписаны.

Как подключить. Для сайтов, работающих на CMS: 1С-Bitrix, Joomla, WordPress, OpenCart, Drupal, подключайте через специальный плагин. Его можно скачать в разделе «Разработчикам» — tech.yandex.ru. Для остальных сайтов подключайте через RSS-канал. Настройте канал на сайте, подключите его в Вебмастере, установите счетчик статистики. Подробная инструкция размещена в Помощи.Яндекса.

Как монетизировать. Яндекс предлагает монетизировать турбо-страницы через рекламные блоки РСЯ. Вставляйте по одному рекламному месту на экран: 4 изображения, 4 видео или 250 слов. Работайте бесплатно с ADFOX — платформой для управления рекламой.

Изменения в Яндекс.Вебмастере

Рекомендованные запросы — дополнительный функционал, который поможет привлекать посетителей на сайт. Яндекс анализирует тематику сайта, контент и трафик за последние 28 дней, затем находит потенциальные запросы пользователей, которые могут быть удовлетворены за счет содержания сайта. В результате получается перечень запросов и релевантных им страниц, которые Яндекс рекомендует использовать в сео и контекстной рекламе. Используйте инструмент для информационных и коммерческих сайтов.

Для подключения перейдите в раздел «Поисковые запросы» и нажмите на кнопку «Получить». Подготовка рекомендаций занимает около недели, затем в интерфейсе Вебмастера появится информация:

• потенциальный запрос;
• релевантная страница;
• регион;
• текущая позиция в выдаче;
• прогнозируемое количество показов;
• предварительное количество кликов;
• ориентировочная стоимость клика.

Данные фильтруются по запросу, страницам или региону. Есть выгрузка в xls и csv. Используйте рекомендации Яндекса для улучшения позиций конкретных страниц и при настройке рекламных кампаний. Выберите значимые страницы и отфильтруйте их по прогнозу показов. Не берите в работу запросы, прогноз показов по которым низкий. Вы потратите время на работу, но она не принесет эффективных результатов.

Затем проверьте текст запроса и отображаемый контент. Допустим, страница подтягивается по запросу «Глоксиния пересадка», а статья содержит только информацию о первоначальной посадке. Добавьте недостающую информацию в текст. Затем проверьте соответствие title, description и h1 рекомендуемому запросу. При необходимости измените мета-теги, включив в них нужный запрос.

Тренд. Инструмент позволяет владельцам сайтов сравнить свой ресурс с сайтами похожей тематики. Похожими считаются сайты, которые имеют сопоставимые размеры и одинаковую тематику. Они сравниваются между собой по количеству переходов на сайт по поисковым запросам. Для удобства анализа данные усредняются.

Инструмент помогает seo-специалистам оценивать результаты проводимых работ. Раньше рост или проседание органического трафика связывали с результатами поисковой оптимизации сайта в Яндексе, хотя причина могла быть в изменении поведения пользователей. Теперь, имея информацию о кликах пользователей на похожие ресурсы, seo-оптимизаторы могут более достоверно определить, что является причиной роста или падения трафика.

Если линии графика идут параллельно, значит, изменения связаны с поведением пользователей. Если на графике линии вашего сайта и схожих сайтов существенно различаются, значит, вы видите результаты работ по оптимизации.

Отказ от директивы Crawl-delay. Это директива, которая указывает краулеру, как часто следует индексировать сайт. Специалисты Яндекса пришли к выводу, что подавляющее большинство веб-мастеров не умеют работать с этой директивой и настраивают ее неверно, поэтому с февраля 2018 г. она больше не учитывается в файле robots.txt.

Теперь вместо директивы в раздел «Индексирование» добавлена функция «Скорость обхода». В ней есть два режима: ручной и автоматический. В ручном режиме самостоятельно задавайте необходимую скорость обхода. Максимальная скорость — 30 запросов в секунду. Или установите автоматический режим с помощью значения «Доверять Яндексу». Установленная скорость не влияет на количество страниц, которые будут индексироваться роботом во время обхода. Объем индексации рассчитывается автоматически краулером и зависит от посещаемости сайта.

Приоритетный обход sitemap — функция, которая поможет сообщить поисковому роботу об изменении структуры сайта или создании нового проекта. Инструмент расположен в разделе «Индексирование», им разрешено воспользоваться до десяти раз в месяц.

Директива 301 редирект заменила собой директиву Host. Теперь для переезда на новый адрес проставьте 301-е редиректы постранично со старого сайта на новый. Затем подтвердите права на новый домен в Вебмастере и инициализируйте переезд в разделе «Индексирование».

Региональность сайта. В связи с закрытием Яндекс.Каталога присвоение регионов переехало в раздел «Региональность» Яндекс.Вебмастера. В Каталоге можно было установить до семи регионов, в Вебмастере — до трех. Дополнительные регионы задавайте с помощью сервиса Яндекс.Справочник. Подробнее читайте в статье «Региональное продвижение сайта: особенности и нюансы».

Тематический индекс цитирования (тИЦ) переехал из закрывшегося Каталога в Яндекс.Вебмастер. Смотрите тИЦ сайта на общей странице всех ресурсов, добавленных в Вебмастер. Подробнее читайте о тИЦ в статье «Тематический индекс цитирования сайта».