Как решить проблемы с индексацией сайта в Google и Яндексе
Кратко самое важное об основах: как решить проблемы с индексацией и ускорить ее в Яндексе и Google.
Привет! Это PR-CY, мы делаем сервис для проверки SEO и позиций в ПС. Попробуйте прогнать проверку по своему сайту и посмотрите, какие ошибки он найдет.
В статье разберем типичные проблемы, а потом поговорим об ускорении. Постараемся лаконично)
Проблемы с индексацией:
❌ Страницы вообще не индексируются
Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход.
Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.
Также запрет может быть в HTTP-заголовке X-Robot-Tag, который находится в файле конфигурации сервера. Проверить запрет через X-Robots-Tag можно в инструменте бесплатно.
❌Страницы не индексируются одним из поисковиков
Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика.
Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Проверьте уведомления о Вебмастере и Консоли, часть санкций сопровождаются письмом от поисковика. Подробно в материалах о санкциях Яндекса и фильтрах Google.
❌ Страницы индексируются, но нужно долго ждать
Вариантов может быть много: вы редко обновляете контент, поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке… Проблема может быть в других ошибках на сайте, например, в куче ошибочных лишних страниц, сгенерированных движком, на которые тратится время.
Посмотреть динамику индексации страниц и найти ошибки в SEO можно в сервисе для анализа сайта:
Итак, если страницы не индексируются, то проверьте ограничения, если игнорирует поисковик, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить.
Как ускорить индексирование:
Лучший способ улучшить процесс индексирования — создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим
Джон Мюллер, представитель Google
Ага, классно. Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный… ��
Что реально можно сделать, чтобы ускорить процесс.
1. Отправить страницу на переобход
Найдите переобход страниц в Google Search Console и Яндекс.Вебмастере и отправьте нужные URL на индексацию.
В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.
2. Проверить разрешения в robots.txt
В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться.
А может и не прислушаться — это всего лишь рекомендации, а не прямое указание. ��♂
3. Взять за правило обновлять контент
Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.
Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.
4. Создать динамическую Sitemap
Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться.
Для проектов на конструкторах сайтов, например, на Tilda, карта по умолчанию динамическая, для CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.
5. Пометить обновления в Sitemap
Можно указать обновленные файлы в Sitemap вручную. Google рекомендует отметить страницы в Карте тегом < lastmod >и отправить страницу на переобход.
Но, опять же, ссылки в Карте сайта — это рекомендации.
6. Проверить структуру и перелинковку разделов
На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования.
Такие страницы называют сиротами.
Нужно встроить их в структуру сайта.
В этой схеме каждая страница имеет ссылку с родительской категории, но они могут линковаться и между собой:
На поведение бота влияет количество кликов от главной до текущей страницы. Бот переходит на страницы по ссылкам с главной. Чем меньше кликов от главной до искомой страницы, тем она важнее, тем быстрее он до нее доберется и просканирует.
Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.
7. Ускорить загрузку сайта
Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, если в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.
Сомневаемся, что так уж много сайтов загружаются медленнее минуты, но всё возможно. На всякий случай проверьте скорость в сторонних инструментах.
Многое из перечисленного можно проверить автоматически в сервисе для анализа сайта. Ту же скорость — он быстро проанализирует этапы загрузки и отдельно найдет конкретные страницы, на которых есть проблема со скоростью.
Оцените пост, если было полезно 🙂 И напишите в комментариях, если вам есть что добавить к списку.
Почему не индексируется сайт в Google
В прошлой статье «Как добавить сайт в поисковые системы» мы рассказали, как сообщить поисковым роботам о новом сайте или страницах. Но после добавления сайта в поисковые системы, он все еще может не индексироваться в Google. Что еще хуже, поисковые роботы сканировали сайт раньше, но теперь сайт не индексируется.
Единственный выход в этой ситуации ― проверить возможные причины, которые влияют на индексацию сайта. Об этих причинах расскажем в статье.
Почему не индексируется сайт в Google:
- Сайт закрыт от индексации в Robots.txt
- Как проверить Robots.txt
- Как проверить метатеги Robots
- Как проверить наличие тегов rel=”canonical”
- Как проверить наличие X‑Robots-Tag на страницах сайта
- Как проверить время ответа сервера
- Возможные причины долгого ответа сервера
- Как проверить ответ сервера
Сайт закрыт от индексации в Robots.txt
Одна из самых распространенных причин, из-за которой сайт не индексируется ― запрет на индексацию в файле robots.txt. Часто разработчики сайта хранят тестовую версию на отдельных доменах или поддоменах. Тестовый сайт закрывают от индексации с помощью robots.txt. Когда сайт уже готов, содержимое тестовой версии вместе с файлом robots.txt попадает на рабочий домен. Файл robots.txt забывают изменить и сайт становится недоступным для поисковых роботов.
Файл robots.txt находится в корневой папке сайта — https://mysupersite.com/robots.txt
Если страница закрыта от индексации, содержимое файла может выглядеть следующим образом:
Если у вас сайт на CMS WordPress, проверьте настройки индексации в панели управления сайтом. Зайдите в раздел Настройки → Чтение. Поле Видимость для поисковых систем должно быть пустым:
Как проверить Robots.txt
При помощи следующих инструментов можно проверить не закрыт ли через robots.txt от индексации сайт или определенные страницы:
Предварительно нужно добавить сайт в панель вебмастеров Google, чтобы проверить robots.
�� Для проверки также можно воспользоваться сторонними сервисами, например
- https://technicalseo.com/tools/robots-txt/
- https://sitechecker.pro/ru/robots-tester/
- https://www.websiteplanet.com/ru/webtools/robots-txt/
- Инструменты для вебмастеров
Если еще не пользуетесь данными сервисами, читайте статью: Как добавить сайт в инструменты веб-мастеров.
В Google Search Console перейдите в раздел Индексирование → Страницы → таблица Почему эти страницы не индексируются.
- Программы для проведения аудита внутренней оптимизации сайта
После сканирования сайта или определенных страниц, в результатах отчета будут показаны страницы, которые недоступны для индексации:
Screaming Frog SEO Spider
Netpeak Spider
Метатеги Robots
Проверьте наличие метатега robots в коде страницы. Его размещают между тегами . Выглядеть этот тег может следующим образом:
Метатег robots сообщает поисковым роботам о том, что страницу индексировать не нужно.
Как проверить метатеги Robots
- Инструменты для вебмастеров
В Google Search Console перейдите в раздел Индексирование → Страницы → таблица Почему эти страницы не индексируются.
- Программы для проведения аудита внутренней оптимизации сайта
Обнаружить страницы, которые закрыты от индексации с помощью метатегов robots, можно с помощью программ для аудита внутренней оптимизации сайта.
Screaming Frog SEO Spider
Netpeak Spider
Быстрые серверы, удобная панель управления и заботливая поддержка 24/7 ��
При заказе хостинга на полгода — зарегистрируем �� домен в подарок!
При покупке на год — скидка 30%
☝️ Гарантируем вернуть деньги в течение 30 дней, если вам что-то не понравилось или не подошло.Файл .htaccess
Файл .htaccess содержит правила работы веб-сервера. Обычно этот файл размещают в корневой директории веб-сервера (/public_html) либо в корневой директории сайта (/public_html/mysupersite.com/).
С помощью некоторых правил в .htaccess можно закрыть сайт от индексации. Например, можно закрыть доступ для всех посетителей, кроме нужного IP адреса:
order allow,deny deny from all allow from IPИли можно разрешить доступ всем, кроме нужного IP:
order allow,deny deny from UndesiredIP allow from allПроверьте файл .htaccess на вашем сервере, возможно в нем прописаны запрещающие правила для индексирования.
Более подробно узнать о директивах и правилах можно в нашей статье: Файл htaccess.
Rel Canonical
Тег rel=”canonical” применяют на страницах с одинаковым содержимым. Этот тег указывает поисковым роботам адрес страницы, которая является основной.
Рассмотрим на примере две страницы, которые имеют одинаковое содержание:
- https://mysupersite.com/original-page/ — основная страница;
- https://mysupersite.com/dublicat-page/ — страница с дублирующим содержанием.
Чтобы в индексе была основная страница, можно применить тег rel=”canonical”. В html код страницы https://mysupersite.com/dublicat-page/ между тегами нужно добавить следующий тег:
Если ваша страница или страницы не индексируются, проверьте наличие тега rel=”canonical” в html-коде и его корректность.
12 причин, почему Google и Яндекс не индексирует ваш сайт
Больше полезных статей, кейсов и мануалов. Подпишись на обновления!
Без нормальной индексации сайта – поисковое продвижение в принципе невозможно.
Первое, что нужно сделать – это проиндексировать сайт и сделать так, чтобы новый контент на нем быстро индексировался поисковиками.
В данной статье мы рассмотрим 12 причин, по которым у вашего сайта могут быть проблемы с индексацией в поисковых системах Google и Яндекс .
Переходим к причинам:
1. Google и Яндекс пока не нашел ваш сайт
Такое случается в том случае, если вы только что выложили свой сайт и ничего не делали для того, чтобы поисковые системы его заметили.
В таком случае не стоит ожидать быстрой индексации. Но это легко можно поправить.
Для этого нужно сделать:
- Добавить сайт в поисковые системы (Add url)
- Добавить сайт в Google и Яндекс вебмастер
Статьи в тему:
После чего, нужно немного подождать и ваш сайт должен проиндесироваться. Обычно это занимает от пару часов, до пару дней и более.
2. Сайт или страницы закрыты в robots.txt
Это часто бывает причиной, которую не учитывают разработчики и выкатывают сайт закрытым от индексации в файле robots.txt. Но такое легко можно поправить.
Если у вас не много технических разделов, то можно обойтись и таким robots.txt:
Но если на сайте нужно много чего закрывать, то:
- читаем статью по ссылке выше
- закрываем только те разделы, что не нужно индексировать
- оставляем для индексации все остальное
Тогда все с вашим сайтом должно быть нормально.
3. Включены приватные настройки
Если вы используете систему управления сайта WordPress, то по умолчанию могут стоять приватные настройки. Это действительно может быть причиной того, что сайт до сих пор не проиндексирован.
Для этого нужно зайти в:
- Настройки
- Чтение
- Видимость для поисковых систем
- Убрать галочку
Многие забывают убрать эту галочку и потом не могут понять, в чем же причина не индексации сайта.
4. Сайт закрыт от индексации в noindex в мета тегах
Индексацию контента или страницы так же можно закрыть с помощью мета тега. Выглядит он так:
Все что нужно:
- проверить код на наличие такого тега и что в нем прописано
- убрать строку кода
- или просто сделать follow и index
Пример:
Из нашей практики встречались и такие сайты, на которых это было причиной индексации.
5. Ошибки сканирования
Если возникает много ошибок при сканировании, то поисковый бот просто может не дойти до нужных страниц.
Чтобы это проверить:
- Заходим в Google Webmaster Tools
- Сканирование
- Ошибки сканирования
Если есть какие-то критические ошибки. Просто нужно их исправить и все будет хорошо.
6. Сайт заблокирован в .htaccess
В этом файле обычно прописывается 301 редирект. Но в нем, так же можно закрыть от индексации поисковыми системами.
Для того, чтобы это проверить:
- находим на сервере файл .htaccess
- в коде смотрим, чтобы не был закрыт сайт
Это может быть причиной, но многие даже не думаю в этом направлении. А как вариант не стоит исключать.
7. Хостинг или сервер работает не стабильно
Если в момент, когда поисковый бот пришел на сайт индексировать страницы, сайт не доступен, то это может быть причиной не индексации.
Как минимум стоит позаботиться о том, чтобы up time у вашего сервера был хорошим и хостинг стабильным.
Сервисов, которые позволяет это проконтролировать множество. Если нужно бесплатно, то Яндекс Метрика оповещает о том, когда сайт не доступен.
Как я сказал, сервисов множество, вводим в поиск uptime checker и получаем множество результатов сервисов. А дальше выбираем на вкус и цвет.
8. Проблемы с AJAX/JavaScript
Не секрет, что Google индексирует AJAX и JavaScript. Вот ссылка для разработчиков с инструкцией: https://support.google.com/webmasters/answer/174992
Но на данный момент поисковая система индексирует эти языки не так легко и просто как HTML.
В случае, если вы не правильно настроили все для поиска в AJAX и JavaScript, то Google не проиндексирует ваш сайт и страницы.
Вот полезная информация из справки Гугла на этот счет: https://support.google.com/webmasters/answer/174993
9. У вас на сайте много дублированного контента
Если на сайте много дублированного контента, как:
То во первых можно получить санкции от Google Панды. Во вторых это может быть причиной того, что сайт не индексируется.
Статьи в тему:
На эту причину стоит обращать внимание. Так как сейчас это № 1 причина, за которые можно получить санкции и сложности в дальнейшей раскрутке сайта.
10. Очень медленная скорость загрузки сайта
Скорость загрузки сайта влияет на позиции и это один из факторов ранжирования. Поэтому если ваш сайт грузиться очень долго, то вполне вероятно, что он не будет нормально индексироваться.
После чего, нужно учесть все моменты со скоростью загрузки и сделать ее очень быстрой.
11. Ваш домен ранее был забанен
Такое часто случается. Когда:
- регистрируешь хороший и звучный домен
- по обратным ссылкам все нормально
- делаешь хороший сайт с нормальным дизайном
- наполняешь уникальным и толковым контентом
- а он не хочет никак индексироваться
В таком случае дела не очень хороши. Но все равно это можно поправить. А именно:
- написать запрос на пересмотр (если Яндекс, узнать в чем причина)
- написать на форуме Google (постараться узнать в чем причина)
- развивать проект
Но по опыту скажу. Если домен не лезет в течении 3-4 месяцев нормально. То лучше развивать проект на другом домене. Как минимум это будет быстрее и на порядок проще.
12. У вас нет sitemap на сайте
Это очень редко может быть причиной. Но все же может быть. Поэтому нужно сделать карту сайта и добавить ее как Google вебмастер, так и в Яндекс вебмастер.
В заключение
Индексация сайта важнейший момент для поискового продвижения сайта. Поэтому сначала нужно найти причину, понимать следствия. В итоге не допускать того, чтобы с индексацией сайта были проблемы.
Хорошие статьи по индексации сайта в помощь:
А что вы думаете про причины не индексации или плохой индексации сайта?
PS: если вы перепробовали все причины и сайт не индексируется, то однозначно стоит писать в поддержку поисковых систем и узнавать причину у них.
Почему Google не индексирует некоторые страницы моего сайта
Многие страницы никогда не индексируются Google. Узнайте, почему почему Гугл не индексирует страницы сайта. Но сначала подпишитесь на наш Телеграм. Там мы публикуем идеи, которыми больше нигде не делимся. Мы разрабатываем сайты. Знаем, как запустить рост сайта с первых дней. Продвигаем сайты. Делаем продажи с первых дней запуска сайта. Свяжитесь с нами!
Если вы работаете с сайтом, особенно с большим, вы, вероятно, заметили, что не все страницы вашего сайта индексируется. Почему Google пишет: «страница просканирована, но пока не проиндексирована указанные ниже страницы не индексируются Google и не появляются в результатах поиска»? Причин может быть несколько.
Многие seo-оптимизаторы по-прежнему считают, что Google не может индексировать контент из-за технических особенностей, но это миф. Правда в том, что Google может не проиндексировать ваши страницы, если вы не отправляете последовательные технические сигналы о том, какие страницы вы хотите проиндексировать.
Что касается других технических проблем: такие вещи, как JavaScript, действительно усложняют индексацию, ваш сайт может страдать от серьезных проблем с индексированием, даже если он написан на чистом HTML.
Причины, по которым Google не индексирует ваши страницы
Проверив самые популярные интернет-магазины мира, обнаружили, что в среднем 15% их индексируемых страниц продуктов невозможно найти в Google.
Результат удивительный. Почему? Каковы причины, по которым Google решает не индексировать то, что технически должно быть проиндексировано?
Консоль поиска Google сообщает о нескольких статусах неиндексированных страниц, например «Просканировано — в настоящее время не проиндексировано» или «Обнаружено — в настоящее время не проиндексировано». Хотя эта информация явно не помогает решить проблему, это хорошее начала диагностики.
Основные проблемы с индексацией
Наиболее популярные проблемы индексации, о которых сообщает Google Search Console:
1. «Просканировано — в настоящее время не проиндексировано»
В этом случае Google посетил страницу, но не проиндексировал ее.
Исходя из моего опыта, это обычно проблема качества контента. Учитывая бум электронной коммерции, который в настоящее время происходит, ожидаемо, что Google стал более требовательным к качеству сайтов. Поэтому, если вы заметили, что ваши страницы «просканированы — в настоящее время не проиндексированы», убедитесь, что контент на этих страницах имеет уникальную ценность:
- Используйте уникальные заголовки, описания и текст на всех индексируемых страницах.
- Избегайте копирования описаний продуктов из внешних источников.
- Используйте канонические теги для объединения повторяющегося контента.
- Запретите Google сканировать или индексировать некачественные разделы вашего сайта с помощью файла robots.txt или тега noindex.
Мы разрабатываем рейтинговые сайты. Напишите нам!
2. «Обнаружено — в настоящее время не индексируется»
Это проблема может охватывать всё, от проблем со сканированием до недостаточного качества контента. Это серьезная проблема, особенно в случае крупных интернет-магазинов. И такое может случиться с десятками миллионов URL-адресов на одном сайте.
Google может сообщить, что страницы продуктов электронной коммерции «обнаружены — в настоящее время не проиндексированы» по следующим причинам:
- Проблема с бюджетом сканирования: в очереди сканирования может быть слишком много URL-адресов, и они могут быть просканированы и проиндексированы позже.
- Проблема с качеством: Google может подумать, что некоторые страницы в этом домене не стоит сканировать и решит не посещать их, ища шаблон в их URL.
Чтобы справиться с этой проблемой, требуется некоторый опыт. Если вы обнаружите, что ваши страницы «обнаружены — в настоящее время не проиндексированы», сделайте следующее:
- Определите, есть ли шаблоны страниц, попадающих в эту категорию. Может быть, проблема связана с определенной категорией товаров, а вся категория не имеет внутренней связи? Или, может быть, огромная часть страниц продуктов ожидает в очереди на индексирование?
- Оптимизируйте свой краулинговый бюджет. Сосредоточьтесь на обнаружении некачественных страниц, которые Google тратит много времени на сканирование. К обычным подозрениям относятся страницы отфильтрованных категорий и страницы внутреннего поиска — эти страницы могут легко попасть в десятки миллионов на типичном сайте электронной коммерции. Если робот Googlebot может свободно их сканировать, у него может не быть ресурсов для доступа к ценным материалам на вашем сайте, проиндексированным в Google.
Мы разрабатываем сайты под ключ и продвигаем их статьями. Напишите нам!
3. «Повторяющееся содержание»
Дублирование контента может быть вызвано разными причинами, например:
- Варианты языка (например, английский язык в Великобритании, США или Канаде). Если у вас есть несколько версий одной и той же страницы, ориентированных на разные страны, некоторые из этих страниц могут оказаться неиндексированными.
- Дублированный контент, используемый вашими конкурентами. Это часто происходит в e-commerce, когда несколько сайтов используют одно и то же описание продукта, предоставленное производителем.
Помимо использования rel = canonical, 301 редиректа или создания уникального контента, я бы сосредоточился на предоставлении уникальной ценности для пользователей. Fast-growing-trees.com может быть примером. Вместо скучных описаний и советов по посадке и поливу на сайте можно увидеть подробный FAQ по многим продуктам.
Кроме того, вы можете легко сравнивать похожие товары.
Для многих продуктов есть FAQ.
Как проверить индексирование вашего сайта
Вы можете легко проверить, сколько страниц вашего сайта не проиндексировано, открыв отчет об индексировании в Google Search Console.
Первое, на что следует обратить внимание, — это количество исключенных страниц. Затем попробуйте найти закономерность — какие типы страниц не индексируются?
Если у вас интернет-магазин, вы, скорее всего, увидите неиндексированные страницы продуктов. Хотя это всегда должно быть предупреждающим знаком, вы не можете ожидать, что все страницы ваших продуктов будут проиндексированы, особенно на большом сайте. Например, в большом интернет-магазине обязательно будут дублирующиеся страницы и товары с истекшим сроком годности или отсутствующие в наличии. Этим страницам может не хватать качества, которое поместило бы их в начало очереди индексации Google (и это если Google вообще решит сканировать эти страницы).
Кроме того, на крупных интернет-магазинах, как правило, возникают проблемы с бюджетом сканирования. Я видел случаи, когда в интернет-магазинах было более миллиона товаров, в то время как 90% из них были классифицированы как «обнаруженные — в настоящее время не проиндексированные». Но если вы видите, что важные страницы исключаются из индекса Google, вы должны быть серьезно обеспокоены.
Мы экспертно запускаем сайты брендов. Напишите нам!
Как повысить вероятность того, что Google проиндексирует ваши страницы
Каждый сайт индивидуален и может иметь разные проблемы с индексированием. Тем не менее, вот советы, как проиндексировать сайт:
1. Избегайте ошибок «Soft 404».
Убедитесь, что на ваших страницах нет ничего, что может ложно указывать на мягкий статус 404. Это включает в себя все, что угодно, от использования «Не найдено» или «Недоступно» в копии до наличия числа «404» в URL-адресе.
2. Используйте внутренние ссылки.
Внутренние ссылки — один из ключевых сигналов для Google о том, что данная страница является важной частью сайта и заслуживает индексации. Не оставляйте лишних страниц в структуре вашего сайта и не забудьте включить все индексируемые страницы в карты сайта. Внутренние ссылки — один из элементов кайдзен сайта.
3. Реализуйте надежную стратегию сканирования.
Не позволяйте Google сканировать ваш сайт. Если на сканирование менее ценных частей вашего домена тратится слишком много ресурсов, Google может потребоваться слишком много времени, чтобы добраться до нужного. Анализ журнала сервера может дать вам полное представление о том, что сканирует робот Googlebot и как его оптимизировать.
4. Устранение некачественного и дублированного контента.
На каждом большом сайте в конечном итоге появляются страницы, которые не следует индексировать. Убедитесь, что эти страницы не попадают в ваши карты сайта, и при необходимости используйте тег noindex и файл robots.txt. Если вы позволите Google проводить слишком много времени в худших частях вашего сайта, это может недооценить общее качество вашего домена.
5. Посылайте последовательные сигналы SEO.
Один из распространенных примеров отправки непоследовательных сигналов SEO в Google — это изменение канонических тегов с помощью JavaScript. Как сказал Мартин Сплитт из Google во время работы JavaScript SEO Office Hours, вы никогда не можете быть уверены в том, что Google будет делать, если у вас есть один канонический тег в исходном HTML и другой после рендеринга JavaScript.
Мы виртуозно делаем запоминающиеся сайты. Напишите нам!
Интернет становится слишком большим
За последние пару лет Google совершил гигантский скачок в обработке JavaScript, упростив работу оптимизаторов поисковых систем. В наши дни реже можно увидеть сайты на базе JavaScript, которые не индексируются из-за конкретного технического стека, который они используют.
Но можем ли мы ожидать того же самого с проблемами индексации, не связанными с JavaScript? Я так не думаю. Интернет постоянно растет. Каждый день появляются новые сайты, а существующие растут. Сможет ли Google справиться с этой проблемой?
Этот вопрос появляется время от времени. Цитата Google:
«У Google ограниченное количество ресурсов, поэтому, когда он сталкивается с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только его часть».
Другими словами, Google может посещать только часть всех страниц в Интернете и индексировать еще меньшую часть. И даже если ваш сайт великолепен, вы должны помнить об этом.
Вероятно, Google не будет посещать все страницы вашего сайта, даже если он относительно небольшой. Ваша задача — убедиться, что Google может обнаруживать и индексировать страницы, важные для вашего бизнеса.
Мы продвигаем сайты статьями. Свяжитесь с нами!