Как проиндексировать сайт в гугл

Как проиндексировать сайт в Google

Чтобы ваш сайт показывался пользователям в результатах поиска, вам нужно добавить информацию о сайте в SEO настройки сайта и проиндексировать сайт.

Содержание

Как индексируется сайт

Индексирование в поисковых системах — это процесс считывания и добавления сведений о сайте роботом поисковой машины в базу данных, которую будут использовать для поиска текста по запросу пользователя.

Поисковый робот для индексации просматривает следующие данные:

• метаданные (заголовок, описание, ключевые слова),
• контент (актуальность и уникальность текста внутри сайта и подписи к картинкам)
• внутренние (ссылки внутри контента на странице, перелинковка между страницами сайта и добавленная навигация) и внешние ссылки (ссылка на нужную страницу с другого авторитетного сайта),
• ответ сервера при открытии страницы (существует ли страница и можно ли ее открыть) и другие данные.

Чтобы сайт быстрее проиндексировался, добавьте ссылку на ваш сайт на другом популярном сайте. Также вы можете добавить сайт в инструменты для вебмастеров, которые предоставляют владельцу рекомендации по улучшению сайта, устранению ошибок, а также данные отображению и ранжированию сайта в поисковых системах.

Как добавить сайт в Google Search Console

Войдите в вашу учетную запись Google и добавьте адрес на ваш сайт в Google Search Console.

Далее нужно подтвердить, что сайт действительно принадлежит вам.

Перейдите на вкладку «Метатег», чтобы выбрать способ подтверждения домена с помощью метатега. Скопируйте предложенный HTML код.

Перейдите в настройки сайта в вашем аккаунте SendPulse на вкладку «Произвольный код» (Custom code) и нажмите «Добавить код на сайт» (Add code to site).

Выберите разместить код в head. Введите название для добавленного кода и сам скопированный код и нажмите кнопку «Добавить» (Add).

Чтобы убедиться, что метатег добавлен, перейдите на сайт под этим доменом и проверьте исходный код.

Вернитесь на страницу с подтверждением прав в Google Search Console и нажмите «Подтвердить» (Verify).

Если код установлен успешно, вы получите подтверждение.

После проверки подтверждения и проверки страницы на сайте нажмите «Запросить индексирование» (Request Indexing).

Как добавить сайт в другие поисковые системы

Вебмастер Bing (yahoo.com) настраивается по тому же принципу, что и Google — через добавление сайта в систему, подтверждение прав и запрос индексирования.

Как закрыть сайт для индексации

В SendPulse вы можете закрыть сайты для индексации. Это понадобится в случае, если вы решили внести изменения в контент и структуру сайта и не хотите, чтобы в это время наполнение сайта индексировалось поисковыми системами.

Перейдите на вкладку «Настройки» (Settings), отметьте чекбокс «Запретить индексацию сайта» (Disallow site indexing) и нажмите «Сохранить» (Save).

Если у сайта есть кастомный домен, то в файл robots.txt для системного домена будет сделана запись Disallow: / . То есть, если есть кастомный домен, системный домен этого сайта будет закрыт для индексации.

Что такое индексация и как ее улучшить

Индексация сайта — это процесс сбора информации поисковой системой о содержимом вашего сайта. Во время индексации поисковые роботы (пауки) сканирую и обрабатывают web страницы, изображения, видео и другие доступные для сканирования файлы. Чтобы поисковая система быстро проиндексировала сайт: создайте карту сайта и добавьте ее в Google Search Console.

Сайт должен быть проиндексирован чтобы отображаться в поиске

Страницы, которые прошли сканирование и обработку, сохраняются в базу данных. Такая база называется “поисковой индекс”. Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.

• Если страницы нет в поисковом индексе — ее невозможно найти в поисковой системе.
• Индексация нужна чтобы участвовать в поиске.
• У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
• Поисковой бот от Google называется Googlebot.
• Настройка индексации сайта, это базовый уровень работ по SEO.

Как проверить индексацию страницы?

Самый быстрый способ — написать в строку поиска команду site:[адрес страницы]. Такой поиск найдет все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]. Если вам нужно проверить индексацию конкретной страницы просто скопируйте ее адрес и введи в поиск запрос site:[адрес страницы]. Этот метод будет работать как в Google так и в Yandex или Bing.

Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.

Как проверить индексацию всего сайта

Для проверки индексации сайта нужно выполнить 2 простых шага:

1. Узнать сколько страниц на сайте. Для этого просканируйте свой сайт специальными инструментами. Если ваш сайт до 500 страниц вам подойдет бесплатная версия Screaming Frog , если этого недостаточно используйте, бесплатный Site Analyzer. В разделе “HTML” вы увидите общее количество страниц вашего сайта.
2. Зайдите в инструменты для вебмастеров или Google Search Console (Что такое Google Search Consol ) откройте отчет “Покрытие” и просмотрите количество страниц в статусе “Без ошибок”. Количество страниц в сканере Site Analyzer и страниц в Google Search Console должно приблизительно совпадать. Это, будет означать, что основные страницы сайта сканируются. Если часть страниц попала в группу “Исключено” вы можете изучить причины исключения страниц. В этом же отчете вы можете познакомиться с историей индексации вашего сайта за последние 3, 6 или 12 месяцев.
3. Довольно часто в отчете “Покрытие” вы можете увидеть большое количество страниц в статусе “Страница просканирована, но пока не проиндексирована” — это означает, что поисковая система уже получила данные о ваших страницах но пока не обработала их до конца. Так же, страницы могут находиться в этом статусе по причине низкого качества: пустые страницы или страницы с повторяющимся содержанием. Если количество “пока не проиндексированных” страниц не сокращается попробуйте уникализировать, добавить содержание или увеличить количество качественных внешних ссылок на свой сайт.
4. Если вам нужно массово проверить индексацию страниц вашего сайта, воспользуйтесь онлайн инструментом https://indexchecking.com
5. Хорошая идея проверить свой сайт с помощью инструментов https://en.ryte.com — это поможет вам понять какие страницы закрыты от индексации. А так же, обнаружить страницы на которых есть технические проблемы.

Проверяем не закрыта ли отдельная страница от индексации

Если перед вами появилась задача, проверить запрет индексации конкретной страницы проще всего использовать инструменты для вебмастеров. Скопируйте адрес страницы которую вы хотите проверить и вставьте в инструмент “Проверка URL на ресурсе”.

В результате проверки вы получите информацию о запретах индексации. Обратите внимание на информацию о запретах, статусе страницы и канонический адрес.

Как добавить новый сайт в индекс поисковиков?

Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex. Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.

Узнайте больше о работе поисковой системы

Что делать, если сайт плохо индексируется?

Прежде всего нужно проверить не закрыт ли сайт от индексации. Это можно сделать по инструкции в этой статье чуть выше. Основные способы улучшить индексацию:

• Создайте карту сайта и загрузите в инструменты для вебмастеров.
• Обновите старые страницы.
• Удалите пустые страницы.
• Поставьте дополнительные ссылки на сайт с сторонних сайтов и соц. сетей.

Как происходит индексация сайта

Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:

1. Сканирование страниц.
2. Обработка страниц.

Этап 1: Сканирование

Сканирование или “обход” страниц — это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:

1. Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
2. Перечень ссылок, которые находятся на странице.

Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список — “очередь сканирования”, для дальнейшей обработки.

Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что первый способ ускорить сканирование сайта — увеличить количество ссылок на нужные страницы.

Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты. Второй способ улучшить индексацию — создать карту сайта sitemap.xml и сообщить о ней поисковой системе. Карта сайта – самый простой способ отправить на индексацию все страницы в рамках нашего домена.

Есть несколько способов создать карту сайта:

• Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com.
• Программа для сканирования сайта, с возможностью создания sitemap — xenu links.
• Библиотека приложений для создания sitemap.
• Самый популярный плагин для создания карты сайта для WordPress.

Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt

Добавление карты сайта в Search Console:

1. Зайдите в https://search.google.com/search-console/
2. Добавьте свой сайт или выберите из списка.
3. Перейдите в раздел Сканирование – Файлы Sitemap.
4. Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.

Добавление sitemap в robots.txt:

1. Зайдите в корневой каталог сайта через ftp.
2. Откройте файл robots.txt
3. Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.

Третий способ ускорить индексацию — сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.

Инструмент проверки заголовка lastmod и ответа сервера not modify.

Наличие настроек lastmod и not modify позволяют поисковой системе быстро получить информацию о том, изменилась ли страница с даты последнего сканирования. Благодаря этому поисковой бот ставит в приоритет новые и измененные страницы, а новые страницы быстрее индексируются.

Для настройки lastmod и not modify вам нужно будет обратиться к веб разработчику.

Этап 2: Обработка данных

Перед тем как сохранить информацию в базу данных, она проходит обработку и структуризацию, которая необходима для ускорения дальнейшего поиска.

В первом шаге обработки программа-индексатор формирует страницу с учетом всех стилей, скриптов и эффектов. В этот момент программа-индексатор понимает расположение элементов на странице, определяет видимые и невидимые пользователю части, разделяет страницу на навигацию и содержание.

Важно чтобы google bot имел полный доступ к css и js файлам, ведь без них индексатор не сможет понять структуру страницы. Для проверки доступности всех служебных файлов зайдите в Google Search Console, отчет “Посмотреть как Googlebot” в разделе “Сканирование”. Проверьте с помощью этого инструмента основные страницы сайта, обратите внимание на различия между тем, как вашу страницу видит поисковой бот и как ее видит пользователи. Изучите таблицу из отчета. Все ресурсы, которые размещены на вашем домене, должны быть открыты для сканирования.

Сейчас Google использует алгоритм индексации, который называется Caffeine. Он был запущен в 2009 году. Основные задачи этого алгоритма:

• Обработка современных страниц, использующих сложные js и css элементы.
• Максимально быстрое сканирование всех страниц в Интернете.

Анализ текста при индексации

После разделения страницы на зоны и определения их важности, алгоритм выделяет из содержания основные элементы для дальнейших расчетов. Так одним из самых популярных показателей, которые поисковая система извлекает из страницы, является частота упоминания ключевого слова.

Стоит отметить, что перед расчетом частоты упоминания слова, индексатор проводит упрощение слов к элементарной форме. Этот процесс называется стеминг. Такое упрощение позволяет учитывать слово в разных словоформах как одно слово.

Частота упоминания (Term frecency, ТА) слова рассчитывается как отношение упоминания слова к общему количеству слов страницы. Пример: если на странице 100 слов и слово “машина” встречалось на ней 2 раза — частота упоминания слова “машина” будет равна TF=0,02

Самый простой поисковой индекс легко представить в виде огромной таблицы, в столбцах которой перечислены все слова языка, а в строках — адреса всех страниц. При этом в ячейках указаны частоты слов на соответствующих страницах.

Именно такая таблица позволяет поисковой системе быстро находить страницы, которые содержат нужные слова. Конечно современные поисковые системы учитывают не только частоту упоминания слов, но и более сложные факторы. Поисковой индекс Google значительно сложнее чем приведенный пример.

Анализируя содержание поисковая система проверяет уникальность страницы. Тексты и прочее содержание, которое уже было проиндексировано на других страницах, не несет ценности для системы, так как не добавляет в базу новой информации. А это значит, что страницы с низкой уникальностью могут быть не проиндексированы. Проверить уникальность достаточно просто с помощью бесплатных инструментов.
Старайтесь создавать максимально уникальный и полезный контент и он точно будет проиндексирован.

От чего зависит индексация сайта?

1. Доступность сайта для индексации — если сканирование сайта запрещено поисковая система не сможет получить его страницы. Подробнее о инструментах управления индексацией: youtube.com Внутренняя оптимизация: robots.txt, sitemap
2. Количество ссылок на ваш сайт — ссылки, это пути которые приводят поисковых роботов к вам на сайт. Чем больше ссылок с популярных ресурсов вы получаете, тем чаще будут сканироваться страницы вашего сайта.
3. Частота обновления сайта. Поисковые системы всегда ищут новый интересный контент, чем чаще вы публикуете новое уникальное содержание, тем быстрее поисковая система будет его сканировать.
4. Наличие сайта в инструментах поисковых систем. Видео в тему: Как зарегистрировать сайт в Google Search Console.

Подведем итоги

• Индексация — это процесс сканирования и обработки содержания для хранения в базе данных поисковой системы.
• Ускорить индексацию можно с помощью ссылок, карты сайта и настроек сервера.
  Чтобы поисковая система понимала ваши страницы, все ресурсы вашего сайта должны быть доступны поисковому боту.

Мы можем проверить и настроить индексацию вашего сайта за вас.

Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.

Как добавить страницу в поиск Яндекса и Google

Новый ваш сайт или давно действующий в определенный момент вам понадобиться добавление страниц в поиск. Отдельная страница акции, новый товар или контент — он должен быть проиндексирован и быть видимым для поисковых системы. Мы расскажем как это сделать.

Чтобы быстро добавить страницу в поиск Яндекса, необходимо войти в сервис Яндекс.Вебмастер и воспользоваться инструментом «Переобход страниц».

Важно! Права на сайт должны быть заранее подтверждены.

Чтобы добавить страницу в индекс Google, надо войти в Search Console, выбрать необходимый сайт. Далее в разделе «Сканирование» выбрать «Просмотреть как Googlebot», добавить адрес новой страницы, выбрать «Сканировать» и далее кликнуть на «Запросить индексирование».

• автоматическое добавление новой страницы в карту сайта sitemap.xml;
• наличие ссылок на новую страницу с популярных разделов вашего сайта или с внешних веб-ресурсов.

Проверка индексации страницы

Сканируйте сайт на наличие технических ошибок и получите список задач с подробными инструкциями по их устранению.

• What is Google Indexing
• How to Use Google Indexed Pages Checker
• Free Google Index Status Check Special Features
• The Reasons For a Page Not to be Indexed
• The Reasons For a Domain Not to be indexed
• The Ways to Index your Web Pages in Google Quickly
• Importance of Checking Google Index Status
• FAQ

Googlebot, сканирование и индексирование

Для начала нужно понять, что такое Googlebot, чем отличаются сканирование и индексирование, и каким образом оба процесса могут способствовать быстрому попаданию страниц в поисковую выдачу.

• Googlebot или инструмент Google для индексации страниц – это название поисковой программы (бота), обязанность которого – сбор данных о документации в Интернете для дальнейшего её включения в поисковый индекс Google.
• Процедура посещений ботами веб-сайтов (как новых, так и старых) в поисках нового и обновленного контента для дальнейшей передачи информации Google называется сканированием. Откуда бот знает, что сканировать? Этот процесс обуславливается ссылками!
• Индексация – это следующий шаг, совершающийся при обработке документов, собранных на этапе сканирования. Если контент идентифицируется как качественный, то как только обработка завершена, информация добавляется в индекс поиска Google. Рассмотрение слов на определенной странице в ходе индексации является обязательным. Кроме того, на этом этапе также происходит анализ alt тегов и тайтлов.

Но как же ботам удается обнаружить новый материал, будь то обновленное содержание страницы, блога или какого-либо абсолютно нового сайта? Это происходит благодаря ранее собранной в Интернете информации о страницах, проиндексированных Google, и информацией с карты сайта, предлагаемой веб-мастером. Ключевой вопрос – как проиндексировать страницы быстрее?

Методы ускорения индексации сайта

• Создание Sitemap. Документ Sitemap XML представляет список страниц на сайте, хранящийся на сервере сайта. Когда вы добавляете новые страницы на сайт, он информирует поисковую систему об этом и дает инструкции относительно желаемого графика проверки изменений на определенных страницах. Вы вправе выбирать частоту. Если необходимо, можете заставить поисковую систему проверять ваши страницы на наличие обновленной информации (новые товары, посты или любой другой контент) каждый день. Если же нет, выберите другую частоту проверок. В случае с WordPress, установка плагина Google XML Sitemaps позволяет автоматизировать создание и обновление карты сайта, передавая необходимые данные поисковым системам. Еще один вариант – плагин Yoast SEO.
• Предоставьте Google Indexing Tool свою карту сайта. Итак, у вас есть карта сайта. Как только она будет создана, перейдите в Google Webmaster Tools в аккаунт сайта. Если у вас его нет, создайте бесплатную учетную запись в Google и зарегистрируйтесь в Webmaster Tools. Далее, добавьте свой сайт в Webmaster, откройте папку «Сканирование», выберите «Sitemaps» и вставьте ссылку на свой файл Sitemap. Таким образом вы сообщаете поисковой системе Google о новых страницах. Чтобы получить еще лучший результат, дополнительно используйте консоль Bing. Там есть возможность создать другую учетную запись, войти в систему и включить свою карту сайта с помощью Webmaster Tools. Как поисковый бот знает, что сканировать? Это благодаря ссылкам! Не забудьте запустить проверку robots.txt файла, чтобы убедиться, что все необходимые страницы разрешены для индексации.
• Используйте Google Analytics. Установка Google Analytics используется в основном для отслеживания источников трафика и анализа поведения пользователей. Но само добавление кода на новый сайт и настройка аккаунта в системе аналитики уже уведомляет Google о появлении нового сайта, который необходимо просканировать.
• Добавьте URL страницы вручную. Это один из подходов, которым большинство людей пренебрегают, когда ищут возможности заставить поисковые системы просканировать страницы быстрее. Инструменты Google для индексирования не требуют дополнительных усилий или ресурсов и, безусловно, не наносят никакого вреда! Что необходимо сделать, так это, лишь войти в свой Google аккаунт и выбрать «Отправить URL» в Webmaster Tools.
• Создавайте и обновляйте свои социальные профили. Теперь, когда вы знаете, что ссылки служат для привлечения ботов на сайт, вы понимаете еще одну полезную функцию социальных сетей. Создайте профили в LinkedIn, Twitter, Pinterest, Facebook, YouTube и Google+. Используйте как можно больше соцсетей. После публикации страницы сразу публикуйте ссылку на неё в ваших соцсетях.
• Разместите ссылки на новую страницу на внешних ресурсах. Блоги, статьи, пресс-релизы, посты посетителей и другие варианты линкбилдинга значительно ускоряют индексирование страницы.