Проверить проиндексирован ли сайт: Как проверить, что сайт был проиндексирован поисковыми системами?

Содержание

Как проверить индексацию страниц сайта в поисковых системах Яндекс и Google

Автор статьи Асеев Василий Руководитель компании / Интернет маркетолог

Соц. сети:

Поделиться статьей
Прочитать позже

Содержание статьи:

Нам часто задают вопрос: “Как узнать проиндексирован ли сайт в Яндексе?”. На этом же месте может быть и Google, и просто поисковые системы в целом. Ведь иногда ресурс подготовлен к продвижению, открыт для индексации, но трафика так и нет. В этом случае непонятно что делать: просто ещё немного подождать или трафик так и не придёт, потому что поисковая система просто не проиндексировала сайт? Давайте разбираться, как всё это работает.

Что такое индексация и зачем её контролировать?

Индексация — это процесс, во время которого поисковые системы добавляют в свою базу информацию о конкретном сайте. Новый ресурс, который создали только вчера, не будет в тот же день показываться в поисковиках. Сначала поисковые роботы должны зайти на него, разобраться, что можно, а что нельзя сканировать, собрать информацию, оценить её и только потом представить пользователям. И так происходит всегда: даже если ресурс существует давно, при добавлении новых страниц и разделов все они проходят через индексацию.

Полностью понять, как проходит индексация, сложно. Ни Яндекс, ни Google не раскрывают точных алгоритмов.

Сайт может как попасть в индекс, так и вылететь из него. Это значит, что ни один пользователь не увидит его в поисковой выдаче. А следовательно трафик на ресурс заметно снизится и потянет за собой количество клиентов. Вот почему важно контролировать индексацию не только на этапе создания, но и в остальное время. Ведь страницы, которые ещё вчера индексировались в поиске, сегодня уже могут пропасть из него. Причин, по которым такое может произойти, несколько.

Проверка индексации сайта

Теперь давайте разберёмся, как проверить, верно ли проиндексирован ваш сайт. Основные способы — ниже.

Проверка через Яндекс.Вебмастер
Проиндексирован ли ресурс в Яндексе, можно проверить в панели Вебмастера. Для этого в левой колонке выберите раздел “Индексирование”, а потом перейдите на “Страницы в поиске”.

В разделе “Все страницы” вы увидите все проиндексированные материалы. В исключённых можно найти страницы которые, наоборот, не индексируется в Яндексе.

Также общее количество страниц и число тех, что находятся в поиске, можно увидеть в списке “Мои сайты”.
Проверка через Google Search Console
Как посмотреть индексацию сайта в Google? Именно через этот инструмент.
Заходим в раздел “Индекс”, а потом на вкладку “Страницы”. Там мы увидим количество проиндексированных и не проиндексированных материалов. Это число примерное, потому что что-что роботы могли ещё не успеть просканировать.

Также ниже можно найти причины, по которым некоторых URL нет в индексе.

Индексацию отдельных страниц можно проверить в разделе “Проверка URL”. В строку поиска нужно ввести адрес, а система покажет, есть ли он в индексе. Также если вы недавно вносили какие-то изменения, здесь можно запросить повторное сканирование, чтобы информация в базе поисковой системы обновилась быстрее.
Проверка с помощью операторов поисковой выдачи
Операторы — это специальные слова, которые помогают выполнить какие-то функции. В нашем случае пригодятся поисковые операторы, которые уточнят результаты выдачи.
Их нужно подставить перед началом ссылки на страницу, отделить от неё двоеточием и ввести получившуюся комбинацию в строку поиска. То есть выглядит это так: “оператор: ссылка”. Узнавать индексацию сайта в Яндексе и Google в этом случае придётся отдельно.

Для нужных нам целей существуют три оператора:
- Site. Позволяет увидеть, сколько страниц проиндексировано. Количество результатов в выдаче по запросу “site: ваш URL”, это и есть число страниц в индексе. Но этот способ не всегда показывает точные данные. Например, если результатов больше двух тысяч, то может возникнуть большая погрешность.
- Url. Помогает понять, показывается ли конкретная страница сайта в поисковой выдаче. Если она проиндексирована, по такому запросу найдётся только один результат.
- Host. Можно использовать, чтобы найти страницы только на конкретном домене. То есть если у вас есть поддомены для других городов, для проверки есть смысл воспользоваться именно этим методом.
Проверить индексацию с помощью инструментов для SEO
В программах, которые SEO-специалисты используют для работы, также есть функции для проверки индексации. Например, это можно сделать через инструмент “Проверка индексации” от PR-CY. В поле вводится список страниц, которые нужно проверить, а потом выбирается поисковая система. После проверки программа просто показывает, есть URL в поиске или нет. Бесплатно можно проверить список до 10 ссылок, в платном до 500.

Ещё один пример — сервис Пиксель Тулс. На нём есть быстрый аудит сайта, где можно ввести нужный URL и посмотреть, сколько страниц проиндексировано в Яндексе и в Google с учётом поддоменов и без них. Сервис платный, но помимо этой там есть ещё много полезных для SEO функций.
Проверка с помощью расширений для браузера
Также для быстрой проверки индексации существуют расширения, которые устанавливаются в браузер. Для примера разберём два из них.

Первое расширение — SEO-tools. В нём есть много инструментов для контроля продвижения ресурса, в том числе проверка индексации. По сути сервис просто подставляет за вас операторы, о которых мы говорили выше, так что вам не нужно вбивать их вручную. Работает это так: вы заходите на необходимый адрес, открываете расширение, нажимаете на нужный значок в разделе индексации и система за вас подставляет к ссылке нужный оператор и перебрасывает вас в выдачу.

Ещё одно расширение называется ”SEO-анализ сайта от Be1.ru”. Здесь опять заходим на нужную страницу, открываем расширение и проматываем вниз. Появится раздел “Видимость страницы”, где будут указаны запросы, по которым она отображается в поиске. Соответственно, если блок будет пустым, она не проиндексирована.

Почему сайт или отдельная страница могут отсутствовать в индексе?

С тем, как проверить индексацию сайта, разобрались. Теперь давайте посмотрим, почему он всё-таки может быть не проиндексирован.

Индексация запрещена в файле robots.txt
Robots.txt — это специальный файл, который отвечает за разрешение или запрет индексации. С его помощью можно закрыть весь ресурс, например, если вы вносите на него глобальные изменения и не хотите, чтобы он пока появлялся в поиске. Или можно запретить поисковым роботам заходить в разделы, которые содержат техническую или конфиденциальную информацию, не предназначенную для того, чтобы появляться в открытом доступе.

Но иногда что-то идёт не так и закрытыми оказываются части сайта, которые вы всё-таки хотели бы продвигать в поиске. Чтобы посмотреть, не относится ли эта ситуация к вам, можно зайти в файл robots.txt (он находится в корневой папке сайта) и посмотреть, что именно в нём закрыто от индексации. Также данные об этом можно найти в том же Яндекс.Вебмастере или Google Search Console. Рядом со списком проиндексированных страниц есть список страниц, которые исключены из индекса в этом файле.
Индексирование закрыто метатегом noindex
Тег noindex используется, чтобы скрыть отдельные страницы или какую-то часть контента на них. Например, в карточках товаров в интернет-магазинах часто бывает повторяющаяся информация про доставку и оплату, что может плохо повлиять на общую уникальность контента. Чтобы этого избежать, одинаковый текст скрывают с помощью тега noindex.

Здесь опять же может возникнуть какая-то ошибка, при которой скрытым окажется не то, что нужно. Чтобы это выяснить, нужно зайти в код страницы и найти в нём тег noindex. Если его там нет, значит этот вариант не объясняет отсутствие индексации.
Запрет в файле .htaccess
Это ещё один полезный файл, который отвечает за работу сервера. В нём также можно прописать директивы, которые запретят индексирование. Файл .htaccess, как и robots.txt находится в корневой папке.
Неправильные настройки CMS
Если ваш ресурс управляется с помощью CMS, то есть шанс, что индексирование запрещено в админпанели. В некоторых CMS также можно вносить правки в файл robots.txt. Так что даже если вы никогда не видели этот файл, возможно, правки в него вносились через админпанель. Также в некоторых системах запрет индексации для новых ресурсов стоит по умолчанию, так что его нужно просто отключить.
Сайт новый и/или слишком большой
Иногда бывает так, что вы только создали свежий ресурс или добавили какой-то новый раздел, и теперь с нетерпением проверяете, проиндексирован ли сайт, но этого всё не происходит. Индексация занимает довольно много времени, поэтому роботы просто могли ещё не успеть проанализировать ваш ресурс. В целом на полную индексацию среднего сайта понадобится до месяца, а если ресурс крупный — то ещё больше.

Помочь роботам быстрее собрать информацию поможет наличие карты сайта. Это специальная страница, где подробно описана структура ресурса. Таким образом робот ничего не упустит и отсканирует все важные элементы. Карту можно сравнить с оглавлением: искать информацию по нему намного легче, чем просто листая книгу. Карту нужно постоянно обновлять, чтобы данные не устаревали. Либо, если у вас часто появляется новый контент, есть смысл сделать её динамичной. Иначе можно только запутать поисковых роботов и навредить массовой индексации.

Также существует понятие краулингового бюджета. Это количество страниц, которое поисковый робот может отсканировать за одно посещение. У каждого сайта бюджет свой, а формула его расчёта точно неизвестна. Рекомендации по тому, как оптимизировать краулинговый бюджет и сделать так, чтобы роботы быстрее анализировали ресурс, мы дадим в последнем разделе статьи.
На вас наложили санкции
За использование запрещённых методов продвижения поисковые системы могут накладывать на ресурсы санкции. Одна из таких мер — снижение количества отображаемых в выдаче страниц.

Проблема здесь в том, что во многих ситуациях нельзя точно сказать, есть ли на вас санкции. В некоторых случаях вы можете получить письмо с уведомлением от поисковой системы, а в некоторых ресурс просто резко перестанет отображаться в выдаче. Но если вы пользовались скрытым контентом, накруткой поведенческих факторов или другими приёмами чёрного SEO, точно есть смысл рассматривать санкции в качестве причины выпадения из индекса. Также часто в этом случае сайт может продолжать индексироваться в одном поисковике, но отсутствовать в другом.
Сайт взрослый, но на нём редко обновляется контент
Если контент публикуется редко, со временем поисковые роботы понимают, что слишком часто посещать ресурс не имеет смысла, ведь ничего нового на нём не появляется. Это приводит к тому, что при обновлении роботы могут нескоро зайти к вам, поэтому сканирования приходится ждать долго.

Как сделать так, чтобы страницы сайта быстрее появлялись в индексе?

Вот несколько основных советов:

Регулярно обновлять контент. Например, можно завести раздел блога или пополнять ассортимент новыми товарами (для интернет-магазинов).
Подготовить карту сайта (если её ещё нет). Если контент обновляется очень часто, сделать карту динамической.
Работать со скоростью загрузки. Всё логично: чем быстрее грузится ваш сайт, тем быстрее роботы могут его отсканировать.
Избавиться от дублей страниц. Если краулинговый бюджет тратится на сканирование одних и тех же дублей, индексацию действительно важного контента можно ждать очень долго.
Устранить ненужные редиректы, битые ссылки и мусорные страницы. На них тоже бесполезно тратится краулинговый бюджет. Ведь роботы переходят на несуществующие страницы и сканируют бесполезный контент.
Настроить перелинковку. Если все страницы связаны между собой внутренними ссылками, роботам также проще просканировать их. Это ещё одно хорошее дополнение к карте сайта.
Принудительно отправлять на индексирование. В Google это легко сделать через Search Console.

Вернуться к оглавлению

Поделиться статьей

Оцените статью

Наши услуги по теме:

SEO
оптимизация

Продвижение сайта
на лидирующие позиции в поиске

Подробнее

Рекомендуем прочитать

Индексация сайта: что это за процесс и как его ускорить

Как закрыть сайт от индексации поисковыми системами: 3 основных способа

В каких случаях может понадобиться закрыть поисковым роботам доступ к сайту и как это сделать.

Персональные закладки

Все рубрики

Все статьи
LP и сайты
SEO Оптимизация
Аналитика
Заметки специалиста
Контекстная реклама
Отдел продаж
Продвижение в интернете
Управление репутацией

Подпишитесь на полезный контент

Есть интересный проект?

Давайте его обсудим!

Обсудить проект

Наш Telegram канал @ SoldiMarketing -присоединяйтесь

Обсуждения

Полезное видео каждую неделю. Подписывайся!

Гостевой постинг: важные аспекты размещения и продвижения через внешние ресурсы.

Продающий лендинг: что это, для чего нужен, как сделать и продвигать | landing page | лэндинг

Все о Яндекс Кью | Экспертность | Узнаваемость бренда | Теплый трафик на сайт и лиды

12 инструментов как повысить узнаваемость бренда | Как отслеживать узнаваемость бренда?

12 причин почему сайт не может попасть в ТОП. Как продвинуть сайт в ТОП? SEO продвижение сайта

10 самых частых ошибок на сайте, которые убивают конверсию. Технический аудит сайта Конверсия сайта

Сквозная аналитика: что это и зачем. Как увеличить доход от интернет маркетинга? Roistat

SEO 2021. 16 трендов SEO продвижение сайта

Продвижение сайта 2021. Внешние ссылки: 12 критериев выбора. Seo audit

Бесплатный трафик на сайт. ТОП-8 инструментов. Рабочие схемы

Аудит сайта: эти 13 ОШИБОК есть у КАЖДОГО третьего. SEO audit

Внедрение CRM системы в отделе продаж ➤ 7 ФИШЕК, чтобы все заработало | Бизнес идеи

Работа с отзывами в интернете. Как НЕ ТЕРЯТЬ клиентов и работать с негативом?

SEO продвижение. Где и у кого заказать? SEO-специалист или агентство? ОШИБКИ при выборе

Разработка сайта для продвижения. Как УВЕЛИЧИТЬ КОНВЕРСИЮ сайта, лендинга с 6,2% до 21%?

Контекстная реклама. Сколько стоит настройка Яндекс.Директ и Google.AdWords (Ads) 2020?

PEST-анализ: многие без него уже потеряли свой бизнес

Блокировка социальных сетей в России

Чем пиар отличается от рекламы? Нужно ли брать пиарщика в штат? Public relations

Продвижение интернет-магазина: советы

Как проверить индексацию сайта в поиске – полное руководство

10–25% дохода интернет-магазины теряют из-за банальной ошибки робота. Вы боретесь за позиции в выдаче и вложились в каждую страницу — а поисковик их не проиндексировал. Рейтинг падает, но в этом никто не виноват. Люди просто не видят ваш сайт в выдаче.

Выделите 5–10 минут в неделю, чтобы проверить индексацию сайта. Вы узнаете, какие страницы отсутствуют в поиске, и почему. В этой статье мы расскажем, как это сделать бесплатно, поможем быстро исправить ошибки индексации и наглядно покажем процесс на примере сайта elit-web.ua.

Что из себя представляет проверка индексации сайта

Индексация сайта — то, ради чего затевают любое продвижение сайта в поисковых системах. Оптимизируя страницы, наполняя их качественным контентом и ключевыми фразами, мы помогаем роботу понять, о чем ваш сайт, и каким пользователям его нужно показывать.

У нас есть большая статья о том, что такое индексация сайта и как ее улучшить. Кстати, вот и она.

Когда проверять индексацию сайта

Поисковые роботы индексируют страницы медленно и частями. В зависимости от количества страниц и настроек, на проверку уйдет от 1 недели до 4 месяцев.

Проверяйте прогресс каждые 1–2 недели, если:

У вас новый сайт.
Реальное количество страниц не соответствует числу проиндексированных.
Есть существенная разница между числом страниц, которые проиндексировали в поисковиках.
Вы меняли или добавляли страницы/контент.

Если у вас есть надежная SEO-команда, вам больше не нужно будет этого делать — подрядчик все выполнит за вас: промониторит ситуацию, ускорит проверку, добьется повторной индексации ошибочных страниц.

Какие есть варианты проверки индексации

Существует огромное количество способов проверить индексацию сайтов — платно и бесплатно, для любителей и профессионалов, в виде отдельного инструмента или в комплексе набора SEO-функционала. Вот основные:

операторы в браузере;
панели вебмастеров;
плагины и букмарклеты;
платные и бесплатные онлайн-сервисы для проверки индексации;
профессиональные программы для веб-мастеров.

Первые 2 способа — самые простые. Остальные требуют дополнительных навыков, но дают больше понимания об индексации и найденных ошибках.

Альтернативный способ — заказать услугу у специалистов. Они уже знают, что делать.

Проанализировать индексацию сайта

Адрес сайта

Пошаговая инструкция проверки индексации

Давайте проверим сайт elit-web.ua разными способами, чтобы увидеть минусы и плюсы каждой из проверок.

1. Проверка индексации в панели вебмастера

Google Search Console — базовый инструмент SEO для вебмастеров, маркетологов и владельцев сайта.

Чтобы узнать, есть ли страница в индексе, авторизуемся в аккаунте Google. Если вы еще этого не делали — пройдите регистрацию, для этого нужно ввести адрес ресурса и выполнить действия по инструкции. Чтобы получить информацию о вашем ресурсе через Google Search Console вам необходимо иметь доступ к его админ-панели. Подробнее, как это сделать, читайте здесь.

После верификации открываем «Покрытие» во вкладке «Обзор». Видим понятный график, как изменялось количество проиндексированных страниц за указанный интервал времени. Ниже есть список обнаруженных ошибок.

Сервис предлагает возможность проверить сайт на индексацию. После решения ошибок здесь же можно отправить страницу на повторную переиндексацию, кликнув по кнопке «Запросить индексирование». Этой же кнопкой можно отправить новые страницы на первое индексирование.

Важно: не нужно запрашивать индексацию несколько раз для одной и той же страницы — это не ускорит процесс.

Преимущества: бесплатно, наглядные графики.

Недостатки: необходим доступ к админ-панели проверяемого сайта, неточное отображение информации — сервис показывает отчеты, оперируя данными последнего обхода, ситуация на текущий период может несколько отличаться. После регистрации в аккаунте данные для отчета появляются не сразу.

2. Проверка индексации через операторы в поисковых запросах

Если нужно быстро и не прибегая к помощи сервисов узнать количество проиндексированных страниц, воспользуйтесь операторами — для этого вводим в поисковую строку браузера следующую конструкцию:

site:https://elit-web. ua

Этот способ больше подходит для одноразового использования, он не дает глубокого анализа и не предоставляет графики.

3. Использование онлайн-сервисов для проверки индексации

Sitechecker

Позволяет отследить степень видимости, изменение позиций по ключам, дает рекомендации по улучшению.

Плюсы: бюджетный, подходит для десктопных и мобильных устройств, присылает на почту ежедневные и еженедельные отчеты с динамикой изменений позиций, фильтрует ключи по условиям и сортирует их по амплитуде позиций, делает анализ выдачи по каждому ключевому слову.

Минусы: не предусмотрен анализ трафика.

Netpeak Checker

Подходит для веб-мастеров и специалистов SEO. Подходит для решения широкого спектра задач: глубокого SEO-аудита, сравнения нескольких URL, кастомного парсинга веб-сайтов, анализа стратегии раскрутки конкурентов. К плюсам стоит также отнести возможность возврата продукта в течение 14 дней после покупки и возможность интеграции с другими сервисами для аналитики.

Минусы: десктопный и требует установки.

Screamingfrog

Программа, которая будет полезна для выполнения технического аудита и мониторинга позиций сайта.

Плюсы: может сканировать, как весь сайт, так и заданные вручную отдельные страницы или разделы, отображает коды сервера для всех обнаруженных страниц, гибкие настройки, широкий набор опций для выгрузки информации в CSV, возможность отображения древовидной структуры веб-сайта.

Еще одно важное преимущество заключается в том, что программы можно в любой момент поставить на стоп, закрыть, открыть через время и продолжить дальше.

Минусы: не считает статистический вес веб-страниц, неудобная реализации выгрузки исходящих внешних ссылок, требовательность к возможностям ПК, запутанный интерфейс.

Ahrefs

Удобная программа для оптимизации и подготовки веб-сайта, отслеживания показателей продвижения.

Плюсы: широкий набор функций, простой интерфейс, удобность в работе, работает на облачных вычислениях, автоматическое сохранение параметров после сканирования, автообновление.

Минусы: относительно высокая стоимость использования.

SE Ranking

Эта программа включает в себя широкий набор инструментов для SEO и интернет-маркетинга, оснащен конструктором отчетов, есть опция анализа конкурентов, мониторинга обратных ссылок.

Плюсы: функциональность, возможность проверки отдельных параметров, есть бесплатное приложение для смартфонов на ОС Android и iOS, интуитивно понятный интерфейс.

Минусы: слабоватая поддержка пользователей, стоимость десктопной версии.

Почему не индексируется сайт?

Вот причины, по которым поисковые алгоритмы не могут проиндексировать веб-страницу:

Ошибки в файле robots.txt.

При неправильном использовании закрывает от индексации весь ресурс или локальные страницы.
Отсутствие файла sitemap.xml.

Наличие этого файла помогает поисковым алгоритмам быстро и правильно проиндексировать ресурс. В нем должны содержаться ссылки на все страницы сайта, которые подлежат индексации.
Новый сайт.

Поисковые алгоритмы проверяют не сразу и не все страницы. Периодически стоит проводить проверку индексации — если количество проверенных URL постепенно увеличивается, все в порядке.
Приватные настройки.

В админ-панели сайта может быть по умолчанию настроено скрытие от индекса.
Теги «noindex/nofollow».

Такие теги, прописанные в коде, закрывают от индекса страницы.
Мусорные страницы.

Если на сайте много страниц с «мусорным», неуникальным контентом, роботы будут тратить время на их индексацию, пока не дойдут до действительно полезных URL-ов.

Как исправить ошибки индексации

Чек-лист по исправлению страниц для переиндексации:

настроить и оптимизировать файлы robots. txt, sitemap. xml;
увеличить скорость загрузки сайта специальными сервисами;
уникализировать контент, сделать его полезным для ЦА;
удалить дублированные страницы;
выполнить грамотную перелинковку.

Выводы и рекомендации наших экспертов

Наша цель — добиться, чтобы все полезные страницы сайта прошли индексацию. Так пользователи смогут увидеть контент в выдаче и ничего не упустить. Важно следить, чтобы не было ощутимой разницы между показателями разных поисковых систем — это, а также резкие сдвиги в положительную или отрицательную сторону, может говорить о проблеме.

Пока вы настраиваете сайт и исправляете ошибки, кто-то уже гуглит ваши товары/услуги. Сэкономить время и ускорить индексацию поможет опытная команда SEO-специалистов.

FAQ

Как бесплатно проверить индексацию сайта?

Проще всего — через поисковые операторы в выдаче и онлайн-сервисы Sitechecker, Ahrefs, SE Ranking. Эти способы не требуют доступа к админ-панели, авторизации и скачивания программ.

Как часто проверять индексацию сайта?

Для нового сайта и при выявлении проблемы (существенная разница между показателями в Google, падение позиций) — минимум 1 раз в 1–2 недели.

Что делать, если сайт не индексируется?

Если сайт новый — наберитесь терпения, индексация может занять до 4 месяцев.

Кто может решить проблему индексации сайта?

Опытная SEO-команда обнаружит и устранит ошибки индекса, примет меры по ускорению переиндексации страниц.

Google проиндексировал мой сайт?

Обновлено: 3 апреля 2023 г.

Как узнать, проиндексировал ли Google мои сайты? Как узнать, сколько страниц моего сайта находится в индексе Google?

Посмотрите мое видео ниже и прочитайте мои заметки, чтобы узнать, как проверить, проиндексирован ли ваш сайт или сайт вашего конкурента Google.

Как узнать, проиндексировал ли Google мой сайт? [Видео]

Ключевые моменты о сайтах, индексируемых Google

Проверьте мои другие статьи с общими вопросами SEO

Как узнать, проиндексировал ли Google мой сайт? [Видео]

Вот мое видео, в котором я объясняю и показываю, как проверить статус индекса Google любого веб-сайта.

Ключевые моменты индексации сайтов Google
Самый быстрый способ проверить, индексируется ли данный веб-сайт Google, — использовать 9Сайт 0032: команда . Например, чтобы проверить статус индекса моего сайта, я набираю site:seosly.com .
Если ваш сайт проиндексирован Google, команда вернет приблизительное количество проиндексированных страниц.
Имейте в виду, что это не самый надежный метод проверки того, КАК много страниц проиндексировано. Сайт : — лучший способ быстро найти один URL-адрес.
Чтобы узнать наиболее точное и точное количество проиндексированных страниц, перейдите к отчету о покрытии индекса в Google Search Console. Все, что ниже Действительный — это страница, проиндексированная Google.
Вы можете проверить любой понравившийся веб-сайт с помощью команды site:. Чтобы иметь возможность просматривать отчет об индексировании в Google Search Console, вы должны быть подтвержденным владельцем/пользователем.
Вы также можете использовать команду site: для внутренней оптимизации ссылок. Например, чтобы проверить, какие страницы вашего сайта Google считает наиболее релевантными для определенного запроса, просто введите запрос site:domain.com. Чтобы проверить мои лучшие страницы по фразе «SEO аудит», я набираю SEO-аудит сайта:seosly.com .
В дополнение к сайту есть много суперполезных операторов поиска Google: оператор. Проверьте весь мой список операторов поиска Google , чтобы узнать больше.
Посмотрите мои другие статьи с часто задаваемыми вопросами по SEO
У меня есть много других интересных статей и видео с часто задаваемыми вопросами по SEO. Обязательно проверьте их все.
Ознакомьтесь со следующими артикулами:
Как провести SEO-аудит (190+ шагов)
Сколько времени нужно, чтобы занять первое место в Google?
Как я могу практиковать свои навыки SEO?
99+ SEO-ошибок
Могу ли я научиться SEO самостоятельно?
Могу ли я научиться SEO за два месяца?
Могу ли я заплатить Google, чтобы получить более высокий рейтинг?
Последнее обновление: 3 апреля 2023 г.
Ольга Зарр
Ольга Зарр — SEO-консультант с более чем 10-летним опытом работы. Она занимается SEO как для крупнейших мировых брендов, так и для малого бизнеса. На данный момент она провела более 200 SEO-аудитов. Ольга прошла курсы SEO и получила ученые степени в таких университетах, как Калифорнийский университет в Дэвисе, Мичиганский университет и Университет Джона Хопкинса. Она также закончила Академию Моз! И, конечно же, имеет сертификаты Google. Она продолжает изучать SEO и любит это. Ольга также является экспертом по продуктам Google и специализируется в таких областях, как Google Search и Google Webmasters.
Посмотреть все сообщения
Почтовая навигация
Как проверить, что ваш сайт хорошо индексируется в Google?
В настоящее время в мире насчитывается более 1,6 миллиарда веб-сайтов, и это число продолжает расти, так как ежедневно публикуется более 2 миллионов блогов. С этими числами , присутствующий на первой странице результатов Google , не является легкой задачей. Но стоит ли сдаваться, когда вы размещаете свой сайт в Интернете? Точно нет! Действительно, первое, что нужно сделать, это убедиться, что ваш сайт появляется в результатах поиска. С технической точки зрения, это проверка того, что это было хорошо индексируется поисковыми системами . Обычно этот шаг выполняется роботами автоматически, и вам часто не нужно ничего делать. Однако иногда возникают проблемы или ошибки, такие как индексация бесполезных или устаревших страниц, которые могут повлиять на вашу производительность. Итак, в дополнение к тому, что я покажу вам шаги для выполнения этой проверки , я дам вам несколько хороших практик, которым нужно следовать.
Индексация веб-сайта
Глоссарий
В этом видео
я покажу вам, как проверить, хорошо ли индексируются страницы вашего сайта в Google:

Что такое индексация?
Индексирование — это процесс, посредством которого программа или робот поисковой системы проходит через веб-сайт, сканирует его и индексирует его содержимое. Поэтому, когда мы говорим, что ваш сайт был проиндексирован, это означает, что роботы поисковой системы посетили его, скопировали его содержимое и сохранили его на серверах поисковой системы.
Обратите внимание, что термин индексация, который я здесь использую, относится к индексации Google с помощью робота Googlebot
И это потому, что это наиболее часто используемая поисковая система пользователями Интернета с долей 90,6 %. Тем не менее, имейте в виду, что принцип работы очень похож на принцип работы других поисковых систем, таких как Yahoo, Bing и многих других.
Функционирование индекса Google
Основная цель обхода или сканирования роботом Google состоит в том, чтобы понять характер, содержание и качество веб-сайта . Это позволяет связать эту страницу с одним или несколькими намерениями поиска.
Но что касается рейтинга страницы в соответствии с запросами или намерениями поиска, обратите внимание, что он зависит от большого количества критериев, определенных алгоритмами Google .
Помимо роботов поисковых систем, существует еще два типа индексирующих роботов. Вам не обязательно интересоваться последним, так как первый уже может в полной мере помочь вам улучшить вашу видимость. Это:
Роботы веб-служб: они исследуют определенный тип страницы для извлечения определенных данных. Это, например, обратные ссылки для majesticseo.
Роботы-хакеры: они проверяют дыры в безопасности сайтов, которые просматривают, и пытаются взломать их.
Размер индекса Google и краулинговый бюджет
Размер индекса Google
база данных для индексации . Это означает, что бренд проиндексировал так много веб-страниц, и хотя статистики за этот год нет, нетрудно догадаться, что эта цифра была значительно превышена.
Важно отметить, что Google индексирует только «индексируемые» страницы, а не всю сеть, тем более, что сеть слишком велика. Более того, с такой впечатляющей статистикой фирма обязана управлять ежедневным бюджетом, который посвящен исследованию новых страниц: краулинговый бюджет.
Краулинговый бюджет веб-сайта
Краулинговый бюджет – это число страниц, которые необходимо индексировать в день для каждого сайта , и зависит от его важности. Очень полезно знать этот бюджет, чтобы позиционировать наиболее релевантные страницы вашего сайта.
Для этого необходимо использовать очень мощный инструмент, разработанный фирмой Google Search Console . Если вы не знаете, как настроить Search Console, вы можете ознакомиться с этой статьей, которая также знакомит вас с другим мощным инструментом Google Analytics .
После настройки учетной записи вам просто нужно щелкнуть вкладку «Сканирование», чтобы увидеть данные. Однако имейте в виду, что краулинговый бюджет постоянно меняется, но у вас все еще может быть среднее значение, которое будет полезно при анализе.
Кроме того, существует два типа сканирования, связанных с индексацией веб-сайта Google:
Легкое сканирование выполняется ежедневно и учитывает только самые важные страницы, такие как домашняя страница. Таким образом, его проверка является поверхностной и поэтому признана облегченной версией;
Глубокое сканирование выполняется примерно каждый месяц, и выделяет гораздо больший бюджет глубокое сканирование: выполняется примерно каждый месяц и выделяет гораздо больший бюджет, поэтому это тяжелая версия, поскольку она с учетом новых страниц.
Помимо этих типов сканирования, важно знать, что у Google есть предпочтения, когда дело доходит до индексации веб-страниц.
Индекс Mobile-First Google
Процесс индексации Google претерпел реальные изменения по сравнению с 2016 и 2017 годами. Действительно, фирма внедрила новый метод индексации под названием «Mobile-first index».
Этот метод рекомендует использовать мобильную версию страницы для того, чтобы страницы проиндексировать и позиционировать ее. И как указывает сама компания, большинство интернет-пользователей заходят в Google через свои мобильные устройства.
Следовательно, адаптивные веб-сайты — это те, которые в настоящее время имеют хорошую индексацию и, следовательно, хорошие ссылки. Это означает, что у вас тоже должен быть адаптивный веб-сайт, который автоматически адаптируется к экранам мобильных устройств, если вы хотите улучшить индексацию и количество ссылок.
Зачем проверять индексацию страниц в Google?
Знание индексации страниц в Google позволяет выявить возможные проблемы , чтобы быстро найти адекватные решения.
Определите страницы, которые не должны появляться в результатах поиска
Иногда бывают страницы, которые не должны появляться в результатах поиска по нескольким причинам. К ним относятся страницы с личной информацией или совершенно бесполезные страницы , поскольку они не содержат никакой актуальной информации. В последнем случае мы различаем, например, страницы, полученные в результате импорта демонстрационной темы.
Определение неиспользуемых изменений
При перемещении, переименовании каталогов или изменении постоянных ссылок может случиться так, что индекс Google по-прежнему будет указывать на старое место назначения. И если вы не обнаружите эти ситуации быстро и не исправите их, вы рискуете потерять органический трафик, который могут генерировать эти страницы.
Определите источники ошибок 404
Иногда существуют страницы или медиафайлы, такие как видео, изображения…, которые остаются в индексе Google даже после того, как вы удалили их со своего веб-сайта. Эти страницы или медиа, скорее всего, будут генерировать ошибки 404, которые лучше быстро исправить.
Проверьте представление ваших страниц в результатах Google
Проверка индексации ваших страниц довольно интересна, так как вы увидите, что пользователи найдут при поиске информации о вашем сайте.
Прежде всего, вы можете оценить, как они отображаются в результатах, принимая во внимание заголовков и теги мета-описания . Кроме того, вы можете щелкнуть по каждому из них, чтобы убедиться, что вы попали на нужную страницу и что изменения, которые вы, возможно, недавно сделали, были учтены.
Рекомендации по улучшению индексации
В результатах поиска 75% пользователей Интернета никогда не прокручивают до первой страницы по данным alioze. Очевидно, это означает, что веб-страницы, которые появляются на первой позиции, получают большую часть трафика.
Чтобы появиться в этом очень ограниченном списке, вы должны настроить свой сайт, чтобы облегчить его индексацию и улучшить SEO. Я предлагаю вам принять во внимание эти различные практики, которые, вероятно, помогут вам.
Хорошая структура содержания
Этот фактор позволит вашим посетителям и поисковым роботам плавно и логично перемещаться по вашему веб-сайту . Поэтому не забудьте создать свою структуру, не забывая выделять наиболее релевантные страницы, последние статьи… чтобы облегчить задачу роботов.
Безупречная внутренняя связь
Ваше содержимое должно быть доступно для индексации. В связи с этим страницы, ссылки на которые не отображаются непосредственно на вашей домашней странице, скорее всего, не будут быстро проиндексированы роботом Google.
Действительно, Google иногда может занять некоторое время, чтобы рассмотреть ваши различные модификации. Но, улучшив свою внутреннюю связь, вы сможете легко привести ее к ним, и я рекомендую в этом случае:
Создать систему связанных статей или связанных продуктов;
Чтобы создать страницу «Карта сайта», на которой перечислены все ваши материалы;
Для создания модуля наиболее комментируемых сообщений или статей на главной странице и т. д.
Не забудьте также интегрировать ссылки на ваши старые статьи в новые статьи, особенно если это уместно. Это позволит вам вернет их к жизни особенно если они слишком зарыты на вашем сайте.
Создание файла карты сайта
Он собирает все URL-адреса вашего веб-сайта и, отправляя его в Google, может значительно облегчить индексацию всех страниц вашего веб-сайта . Тем более, что он будет знать их все и сможет получить к ним доступ автоматически.
Обратите внимание, однако, что этот файл не заменяет хорошую структуру и хорошую внутреннюю связь. С другой стороны, хорошее сочетание трех элементов, вероятно, будет очень эффективным, особенно если у вас большое количество веб-страниц.
Избегайте дублирования внутреннего контента
На этом уровне речь идет об идентичном контенте на нескольких страницах вашего сайта. Действительно, дублирование контента оказывает негативное влияние на индексацию разных ваших разных страниц, даже если оно является внутренним.
На самом деле ваши посетители и Google сочтут ваше содержание избыточным и менее актуальным, что приведет к неэффективному индексированию. Кроме того, ваша внутренняя перелинковка будет довольно плохой, так как самая важная информация не выделена.
Избегайте неправильных форматов для вашего контента
Некоторые форматы не всегда читаются Google, и вы должны знать их, чтобы использовать те, которые легко обрабатываются поисковой системой. Это, например:
Flash: практически нечитаемый для Google и которого я советую вам избегать;
Javascript: который не всегда интерпретируется оптимальным образом;
PDF: формат этого типа индексируется, но менее эффективен, чем реальная страница с текстовым содержимым;
Хорошие внешние ссылки
Даже если вы придерживаетесь предыдущей практики, я предлагаю вам добавить эту. Действительно, это создание ссылок на страницы вашего веб-сайта, чтобы воспользоваться:
Лучшая индексация;
Достоверность;
Популярности;
Трафик и, следовательно, клиенты..
После наблюдения за этими методами улучшения вашей индексации Google часто необходимо убедиться, что различные страницы вашего веб-сайта правильно индексируются.
Чтобы четко показать вам шаги, которые необходимо выполнить, я буду использовать веб-сайт моего SEO-агентства, Twaino.com.
Обратите внимание, что шаги довольно просты и что вы можете выполнить эту проверку за несколько секунд или даже минут, если у вас несколько страниц.
Кроме того, моему сайту уже несколько недель, и роботы Google успели его просканировать и проиндексировать.
1) Показать все веб-страницы, проиндексированные в Google
Чтобы проверить индексацию, зайдите в поисковик Google и введите «сайт: + имя домена».
Мой дает вам: «site:twaino. com».
Затем нажмите кнопку «Поиск», и на странице результатов вы увидите все проиндексированные страницы, связанные с вашим сайтом.
2) Перейдите к анализу различных ссылок
Первая ссылка, которую вы увидите в результатах поиска, — это ссылка из Google Search Console, мощного инструмента от Google, который позволяет вам получить более точную информацию об индексации. .
Тогда у вас есть все страницы, которые были проиндексированы Google, и если вы хотите пойти дальше, проверьте каждую из них.
Например, вы можете проверить заголовки и теги мета-описания и нажать на каждый из них, чтобы убедиться, что вы попали на нужную страницу.
Также воспользуйтесь возможностью выявить устаревшие или бесполезные страницы, которые не имеют отношения к пользователям Интернета, но тем не менее индексируются и появляются в результатах поиска.
3) Примите меры к своим проиндексированным страницам
Если ни на одной из ваших страниц нет проблем, значит, все работает правильно. Но когда на одной из страниц возникает малейшая проблема, принимайте все возможные меры, и это, сразу, чтобы не потерять трафик, который скорее всего будет генерировать эта страница.
На моем уровне, например, у меня есть страницы, которые появляются в результатах Google и которые мне не нужны. Действительно, это страницы из демонстрационной темы, которые у меня была возможность импортировать. Среди них:
Нью-Авада-Сео-Твайно;
Карьера — Avada SEO
Их появление в результатах может вызвать путаницу, и чтобы убедиться, что они больше не появляются в SERPS, просто удалите их или деиндексируйте.
И все! Вы только что видели страницы вашего сайта, которые были проиндексированы Google.
Но когда вы не находите свои страницы, вы можете выполнить некоторые действия.
Может случиться так, что ваш сайт не проиндексирован роботами Google, потому что он новый. Вместо того, чтобы ждать, пока ваш веб-сайт будет проиндексирован, вы можете ускорить процесс, приняв один или оба из следующих вариантов:
Иметь ссылку на сайт, который уже известен Google;
Сообщите Google о своем существовании с помощью Google Search Console.
Ссылка на сайт, о котором Google уже знает
Роботы поисковых систем работают, переходя с одного сайта на другой или с одной страницы на другую благодаря ссылкам. Таким образом, вы можете использовать этот принцип в своих интересах, разместив одну или несколько ссылок, указывающих на ваш веб-сайт, на сайтах, уже известных или проиндексированных Google.
Имейте в виду, что у вас больше шансов быть быстро проиндексированными, если рассматриваемые сайты важны и имеют хорошие ссылки.
Сообщите Google о своем существовании
Взять дело в свои руки иногда может быть полезнее, чем ждать, пока Google просканирует другие сайты, чтобы попасть на ваш. Все дело в том, чтобы отправить ваш сайт в поисковую систему с помощью одного из ее мощных инструментов Google Search Console .
Кроме того, чтобы гарантировать, что Google будет посещать страницы вашего веб-сайта, я рекомендую вам отправить также свою карту сайта . С помощью плагина Yoast SEO вы можете легко создать карту сайта.
После его создания вам просто нужно вставить адрес, полученный в результате операции, в поле, зарезервированное для этой цели в Search Console. Эта онлайн-форма также может позволить вам отправить URL-адрес в Google.
После того, как вы отправили свой сайт в Google через консоль поиска, вы можете вернуться на несколько дней назад, чтобы проверить, правильно ли он был проиндексирован на этот раз вам количество проиндексированных URL-адресов по отношению к тем, которые присутствуют в карте сайта.
Некоторые факторы, которые могут блокировать индексацию вашего веб-сайта
Даже если вы выполнили все необходимые настройки, может случиться так, что ваш веб-сайт все еще не проиндексирован . Действительно, есть некоторые настройки, которые могут помешать поисковым системам индексировать ваш сайт или некоторые из ваших страниц.
Настройки WordPress
Проверьте, запрещаете ли вы поисковым системам индексировать ваш веб-сайт с помощью параметров WordPress. Для этого войдите в Личный кабинет и нажмите на раздел «Настройки» на левой боковой панели.
Затем выберите опцию «Читать» и проверьте, установлен ли флажок « Попросить поисковые системы не индексировать этот сайт » или нет. Если это так, снимите флажок, чтобы разрешить индексацию.
Веб-сайт на обслуживании
Некоторые плагины, такие как плагины «скоро появятся», предлагают опции, предотвращающие опции, предотвращающие индексацию вашего веб-сайта поисковыми системами, когда он находится на техническом обслуживании. И пока продолжается техническое обслуживание, индексация не может быть выполнена
Так что, если у вас есть такие плагины, не стесняйтесь отключить их или правильно настроить
Другие факторы, препятствующие индексации
Также возможно, что вы манипулировали некоторыми файлами, такими как:
robots.txt блокирует доступ роботов;
.htaccess блокирует доступ роботов.
Если эти файлы целы, у вашего сайта не должно быть проблем с индексацией.