Как проверить сайт на индексацию: Как быстро проверить индексацию сайта в Google и Яндекс

В этой инструкции рассмотрим, как проверить индексацию вашего сайта в популярных поисковых системах — Google и Яндекс. 

Индексация в Google системе.

Способ 1. Используя поисковый запрос.

Для осуществления проверки введите в строке поиска Google запрос site:mynewsite.com (для проверки индексации всего сайта) или site:mynewsite.com/article-12/ (для проверки индексации интересующей страницы).

Результат вам покажет количество проиндексированных страниц. Например:

Способ 2. Используя Google Search Console.

Для проверки сначала выберите отчет Индекс → Покрытие. Количество проиндексированных страниц отображается в специальной ячейке Страницы без ошибок. Проверьте предоставленную информацию.

Способ 3. С помощью специальных сервисов, плагинов к браузерам, программам.

К примеру, можно воспользоваться возможностями бесплатного сервиса indexchecking.com или его аналогами. Он позволяет осуществить качественную проверку до 25 ссылок за один раз. Индексацию сайта также можно проверить с помощью плагина RDS Bar для браузеров Firefox, Chrome, Opera.

Сервис Netpeak Checker проводит сканирование сайта и предоставляет отчет о страницах, которые попали в поиск. Доступна проверка в нескольких популярных системах: Google, Яндекс, Bing, Yahoo.

Индексация в Яндекс.

Способ 1.  Используя поисковый запрос.

Как и для поисковика Google можно использовать аналогичный способ и для Яндекс: 

Способ 2. С помощью Яндекс вебмастер.

В Яндекс Вебмастер выбираем раздел Индексирование → Проверить статус URL.

В отчете Индексирование → Страницы:  в поиске можно ознакомиться с уже проиндексированными страницами; они распределены по разделам, доступна информация о страницах, которые исключены из индекса.

Почему мой сайт не индексируется?

Причина 1. У вас очень “молодой” сайт. Немного нужно подождать, так как страницы в под индексацию попадают не сразу. 

Причина 2. Отсутствует sitemap. Карта сайта направляет поисковых роботов, в итоге индексация происходит более быстро. Ссылку на карту нужно добавить в панель вебмастеров.

Причина 3. Ошибки на сайте. Вы можете видеть постоянные предупреждения в панели инструментов для веб-мастеров. Заметили проблему в индексации? Анализируйте, какие ошибки находит робот и, конечно же, исправляйте их.

Причина 4. Ошибка с метатегом robots. Такая ошибка может появится в случае изменения настроек CMS или хостинга. В коде страниц сайта может появится эта строка, которая сигнализирует о проблеме:

<meta name=”robots” content=”noindex, follow” />

Причина 5. Ошибка с robots.txt. Особенность файла robots.txt в том, что один лишний символ может закрыть сайт от индексации. Даже если вы правильно закрыли часть сайта, вполне случайно можно было зацепить важную информацию, которая размещена глубже. Если вы увидели в вашем robots.txt.файле это — User-agent: * Disallow: /, то ваш сайт закрыт от индексации.

Почему еще может возникнуть проблема в индексации?

• дубли страниц;
• не уникальный контент;
• ошибки со скоростью загрузки или доступностью вашего сайта.

Остались вопросы по поводу индексации сайта? Задавайте их в комментариях, мы постараемся вам помочь.

Как добавить свой сайт в поисковые системы в 2021 году

Если поисковые системы не знают, что ваш сайт существует, ваши шансы на ранжирование не просто маловероятны; они равны нулю.

Но нужно ли вам по-прежнему добавлять свой сайт в поисковые системы в 2021 году?

Вот что вы узнаете из этого руководства:

Нужно ли вам добавлять свой сайт в поисковые системы? 

Скорее всего, нет, но это может помочь им обнаружить ваш сайт быстрее.

Google и другие поисковые системы не полагаются на ручное добавление сайтов. Их основной способ поиска новых веб-сайтов и страниц — краулинг. Именно так компьютерные программы постоянно проверяют известные веб-сайты на наличие новых ссылок на новый контент. Любой полезный контент, который они находят, добавляется в их индекс.

Примечание.

Если коротко, поисковые системы, вероятно, найдут ваш сайт самостоятельно. 

Но добавление дает ряд преимуществ.

1. Лучше перестраховаться. Вывод сайта не занимает много времени, так зачем рисковать и отдаваться на волю случая?
2. Вы даете им больше информации. Держите поисковые системы в курсе изменений в вашем контенте.
3. Вы улучшаете свой веб-сайт. Добавив свой веб-сайт в Google и Bing, вы получите доступ к бесплатным инструментам, которые помогут улучшить ваш сайт.

Способы добавления веб-сайта в поисковые системы

Google и Bing прекратили поддержку своих инструментов добавления URL-адресов в 2018 году. Единственный способ добавить свой веб-сайт в эти поисковые системы — это отправить им свою карту сайта. В другие поисковые системы, такие как DuckDuckGo и Yahoo, добавлять свой веб-сайт не нужно.

Обычно можно найти свою карту сайта по одному из следующих URL-адресов. 

вашсайт.com/sitemap.xml

вашсайт.com/sitemap_index.xml

Карта сайта блога Ahrefs

Если вы не видите свою карту сайта по этим адресам, проверьте свой файл robots.txt на вашсайт.com/robots.txt. Большинство веб-сайтов указывают расположение своей карты сайта здесь.

Если вы все еще не можете найти карту сайта, скорее всего, у вас ее нет. Так что вам нужно будет ее создать, прежде чем двигаться дальше. 

С этим разобрались…

Далее приведены официальные способы добавить ваш сайт в поисковые системы. 

Добавление веб-сайта в Google

Войдите в Google Search Console, нажмите “Карты сайта” в меню слева, вставьте URL-адрес карты сайта и нажмите “Отправить”.

Примечание.

Если у вас несколько карт сайта, повторите этот процесс для каждой из них.

Хотите добавить в Google отдельную страницу?

Вставьте полный URL-адрес в инструмент проверки URL-адресов Search Console.

Если страница не проиндексирована, вы увидите предупреждение “URL-адрес отсутствует в Google”. Нажмите “Запросить индексирование”, чтобы попросить Google просканировать и проиндексировать страницу.

Если страница проиндексирована, вы увидите подтверждение “URL-адрес присутствует в Google”.

Если URL-адрес находится в Google, вам не нужно ничего делать. Однако рекомендуется запрашивать переиндексацию после обновления и повторной публикации контента, поскольку это поможет Google быстрее просканировать и переиндексировать страницу.

Добавление веб-сайта в Bing

Войдите в Bing Webmaster Tools, нажмите “Карты сайта” в меню слева, вставьте URL-адрес карты сайта и нажмите “Отправить карту сайта”.

Если у вас несколько карт сайта, повторите этот процесс для каждой из них.

Добавление веб-сайта в Yahoo

Yahoo работает с индексом Bing. Добавляя свой веб-сайт в индекс Bing, вы автоматически добавляете его и в Yahoo. Так что здесь дополнительных действий не требуется.

Добавление веб-сайта в DuckDuckGo

В DuckDuckGo нет механизма добавления веб-сайтов. Они обнаруживают и индексируют веб-сайты через более чем четыреста источников, включая DuckDuckBot (их веб-краулер), Wikipedia, Bing и других партнеров.

Все, что вы можете здесь сделать, это добавить свой веб-сайт в Bing.

Добавление веб-сайта в Baidu

Добавлять свой веб-сайт в Baidu нужно только в случае, если ваш веб-сайт нацелен на людей в Китае, где доля рынка Baidu составляет более 66%. Поскольку этот процесс довольно запутанный, мы не будем его здесь рассматривать. Но вот отличное руководство по добавлению в Baidu на случай, если оно вам понадобится.

Как проверить, проиндексирован ли ваш веб-сайт

Многие похожие руководства рекомендуют проверять статус индексирования, выполнив поиск в Google по запросу site:вашсайт.com. Однако это ненадежно и не покажет, проиндексирован ли сайт или страница. Использование инструментов, предоставляемых самими поисковыми системами, — единственный надежный способ проверить статус индексации.

Для Google: перейдите к отчету “Покрытие” в Search Console, выберите вкладку “Страницы без ошибок”, затем нажмите на один из списков под вкладкой, чтобы увидеть примеры проиндексированных URL-адресов.

Если вы хотите проверить статус определенного URL-адреса, используйте инструмент проверки URL-адресов.

Для Bing: воспользуйтесь их инструментом Site Explorer и отфильтруйте проиндексированные URL-адреса. Затем вы можете изучить все проиндексированные страницы вашего сайта. Чтобы проверить отдельные страницы, используйте их инструмент проверки URL.

Как исправить проблемы с индексацией

Если ваш веб-сайт или веб-страница не проиндексированы, первым делом нужно выяснить, почему. Вы не сможете решить проблему, пока не поймете, что пошло не так.

Для этого вставьте URL-адрес в инструмент проверки URL Google и проверьте ошибки покрытия.

Вот несколько распространенных проблем, с которыми вы можете столкнуться в Search Console, и их значение:

• Исключено тегом noindex. Google заблокирован от индексации страницы из-за атрибута мета тега robots noindex. Удалите его со страницы, если ее нужно проиндексировать.
• Заблокировано в файле robots.txt. Google не может просканировать страницу, потому что она заблокирована в robots.txt. Удалите блокировку, если страницу нужно проиндексировать.
• Страница с переадресацией. Google не будет индексировать страницы с редиректами, поэтому удалите редирект, если страница не должна быть переадресована.
• Копия без выбранного пользователем канонического варианта. Google считает, что эта страница содержит дублированный контент, и вместо этого решил проиндексировать версию, которую считает канонической. Обычно это не проблема, но если вы считаете, что страница должна быть проиндексирована, вам следует провести дополнительную диагностику. 

Примечание.

Рекомендовано к прочтению. 10 способов заставить Google проиндексировать ваш сайт (которые действительно работают)

Почему недостаточно просто добавить свой сайт

Большинство поисковых запросов Google возвращают сотни тысяч результатов. Но согласно этому исследованию, почти никто не переходит по ссылкам дальше первой страницы.

По этой причине индексации вашего сайта недостаточно. Если вы хотите получать трафик из поисковых систем, вам необходимо ранжироваться на первой странице по вашим целевым ключевым словам.

Как? Это сложно, но в общем процесс выглядит так:

Рекомендовано к прочтению. Как попасть на первую страницу Google [Интерактивное руководство]

Однако даже попасть на первую страницу недостаточно, если вам нужен большой трафик, потому что большинство людей нажимают на один из первых трех результатов:

Причем люди в подавляющем большинстве кликают по первому результату:

Итак, что вам действительно нужно, так это высоко ранжироваться по вашим целевым ключевым словам. 

Процесс следующий:

Рекомендовано к прочтению. Как ранжироваться выше в Google (6 простых шагов)

Заключение

Google и Bing, вероятно, найдут ваш веб-сайт, даже если вы не добавите его. То же касается и других поисковых системам. Но все же стоит добавить свой веб-сайт вручную, даже если вы просто предоставите им немного дополнительной информации. 

Также стоит повторно добавлять веб-страницы, которые вы обновляете или изменяете.

Я что-нибудь пропустил? Напишите мне в Twitter.

Как проверить разрешена ли индексация сайта поисковыми системами, запрещена ли индексация служебных страниц сайта

22.07.2014.

В общем случае, если на сайт есть переходы с поисковых систем, то он разрешен к индексации. Как всегда в продвижении, есть несколько но:

• Не все нужные страницы могут быть открыты для индексации
• В индексе поисковых систем могут содержаться лишние страницы (ухудшающие ранжирование сайта, например, дубли)
• Могут быть закрыты для индексации определенные папки (например, картинки /images/)
• И т.д.

Теперь обо всем по-порядку. Для начала, проверяем, есть ли сайт в индексе Яндекса и Гугла, задав поисковикам следующий запрос: site:realyseo.ru (заменив на свой домен):

Если ничего не найдено, то выполняем инструкции, приведенные в этой статье.

Если же сайт индексируется, смотрим на страницы, проиндексированные поисковыми системами (в выдаче поисковиков по запросу, приведенному выше) и убеждаемся, что в индексе нет ничего лишнего (например, страниц меток/тегов, профилей пользователей и т.п.).

Если есть лишние страницы в индексе — запрещаем их индексирование (добавляем мета тег <meta name=»robots» content=»noindex»>).

Если лишних страниц в индексе нет, то переходим к проверке страниц и других материалов сайта, запрещенных к индексации поисковыми системами.

Проверить, какие страницы и материалы запрещены к индексированию, можно несколькими способами — посмотреть содержимое файла robots.txt в корневом каталоге сайта, в ручную просмотреть исходный код страниц на предмет наличия мета тега  noindex… Но я бы рекомендовал воспользоваться специальным софтом или сервисом. Я пользуюсь бесплатной программой Netpeak Spider, в неё достаточно просто вбить адрес сайта и вы получите информацию о страницах, запрещенных к индексации:

Просматриваем страницы, запрещенные к индексации (disallow в robots.txt или noindex в MetaRobots), если есть нужные страницы — разрешаем их индексацию.

Случай из практики — был клиент, которому мы какое-то время продвигали сайт. Затем мы перестали сотрудничать и через какое-то время он обновил сайт (обновил движок Joomla и сменил дизайн), после обновления движка изменился файл robots.txt, в котором появился запрет на индексацию папки /images/ (туда по-умолчанию загружаются все картинки к статьям). Результаты не заставили себя долго ждать — трафик из поиска по картинками упал с ~600 человек в месяц (это коммерческий сайт, продающий строительные материала оптом, то есть, трафик был довольно большим) до нуля:

Клиент вновь обратился к нам весной с просьбой диагностировать причины падения трафика с поисковых систем (не только с поиска по картинкам), в результате проведенной диагностики, в том числе, была выявлена эта проблема. Изменили robots.txt, картинки начали индексироваться Яндексом только в июне (Google начал индексировать практически сразу), теперь начинается  медленный  рост трафика с картиночного поиска (видно в конце графика).

Как видно из примера, важно очень внимательно следить, что разрешено, а что запрещено индексировать на вашем сайте поисковым роботам.

Понравилась статься? Подпишитесь на обновления:

Попросите Google повторно сканировать веб-сайт

Если вы недавно добавляли или вносили изменения на страницу своего сайта, вы можете запросить, чтобы Google повторно проиндексируйте свою страницу, используя любой из перечисленных здесь методов. Вы не можете запросить индексацию для URL что вам не удается.

Общие правила

• Сканирование может занять от нескольких дней до нескольких недель. Будьте терпеливы и следите за прогрессом используя индекс Отчет о состоянии или URL Инструмент для осмотра.
• Все описанные здесь методы имеют примерно одинаковое время отклика.
• Существует квота на отправку отдельных URL-адресов.
• Если запросить повторное сканирование для одного и того же URL-адреса или карты сайта несколько раз, он не просканируется. Быстрее.

Методы запроса сканирования

Используйте инструмент проверки URL-адресов (всего несколько URL-адресов)

Используйте URL Инструмент проверки для запроса сканирования отдельных URL-адресов. Обратите внимание: если у вас большие числа URL-адресов, вместо этого отправьте карту сайта.

Чтобы отправить URL в индекс:

1. Следуйте общим рекомендациям.
2. Проверьте URL-адрес , используя URL-адрес Инструмент для осмотра.
3. Выбрать Запросить индексирование . Инструмент запустит живую проверку URL-адреса, чтобы увидеть есть ли у него какие-либо очевидные проблемы с индексацией, и если нет, страница будет поставлена ​​в очередь для индексации. Если инструмент обнаружит проблемы со страницей, попробуйте их исправить.

Отправить карту сайта (сразу несколько URL)

Карта сайта — это важный способ для Google обнаружить URL-адреса на вашем сайте. Карта сайта также может включать дополнительные метаданные о версиях на других языках, видео, изображениях или новостные страницы. Узнайте, как создать и отправить карта сайта.

Отправить отзыв о документации

Отчет об индексировании Google — Проверка статуса индексирования сайта

Отчет об индексировании Google — проверка статуса индексирования сайта

Компании и маркетологи могут видеть, какие из их страниц были проиндексированы, и могут диагностировать любые проблемы с индексируемостью своего сайта с помощью консоли поиска Google.

Отчет об индексировании Google может дать веб-мастерам более полное представление о том, как их сайт просматривается и сканируется Google, но он также может включать в себя широкий спектр сообщений и предупреждений. Возможность проверить статус индекса Google и исправить любую проблему на вашем сайте имеет решающее значение для поддержания поисковой оптимизации. Знание того, что означают эти сообщения и как на них реагировать, поможет убедиться, что важные части вашего сайта не пропадают в результатах поиска и что ваш обычный трафик не испорчен плохими методами.

Отчет о покрытии индекса Google в Search Console разработан в основном для того, чтобы веб-мастера знали, какие из их страниц находятся в поисковом индексе, а какие нет.

Но правда в том, что этот инструмент предлагает гораздо больше информации, чем просто эта. Он показывает статус всех страниц веб-сайта, которые Google посещал или пытался посетить. В частности, URL-адреса вашего ресурса Search Console, которые были посещены и просканированы роботом Googlebot.

Здесь все страницы сгруппированы по статусу вместе с подсчетом страниц, которые были «проверены» Google и добавлены в индекс, страниц, которые были исключены из индекса, страниц с серьезными проблемами и страниц с предупреждениями.

«Сводная страница» отчета индекса Google

Пользователи могут щелкнуть любую строку на странице сводки, чтобы увидеть все URL-адреса с одинаковым статусом / причиной и более подробную информацию о проблеме.

Эта страница также содержит дополнительную информацию, такую ​​как основной сканер, использованный для сайта (конкретный тип робота Google), и дату последнего обновления отчета.

Чтобы получить доступ к отчету о покрытии индекса Google, сначала необходимо создать и настроить учетную запись Search Console. Этот бесплатный инструмент специально разработан для предоставления веб-мастерам и владельцам бизнеса информации о том, как Google обрабатывает их сайт. Найдите ресурс своего сайта в консоли, а затем перейдите к отчету «Покрытие» на левой навигационной панели.

Этот отчет очень важен для SEO, поскольку он дает компаниям возможность увидеть, какие из их страниц были правильно проиндексированы и доступно ли их основное содержание для поисковиков.В противном случае это просто игра в догадки, в которой нужно узнать, смогут ли люди найти ваш сайт в результатах поиска.

Итак, что вам следует искать в своем отчете об индексном покрытии? В идеале вы должны видеть постепенно увеличивающееся количество допустимых проиндексированных страниц по мере роста вашего сайта. В частности, если вы постоянно добавляете новый контент на свой сайт или пытаетесь отслеживать поисковую оптимизацию нового сайта.

Для старых веб-сайтов или предприятий с очень согласованным содержанием — не обязательно ожидать каких-либо значительных изменений (хотя небольшие колебания количества действительных страниц вверх и вниз являются нормальным явлением).

Если вы видите спады или всплески, возможно, проблема связана с индексируемостью вашего сайта. Таблица статуса на странице сводки сгруппирована и отсортирована по «статусу» и причине проблемы; вы должны сначала исправить наиболее серьезные ошибки.

Отчет об индексировании Google — отличный инструмент для веб-мастеров и предприятий, позволяющий проверить состояние своего сайта. Используйте этот отчет, чтобы оценить, как индексируется ваш сайт, и есть ли у Google какие-либо проблемы с пониманием ваших страниц, сканированием отдельных URL-адресов или индексированием правильных URL-адресов.

Этот отчет дает отличный обзор того, что правильно индексируется с помощью графика. Многие оптимизаторы поисковых систем и веб-мастера будут визуально сканировать эту диаграмму, чтобы проверить непропорционально большое количество ошибок и предупреждений, а затем копать оттуда. Если вы пытаетесь проверить статус своего сайта в индексе Google, сделайте то же самое.

Вы должны расставить приоритеты для ошибок, показанных здесь (показаны красным), а затем искать объяснения того, что может вызывать проблемы. После того, как эти проблемы будут решены, вы также можете попросить свою команду SEO проверить все «предупреждения» здесь и поддерживать нормальное количество исправных, проиндексированных страниц.В отчете об индексировании в Search Console нет инструментов или ресурсов для разработчиков для решения этих проблем — этот отчет используется только для проверки и мониторинга.

Хороший способ работать с вкладкой «ошибки» отчетов о покрытии индекса — это проработать контрольный список технического SEO-аудита, чтобы попытаться изолировать любые недобросовестные действия на вашем сайте. К счастью, в отчете о покрытии индекса URL-адреса будут сгруппированы по отдельным сообщениям, поэтому вы можете попытаться определить общие качества и сузить общие элементы, которые могут вызывать проблемы.

Вы также можете использовать инструмент проверки URL в Search Console, чтобы получить конкретную информацию об общих проблемах и проблемах. Для получения более подробной информации вы можете «Проверить действующий URL-адрес», чтобы попытаться обнаружить любые проблемы с URL-адресом.

Попросите вашего веб-мастера или веб-разработчика внести какие-либо исправления, а затем использовать опцию «Проверить исправление» в Search Console, чтобы Google повторно сканировал ваши страницы и обновлял индекс после устранения проблем.

Существует множество потенциальных сообщений, которые вы можете увидеть, когда проверяете свой статус в индексе Google, поэтому мы составили их список.Правда в том, что вы, скорее всего, увидите только несколько из них, и в большинстве случаев сообщения не требуют каких-либо действий или исправлений — они просто сообщают вам статус вашего сайта.

Прочтите, чтобы лучше понять все сообщения, которые вы можете найти в отчете об индексировании.

Ошибка сервера (5xx): Это ошибка уровня сервера, означающая, что страница не может быть загружена. В этом случае Google не будет добавлять эти страницы в индекс, а это означает, что для ценного контента и важных страниц эта ошибка может иметь серьезные последствия для SEO.

Отправленный URL-адрес заблокирован файлом robots.txt: Это сообщение не требует пояснений. Это сообщение появляется на вкладке «Ошибка» отчета о покрытии индекса Google, если вы специально запросили индексирование страницы (либо в инструменте проверки URL, либо в вашей карте сайта) — это дает противоречивые запросы. В тех случаях, когда вы не хотите, чтобы страница индексировалась, это сообщение не представляет опасности, в противном случае вам, возможно, придется обновить файл robots.txt.

Отправленный URL с пометкой «noindex»: Аналогично сообщению об ошибке выше.Был сделан запрос на индексирование страницы, но команда роботов на странице (с метатегом или в заголовке HTTP) не запрашивает индекса.

Отправленный URL-адрес кажется мягким 404: Это сообщение отображается для страниц, которые были отправлены в индекс, но появляются как «мягкая» ошибка 404, когда робот Googlebot пытается их просканировать. Эти страницы можно оставить в покое, если статус «пустой» или «нет в наличии» носит временный характер, но было бы неплохо проверить эти страницы, чтобы убедиться, что на них есть ценный контент.

В редких случаях страница, представляющая ценность для вашего сайта, может случайно выглядеть как программный код 404, если страница кажется пустой или почти пустой для Google, если у нее очень малоценное и тонкое содержание.

Отправленный URL возвращает неавторизованный запрос (401): Сообщение о состоянии 401 предназначено для «неавторизованных» страниц, что указывает на то, что требуются учетные данные для аутентификации. Обычно для серверных частей домена, таких как страницы входа в систему, страницы учетных записей, промежуточные сайты и т. Д. Если эти страницы имеют ограниченный доступ, то их ценность для SEO, вероятно, также ограничена.Еще раз подумайте, следует ли включать их в карту сайта, и удалите их, чтобы улучшить свой краулинговый бюджет.

Отправленный URL не найден (404): Для страниц, которые были отправлены для индексации через карту сайта, возвращают ошибку 404. Эти страницы следует удалить из карты сайта и перенаправить, чтобы сохранить авторитет страницы SEO, который у них может быть.

Отправленный URL содержит ошибку сканирования: Это сообщение означает, что Google обнаружил неопределенную ошибку сканирования, которая не попадает в другие категории.Веб-мастера могут использовать инструмент проверки URL-адресов, чтобы проверить наличие проблем, или дождаться, пока робот Googlebot повторно просканирует URL-адрес.

Проиндексировано, но заблокировано файлом robots.txt: Это сообщение сообщает веб-мастерам, что Google решил проиндексировать страницу, хотя директивы в файле robot.txt могут блокировать эту страницу. Google отправляет это сообщение в качестве предупреждения, потому что они не могут быть уверены, что блокировка была преднамеренной.

Блокирование страниц из индекса с помощью robots.txt — устаревшая стратегия SEO, поскольку Google прекратил поддержку команд noindex в роботах.txt, лучше использовать мета-команды роботов на странице. Имейте в виду, что если Google проиндексировал страницу, это обычно происходит потому, что он считает, что содержание достаточно сильное, чтобы его можно было включить в результаты поиска.

Отправлено и проиндексировано: Это сообщение появляется для «действительных» страниц и означает, что отправленная страница проиндексирована Google. Это, конечно, идеально для SEO-маркетинга, так как это идеальное состояние по умолчанию.

Имейте в виду, что количество «отправленных и проиндексированных» страниц может не всегда соответствовать ожидаемому, Google будет игнорировать повторяющиеся URL-адреса, неканонические URL-адреса и URL-адреса с параметрами (их можно отобразить в инструменте проверки URL-адресов).Количество отображаемых здесь страниц может иногда уменьшаться и уменьшаться со временем.

Исключено тегом noindex: Google просканировал страницу, но обнаружил в HTML метатег robots noindex и поэтому не добавил страницу в индекс. Для целей SEO команды мета-роботов — лучший способ предотвратить индексацию страниц, но если эта страница предназначалась для индексации, веб-мастерам, возможно, придется проверить свои настройки CMS или удалить тег.

Заблокировано инструментом удаления страницы: Это означает, что страница была удалена из индекса вручную кем-то с помощью инструмента запроса удаления URL в консоли поиска Google.Это только временно, и даже если ничего не будет сделано, страница в конечном итоге будет повторно просканирована и, возможно, проиндексирована примерно через 90 дней. Чтобы удалить страницу навсегда, лучше использовать команду роботов на странице noindex.

Заблокировано файлом robots.txt: Это означает, что в файле robots.txt домена есть команды, которые блокируют страницу, но страница не была «отправлена» просто потому, что Google естественным образом просканировал файл robots.txt и обнаружил команда.

Это не означает, что страница не будет проиндексирована.Поскольку Google не рекомендует использовать команду «noindex» в файле robot.txt, лучшим решением для предотвращения индексации является использование мета-тега robots на странице.

Заблокировано из-за неавторизованного запроса (401): Страница заблокирована для робота Googlebot кодом состояния 401, что означает, что для доступа к странице требуется авторизация аутентификации. Если эту страницу необходимо проиндексировать для целей SEO, веб-мастер или разработчик сайта должны сделать так, чтобы содержимое страницы было полностью доступно как для пользователей в браузере, так и для индексаторов поисковых систем.

Аномалия сканирования: Это сообщение в отчете о покрытии индекса Google означает, что при сканировании страницы произошла какая-то ошибка. Это может означать код ответа уровня 4xx или 5xx или возникновение другой проблемы при попытке загрузить страницу. Вы можете использовать инструмент проверки URL-адресов, чтобы проверить наличие проблем.

Просканировано — в настоящее время не проиндексировано: Это одно из наиболее частых сообщений, которые можно увидеть в отчете об индексировании. Важно помнить, что «просканировано» не означает, что страница была автоматически добавлена ​​в индекс результатов поиска Google — это просто означает, что робот Googlebot посетил и обработал страницу.

Одно из возможных объяснений состоит в том, что Google определил, что страница достаточно ценна для индексации — возможно, из-за нехватки контента или тонкого контента. Другая причина может заключаться в том, что Google считает, что это не часть основного содержания вашего сайта. Вы можете проверить свою страницу в инструменте проверки URL-адресов, чтобы увидеть, есть ли какие-либо проблемы с отрисовкой. Вы можете запросить индексацию или добавить страницу в карту сайта, чтобы указать поисковым системам, что эта страница представляет ценность для вашего сайта / бизнеса.

Вы также должны убедиться, что содержание вашей страницы доступно поисковым системам — например, Google не может прочитать какое-то содержание JavaScript или Flash.

Обнаружено — в настоящее время не проиндексировано: URL-адрес известен Google (либо из карты сайта, либо из других источников), но робот Googlebot еще не посещал и не сканировал URL-адрес. Обычно это означает, что он пытался просканировать URL, но сайт или сервер домена были перегружены, поэтому Google остановился, чтобы не снизить производительность сайта.При этом они дают вашему сайту «краулинговый бюджет».

В большинстве случаев здесь ничего не нужно делать, если вы проверяете статус своего сайта в индексе Google. Google перенесет сканирование и повторное сканирование позже.

Альтернативная страница с правильным каноническим тегом: В этом случае Google знает о странице, но этот конкретный URL не был проиндексирован, поскольку вместо этого был проиндексирован канонический URL страницы. Для целей SEO здесь не нужно ничего менять, а это значит, что Google правильно понимает сайт.

Дубликат без канонического значения, выбранного пользователем: Это означает, что Google обнаружил несколько повторяющихся URL-адресов для страницы или несколько страниц с повторяющимся содержанием, ни одна из которых не была канонизирована. В большинстве случаев Google выберет свою собственную «каноническую» версию и проиндексирует ее — вы можете проверить URL-адрес в инструменте проверки URL-адресов, чтобы увидеть, как обрабатывается эта страница.

Как правило, здесь не требуется никаких исправлений, поскольку выбранный Google канонический канал работает так же, как пользователь, объявленный каноническим, но веб-мастера имеют возможность установить свой собственный канонический, если они хотят иметь больше контроля или если они хотят проиндексировать определенный URL.

Дубликат, Google выбрал канонический, отличный от пользовательского: Здесь страница имеет канонический, но вместо этого Google выбрал другой URL в качестве канонической версии. Если этот выбор Google кажется приемлемым, веб-мастера могут изменить канонизацию, чтобы она соответствовала (или позволить ей быть), в противном случае лучше всего оптимизировать структуру сайта, чтобы сделать ее более понятной для поисковых систем или уменьшить количество повторяющихся URL-адресов.

Вы также должны убедиться, что содержимое «повторяющихся» страниц совпадает и что содержимое ваших канонических URL совпадает с исходной страницей.В противном случае Google может не счесть его хорошим каноническим.

Не найдено (404): Эта страница вернула ошибку 404 при запросе. Это сообщение появляется в отчете о покрытии индекса, поскольку робот Googlebot обнаружил ссылку на страницу без конкретного запроса в Search Console или карте сайта, но ссылка вернула 404.

Это, вероятно, указывает на неработающую ссылку где-то в содержимом вашего сайта или неработающую обратную ссылку с другого домена. Обычно лучшим решением здесь является переадресация 301 ссылки на ближайшую приблизительно соответствующую страницу.Это может помочь сохранить и передать любой ассоциированный рейтинг или авторитет страницы для исходной страницы

Google утверждает, что его индексирующий бот все еще может пытаться сканировать эту страницу в течение некоторого времени и что нет способа навсегда указать ему забыть или игнорировать URL-адрес, хотя в конечном итоге он будет сканироваться реже.

Страница удалена из-за юридической жалобы: В этом случае сторона 3 ^rd подала жалобу в Google, которая удалила контент из своего индекса, вероятно, из-за нарушения авторских прав или из-за одного из других заявленных нарушений юридических правил Google, таких как фишинг, насилие или откровенный контент.

Имейте в виду, что украденный, скопированный или списанный контент также подвергает маркетологов риску наложения штрафа за тонкий контент. Всегда лучше создавать высококачественный оригинальный контент или указывать ссылку на оригинальные источники.

Страница с перенаправлением: Это сообщение означает, что URL, показанный в отчете о покрытии индекса Google, имеет перенаправление и не может быть добавлен в индекс. Разумеется, Google должен сканировать целевой URL без каких-либо дополнительных действий.

Soft 404: Мягкие 404 могут быть 404, где сайт предназначен для возврата пользовательского кода, «удобная» страница 404 — например, страница, которая автоматически предоставляет варианты того, куда перейти дальше. Программные 404 не возвращают соответствующий ответ 404 от сервера. Или программный 404 может быть страницей, у которой мало или совсем нет контента в уме Google, и ее ошибочно называют программным 404. В зависимости от случая, они могут быть хорошими или плохими — владельцы сайтов захотят проверить свои страницы на предмет соответствия Конечно.

Если вы видите эту запись в своем отчете о покрытии индекса, это означает, что Google интерпретировал страницу как программный код 404. Но если страница неправильно отображается как программный код 404, это может быть связано с тем, что страница отображается в основном пустой — убедитесь, что основное содержимое страницы и основные элементы отображаются на настольных / мобильных устройствах и что поисковым системам не мешает заблокированный контент, JavaScript или Flash.

Повторяющийся, отправленный URL-адрес не выбран как канонический: Это означает, что страница, отправленная в Google через карту сайта, не была проиндексирована, поскольку Google считает, что другой URL-адрес является более канонической версией.

Разница между этим статусом и «Google выбрал другой канонический, чем пользовательский» состоит в том, что в этом случае сообщение отображается, потому что кто-то специально запросил индексирование этого URL. В большинстве случаев для SEO это сообщение безвредно, потому что Google просто проиндексировал еще одну дублирующую версию.

Отчет об индексировании в Search Console не дает веб-мастерам возможности напрямую отправлять страницы в индекс или сообщать Google обо всех страницах, которые вы хотите проиндексировать.

Если веб-мастера хотят проиндексировать свой сайт, есть несколько способов сделать это. Чтобы ваша компания отображалась в результатах поиска Google, вы можете разрешить «паукам-индексаторам» посещать ваш сайт естественным образом и переходить от страницы к странице, собирая и отображая URL-адреса для индекса. В большинстве случаев это прекрасный способ сделать это, в противном случае вы можете использовать отчет «Карты сайта», доступный на той же платформе, чтобы добавить карту сайта в Search Console.

Перейдите к «Картам сайта» в разделе «Индекс» на левой панели навигации сайта.В разделе «Добавить новую карту сайта» вы можете добавить URL своей карты сайта и затем нажать «Отправить». Конечно, может пройти несколько дней или даже пара недель, прежде чем вы начнете видеть эти страницы в отчете об индексировании.

Узнайте, как улучшить индексный охват

Свяжитесь с нашей командой, чтобы получить дополнительную информацию об отчете об индексировании для поискового маркетинга Google. Наша команда может помочь вам оптимизировать ваш сайт для лучшего присутствия в поисковых системах и лучшего роста в Интернете — плюс наша технология RaddBOT SEO для анализа сайта может помочь вам проверить наличие проблем со сканированием, копируя реакцию поисковых систем на ваш сайт.

Почему Google не индексирует мою страницу Контрольный список из 11 шагов

Мы составили контрольный список, в котором описаны несколько простых шагов для проверки статуса индексации вашей страницы или веб-сайта, а также способы выявления (и решения) некоторых из наиболее распространенных проблем, которые могут препятствовать индексации вашего контента. .

Этот контрольный список служит блок-схемой устранения неполадок — он организован с учетом самых простых и быстрых проверок и в первую очередь наиболее распространенных проблем, поэтому, надеюсь, вам действительно не придется проходить через все это, чтобы вернуть свои страницы на путь к индексации .

Шаг 1. Проверьте, отображается ли ваша страница в индексе

Прежде всего проверьте, нет ли вашей страницы или веб-сайта в индексе. Самый быстрый способ проверить это — воспользоваться поисковыми операторами . Это поисковые запросы, которые вы можете использовать в поиске Google, чтобы помочь пользователю найти более конкретные результаты поиска.

Например: используйте оператор site: для проверки индексации всего сайта:

сайт: домен.com

Вы также можете использовать тот же оператор для проверки отдельной страницы:

сайт: domain.com/page-name

Если вы видите такой результат, это означает, что вашей страницы в настоящее время нет в индексе:

Есть еще много поисковых операторов с множеством вариантов использования, но это основной, который вам понадобится для проверки индексации.

Как Botify упрощает просмотр индексируемости?

Хотя и не является прямым отражением того, что Google индексирует или не индексирует, Botify позволяет очень легко проверить не только то, является ли страница индексируемой, но и индексируемость любой группы страниц, в том числе:

Щелкните ссылки выше, чтобы узнать больше о каждой разбивке, доступной для сканирования, журнала и Google Search Console.Для отдельных URL-адресов это так же просто, как выполнить быстрый поиск в нашем проводнике URL-адресов.

Шаг 2. Проверьте Google Search Console, чтобы получить информацию

Следующее место, которое нужно проверить, — это Google Search Console. Перейдите в отчет об охвате, чтобы получить обзор статуса индексации вашего сайта:

Две вкладки, которые показывают страницы, которые не были проиндексированы, — это вкладка «ошибка» и вкладка «исключенные».

Если ваша страница просканирована и Google решил не индексировать ее, она будет в отчете «Исключено».

Если ваша страница не может быть просканирована и / или не может быть проиндексирована по какой-либо причине, она появится в отчете «Ошибка». Стоит отметить, что затронутых URL больше 1К, здесь будет доступен только образец размером 1К — не обязательно конкретный URL, который ищет пользователь.

Если ваша страница отображается в одном из этих отчетов, вы сможете определить, в чем проблема, щелкнув этот URL-адрес и выбрав опцию «Проверить URL-адрес». Это хорошее начальное место или первое место для проверки статуса индекса (по сравнению с отчетами о покрытии, приведенными выше, в которых представлены ограниченные образцы).

Вы также можете выбрать «Проверить действующий URL», который может предоставить дополнительную информацию:

В зависимости от размера вашего веб-сайта вы не сможете найти URL, который ищете, в отчете о покрытии. В этих отчетах содержится только до 1000 «образцов» URL-адресов для каждого типа ошибки. Вместо этого вы также можете просто использовать панель поиска в верхней части страницы, чтобы напрямую проверить URL:

Шаг 3. Проверьте элементы страницы, блокирующие индексацию

Отчеты об ошибках могут показывать, что страницы блокируются метатегом noindex для роботов («Отправленный URL-адрес помечен как« noindex »»).Чтобы проверить эту проблему, вы можете перейти непосредственно на страницу и открыть исходный код HTML-страницы. (Если вы не знаете, как это сделать, просто добавьте «view-source:» в начало полного URL-адреса).

Когда вы просматриваете исходный код, выполните поиск на странице по запросу «noindex», и вы сможете увидеть, есть ли тег noindex, блокирующий вашу страницу.

На вашей странице также может быть HTTP-заголовок X-Robots-Tag, например:

HTTP / 1.1 200 ОК

Дата: Вт, 25 мая 2010 г. 21:42:43 GMT

(…)

X-Robots-Tag: noindex

(…)

Вы можете использовать такой инструмент, чтобы проверить HTTP-заголовок вашей страницы.

Если у вас есть веб-сайт WordPress, вы могли случайно установить в настройках конфиденциальности значение «Попросить поисковые системы не индексировать этот сайт». Просто измените этот параметр на «Разрешить поисковым системам индексировать этот сайт».

Примечание. Инструмент «Проверить URL» также будет отмечать наличие на странице директивы noindex.

Шаг 4. Проверьте файл robots.txt

Другое место, где ваша страница может быть заблокирована директивой robots, — это файл robots.txt файл.

Вы можете быстро проверить это, используя инструмент Google robots.txt tester, или проверить файл самостоятельно, перейдя в /robots.txt в своем домене.

Шаг 5. Убедитесь, что ваша страница доступна для поиска

Чтобы страница была проиндексирована, она должна быть обнаружена поисковым роботом. Есть несколько способов, которыми вы можете помешать поисковым роботам обнаружить вашу страницу (и которые вы можете использовать, чтобы убедиться, что они смогут ее найти).

Если на вашу страницу нет ссылки откуда-то еще или если на нее есть ссылка из неясной части сайта, поисковые роботы могут не найти ссылку и, следовательно, не смогут найти страницу.Убедитесь, что на вашем сайте есть внутренние ссылки, указывающие на страницу, если вы хотите, чтобы поисковые системы открывали ее и индексировали.

Одно из лучших мест для включения ссылки на страницу — это карта сайта XML. Если ваша страница не включена в карту сайта XML, Google может считать ее менее ценной или просто ей будет труднее ее найти. Чтобы этого избежать, обязательно включите в вашу карту сайта XML все страницы, которые важны для сканирования и индексации.

Шаг 6. Убедитесь, что ваша страница работает (даже с выключенным Javascript)

Даже если ваша страница обнаружена поисковыми роботами, она не будет проиндексирована, если к содержанию нет доступа.Убедитесь, что ваша страница:

• обслуживает код состояния 200
• отображает важный контент и имеет интерактивные ссылки даже с отключенным Javascript

Если на вашем веб-сайте часто возникают проблемы с простоями, это также может создавать проблемы с индексацией.

Шаг 7. Проверьте наличие повторяющегося или малозначного содержимого

Цель Google — показать наиболее релевантное содержание для заданного запроса. Следовательно, он обесценивает контент, который слишком похож на другой контент, который уже есть в индексе.

Вот некоторые из способов создания дублированного контента:

• параметров: если вы используете параметры, у вас может быть несколько версий одной и той же страницы с разными URL-адресами
• страниц фасетов / тегов: если вы используете фасетную навигацию или категоризацию, например блог / тег / страницы, контент может быть очень похожим, если не дублировать в нескольких тегах или категориях
• локализация: страницы для конкретных городов или страницы, ориентированные на комбинации страны / языка, могут иметь одинаковый контент и требовать большей дифференциации (или для международных вариантов использования аннотаций hreflang)
• внешнее дублирование: если вы синдицируете контент из другого источника, очищаете контент или иным образом повторно публикуете что-то, что уже было опубликовано, это, скорее всего, будет рассматриваться как дубликат (и слишком много этого может посылать сигнал о низком качестве контента)

Вы также должны проверить наличие не является тегом rel = canonical на странице, указывающим на другой URL-адрес в качестве основной версии.Вы можете проверить это с помощью инструмента «Проверить URL» в Google Search Console:

Или в исходном коде страницы, выполнив поиск по коду «rel = canonical»:

Шаг 8. Проверьте файл .htaccess на своем сайте

Файл .htaccess — это файл конфигурации сервера. Его можно использовать для создания перенаправлений (и случайных циклов перенаправления), перезаписи уродливых строк URL-адресов на более чистые версии и даже для блокировки страниц от поисковых роботов. Если ваш сайт или страница не заблокированы в robots.txt или через директивы на странице, такие как тег noindex, но он недоступен для поисковых роботов, он может быть заблокирован через .htaccess.

Шаг 9. Проверьте время загрузки вашего сайта

Хотя небольшая вялость сайта не пойдет вам на пользу Google, обычно это не препятствует индексации вашего контента (хотя это может повредить вашей способности к высокому ранжированию). Но если ваша страница регулярно занимает гораздо больше времени, чем обычные отраслевые стандарты, особенно если загрузка занимает так много времени, что время ожидания истекает, поисковые системы могут расценить это как неудобство для пользователей, и они могут решить не индексировать эту страницу.В этом случае они также могут просто не иметь доступа к контенту.

Шаг 10. Убедитесь, что ваш контент доступен на мобильных устройствах

Поскольку индексирование в первую очередь для мобильных устройств становится распространенным (и вскоре единственным) методом индексации, сканеры могут видеть ваш контент только в том случае, если он доступен для мобильных сканеров. Убедитесь, что любой контент, который вы хотите проиндексировать, доступен в мобильной версии вашего сайта (и, конечно же, эта мобильная версия быстрая и удобная для пользователя).

Шаг 11. Проверьте себя (также известный как «Может быть, это штраф?»)

Если вы баловались методами серой или черной шляпы, которые противоречат рекомендациям Google, возможно, вас ударили вручную. Они также известны как «штрафы» и происходят, когда команда Google вручную наказывает веб-сайт за поведение и тактику, которые они считают спамом.

Эти тактики включают:

• неестественных ссылок на ваш сайт или с вашего сайта
• взломанный сайт
• тонкий контент
• чистый спам
• спам, созданный пользователями
• маскировка и скрытая переадресация
• замаскированные изображения
• скрытый текст и подборка ключевых слов
• спам-хостов
• Несовпадение содержимого AMP
• скрытая переадресация с мобильных устройств
• разметка структурированных данных спама

Если вы подверглись действию вручную, вы должны получить уведомление в отчете «Действия вручную» в консоли поиска Google.Обычно это уведомление содержит подробную информацию о проблеме и рекомендуемые действия по ее устранению. После того, как все затронутые страницы будут исправлены, вам нужно будет отправить запрос на проверку из отчета.

После того, как вы проверите все эти пункты и решите любую из обнаруженных проблем, вы можете повторно отправить свою страницу в Google для сканирования. В настоящее время эта функция временно недоступна, но обычно вы можете сделать это из консоли поиска Google, используя функцию «Проверить URL», а затем выбрав «Запросить индексирование».

Вы также можете отправить XML-карту сайта для сканирования через Google Search Console, если вы внесли обновления или создали новую карту сайта.

1. Проверьте, отображается ли ваша страница в индексе
2. Проверьте консоль поиска Google для аналитики
3. Проверьте элементы страницы, такие как тег noindex
4. Проверьте файл robots.txt
5. Убедитесь, что ваша страница доступна для поиска
6. Убедитесь, что ваша страница работает (даже с выключенным Javascript!)
7. Проверить на дублированный контент
8. Проверьте свой.htaccess file
9. Проверьте время загрузки вашего сайта
10. Убедитесь, что ваш контент доступен на мобильных устройствах
11. Проверьте себя (может ли это быть штрафом?)
12. (Повторно) отправить свою страницу на индексацию

Как проверить, проиндексирован ли сайт / URL в Google?

Есть несколько способов проверить, проиндексирован ли веб-сайт / веб-страница / домен в Google.

Самый быстрый и простой способ проверить, проиндексирована ли отдельная веб-страница, — это использовать поисковый оператор.

Проверка проиндексированных страниц с помощью операторов поиска

Использование site: или info: поисковые операторы в Google покажут вам, проиндексирована ли страница.

Просто скопируйте URL-адрес своей веб-страницы из адресной строки — затем вставьте его в Google, указав перед ним site: или info: .

Например, чтобы проверить, проиндексирована ли конкретная страница, вы можете ввести:

 сайт: www.domain.com/webpage/ 

Если он возвращает веб-страницу в результатах поиска, она индексируется.Если вы ничего не получаете обратно, он не индексируется.

Смотрите изображение ниже:

Если вы хотите проверить, есть ли какие-либо страницы, проиндексированные по всему домену, аналогичным образом вы можете использовать оператор поиска, указав только имя домена или субдомен:

 сайт: domain.com
 

Как показано на следующем изображении, если в домене есть проиндексированные страницы, он отобразит их в списке.

Как найти проиндексированные страницы в Search Console

Еще один способ проверить проиндексированные страницы — использовать Google Search Console.

Если вы еще этого не сделали, вам нужно будет добавить и подтвердить свой веб-сайт / собственность в Search Console.

После этого вы получите доступ к различным отчетам и статистике, доступным в Search Console.

Убедившись, что вы выбрали правильное свойство поиска, то есть ваш веб-сайт, в верхней части страницы в Search Console вы должны увидеть окно, начинающееся с «Проверить любой URL-адрес в», а затем URL-адрес вашего сайта.

Вот как выглядит эта коробка для нас:

Для начала просто вставьте URL-адрес страницы, которую вы хотите проверить, проиндексирован в это поле, и нажмите ENTER.

Если ваша страница проиндексирована, вы должны увидеть что-то вроде этого:

В разделе, помеченном «Индекс» — также есть возможность просмотреть «Покрытие» или «Карты сайта». Оба эти раздела содержат данные об индексированных страницах.

Смотрите изображение ниже:

Массовые инструменты для проверки, проиндексирована ли ваша страница

Существуют инструменты, которые могут массово проверять, проиндексированы ли ваши URL-адреса в Google, такие как URL Profiler и ScrapeBox, но для большинства сайтов достаточно Google Search Console.

Сколько времени занимает индексация и 11 способов ускорить внесение ваших страниц в список

Сколько времени нужно Google, чтобы проиндексировать новый веб-сайт в 2019 году?

Хотя это и варьируется, кажется, что требуется от 4 дней до 6 месяцев, чтобы сайт просканировал Google и присвоил полномочия домену. Когда вы публикуете новое сообщение в блоге, страницу сайта или веб-сайт в целом, существует множество факторов, которые определяют, как быстро он будет проиндексирован Google. Например, популярность сайта, возможность сканирования контента и общая структура вашего сайта.

Google — это много разных вещей для разных людей.

Для студентов это незаменимый ресурс для стартапов, источник вдохновения и для таких маркетологов, как я … ну, это загадка .

Каждые несколько месяцев, когда Google выпускает новое обновление алгоритма, как авторы контента, так и эксперты по поисковой оптимизации прыгают, чтобы выяснить это и сохранить или даже улучшить свои рейтинги в результатах поиска.

Но поскольку на эту тему написано так много, часто бывает трудно отличить достоверное от ненадежного.

Вместо того, чтобы передавать те же исследования по поисковой оптимизации, которые вы, вероятно, уже видели на других сайтах, мы решили предоставить вам информацию прямо из самого Google и перевести ее в термины, понятные даже новичку.

Технический гигант сообщает, и я цитирую:

«Сканирование и индексирование — это процессы, которые могут занять некоторое время и зависят от многих факторов. Как правило, мы не можем делать прогнозов или гарантировать, когда или будут ли ваши URL-адреса сканироваться или индексироваться.

При просмотре индексации сайта в Search Console убедитесь, что у вас есть как версия с www, так и версия без www (например, www.example.com и example.com), и что у вас есть

установить предпочтительный домен. Имейте в виду, что, хотя файл карты сайта может помочь нам узнать о вашем сайте, он не гарантирует индексацию или повышение рейтинга вашего сайта.

У нас есть несколько статей Справочного центра, в которых объясняются эти процессы:

В общем, самая частая причина того, что сайт не индексируется, — это то, что он слишком новый — наберитесь терпения (и попросите Google просканировать и проиндексировать его) !.Вот другие распространенные причины, по которым веб-сайт или его части могут еще не быть проиндексированы:

• Веб-сайт может быть плохо связан с помощью нескольких ссылок с других сайтов в Интернете.
• Дизайн веб-сайта может затруднить сканирование и индексирование. Может быть, сам сайт даже явно блокирует сканирование или индексацию?
• Возможно, он был временно недоступен при попытке сканирования? В этом случае вы можете обнаружить ошибки сканирования в Search Console.
• Убедитесь, что веб-сайт соответствует нашим рекомендациям для веб-мастеров и не был взломан или иным образом изменен третьей стороной.
• В очень редких случаях может оказаться, что контент, ранее размещенный на доменном имени, вызывает проблемы. В этом случае вы можете отправить запрос на повторную проверку с подробным описанием изменения содержания и прав собственности.
• Если веб-сайт недавно переместился на другой адрес, убедитесь, что вы следуете нашим рекомендациям по перемещению сайта.
• Возможно, предыдущий владелец или кто-то другой, имеющий доступ к веб-сайту, запросил удаление через Search Console.Вы можете отменить эти запросы, перейдя в раздел «Конфигурация сайта» / «Доступ для сканера» / «Удалить URL-адреса» в своей учетной записи Search Console. »

Проще говоря, индексация и более высокий рейтинг в Google — это не точная наука.

На самом деле нет установленного графика того, как быстро ваша новая страница будет проиндексирована Google или насколько высоко она поднимется, но, эй, с быстро развивающимся бизнесом Google AdWords вы не можете ожидать, что они просто передадут секретный соус.

(Примечание: Эта статья поможет вам настроить свою первую кампанию Google AdWords , если вам интересно. )

По нашему опыту, Google может занять несколько дней, а иногда и месяцев, чтобы проиндексировать новый контент, и даже в этом случае он зависит от множества факторов, включая возраст домена вашего сайта (для индексации новых веб-сайтов может потребоваться больше времени) а также авторитетность вашего текущего веб-сайта и / или контента.

На авторитетность вашего сайта сильно влияет:

• Количество входящих ссылок, указывающих на ваш сайт
• Авторитет таких входящих ссылок (Другими словами, влияние и онлайн-влияние сайта, на который ссылаются вы.Например, если Forbes ссылается на вас, это гораздо больше, чем если бы местное агентство сделало то же самое.)
• Объем трафика веб-сайта, который вы генерируете в настоящее время

Здесь есть общая тема, если вы не заметили: обмен.

Алгоритм Google заботится о качестве содержания и в большинстве случаев обнаруживает, что ничто так не говорит о качестве страницы, как количество людей, которые делятся ею или привлекают к ней других.

Чем больше качественного контента в вашем контенте, тем больше будет возможностей для создания входящих ссылок, репостов и, как следствие, повышения авторитета сайта.

Во-первых, извините.

Я знаю, что было неприятно слышать, что вы ничего не можете сделать, чтобы гарантировать, что ваша новая страница будет проиндексирована Google, и, честно говоря, на самом деле нет ничего , чтобы это сделать.

К счастью, в последние годы входящие маркетологи обнаружили довольно много тактик, которые, кажется, помогают процессу, а во многих случаях даже улучшают ваш рейтинг в поиске.

1. Отправьте файл Sitemap в Google Search Console (ранее — Инструменты для веб-мастеров)
2. Отправьте ссылку прямо в поисковые системы.
3. Ссылка на страницу с ваших старых, уже ранжированных страниц. Ссылки на страницу из всех популярных статей по теме являются дополнительным сигналом для Google о том, что страница ценна.
4. Заставьте другие сайты и влиятельных лиц ссылаться на вашу страницу: Техника небоскреба может помочь в этом.
5. Создайте блог и регулярно публикуйте его: Сайты с блогами получают в среднем на 434% больше проиндексированных страниц. Это простой способ повысить авторитет сайта и, в свою очередь, быстрее проиндексировать страницы.
6. Создайте RSS-канал: После создания он должен автоматически обновляться и является еще одним простым способом сообщить поисковым системам, что на вашем сайте есть что-то новое, что требует их внимания.
7. Гостевой блог на влиятельных сайтах и ​​обратная ссылка на вашу страницу: Эта статья научит вас, как стать автором крупных публикаций.
8. Распространяйте свой контент на отраслевых форумах или в сообществах.
9. Напишите пресс-релиз со ссылками на ваш веб-сайт / страницу.
10. Установите Google Analytics: Рекомендует Нил Патель. Если вам сложно проиндексировать свой сайт, это даст Google немного информации о том, что вы активны. Не говоря уже о том, что Google Analytics — отличный способ отслеживать несколько важных маркетинговых показателей.
11. Поделитесь своим контентом в социальных сетях.

Чтобы повысить рейтинг вашего контента после индексации, вот несколько советов на основе данных:

1. Сделайте URL-адрес короче : URL-адреса, занимающие первое место, содержат в среднем 50 или менее символов
2. Добавьте типы контента, которые не использует ваш конкурент: Включите графику, анимацию, интерактивные элементы, видео и т. Д. Интерактивный контент преобразуется в 2 раза лучше, чем статический.
3. Создайте лучший заголовок: CTR имеет.67 корреляция с рейтингом.
4. Облегчить чтение: Средняя оценка читаемости по Флешу для контента, занявшего 1-е место, составила 76,6 (легко понимается подростками 13-15 лет).
5. Лучше структурируйте: Людям нужен контент, который легко усваивать и понимать. В 78% случаев контент с рейтингом №1 содержал маркированные списки.
6. Сделайте шрифт больше: В среднем страницы, занимающие первое место, имели шрифт 15,8 пикселей.
7. Сделайте это быстрее: В среднем страницы с рейтингом 1-2 имели наименьший максимальный размер файла изображения из 30 лучших результатов.
8. Сделайте его более наглядным: Средняя статья №1 содержит 9 изображений.
9. Источник профессиональных фотографий: Высококачественные изображения получили на 1215 больше репостов.
10. Включайте изображение каждые 75-100 слов: Эти статьи получают наибольшее количество репостов.
11. Добавьте высокое изображение: Средняя страница №1 имеет 12 000 контактов, а изображения высотой 800 пикселей получают на 575 контактов больше, чем в среднем. Высокие изображения (например, инфографика) также позволяют внешним сайтам ссылаться на ваш контент.
12. Link Out: Сайты, занимающие 1-е место, ссылаются на 50% больше, чем те, которые занимают 10-е место. Обращение к 3-5 людям, упомянутым в вашем посте, также может увеличить количество репостов в 3-5 раз.
13. Сделайте длиннее: Средняя страница №1 содержит 2416 слов.

Как определить, какие страницы не проиндексированы | SEO

Нет отдельного инструмента, способного предоставить информацию, которую вы ищете, Сет. По крайней мере, насколько я когда-либо сталкивался.

ОДНАКО! Это возможно, если вы готовы выполнять часть работы по сбору данных и манипулированию ими с помощью нескольких инструментов.По сути, этот метод автоматизирует подход, упомянутый Такеши.

Краткий ответ
Сначала вы создадите список всех страниц вашего веб-сайта. Затем вы создадите список всех URL-адресов, которые, по словам Google, проиндексированы. Оттуда вы будете использовать Excel, чтобы вычесть проиндексированные URL-адреса из известных URL-адресов, оставив список неиндексированных URL-адресов, что вы и просили.

Готовы? Вот как.

Собрать список всех страниц вашего сайта Это можно сделать несколькими способами.Если у вас есть надежная и полная карта сайта, вы можете получить эти данные там. Если ваша CMS может выводить такой список, отлично. Если ни один из этих вариантов не подходит, вы можете использовать паука Screaming Frog для получения данных (помните, что бесплатная версия собирает только до 500 страниц). Xenu Linksleuth также является альтернативой. Поместите все эти URL-адреса в электронную таблицу.

Составьте список всех страниц, проиндексированных Google.
Вы сделаете это с помощью инструмента для очистки, который будет «очищать» все URL-адреса со страницы поисковой выдачи Google.Для этого есть много инструментов; какой из них лучше, во многом будет зависеть от размера вашего сайта. Предполагая, что ваш сайт всего 7 или 800 страниц, я рекомендую блестяще простой букмарклет SERPS Redux от Лиама Делаханти.

Если щелкнуть букмарклет на странице поисковой выдачи, все URL-адреса будут автоматически скопированы в легко копируемый формат. Хитрость в том, что вы хотите, чтобы на странице результатов поиска отображалось как можно больше результатов, иначе вам придется перебирать многие-многие страницы, чтобы все уловить.

Итак — профессиональный совет — если вы перейдете к значку настройки на любой странице поиска Google и выберете Параметры поиска , вы увидите вариант, позволяющий вернуть до 100 результатов поиска вместо обычных 10. Вы должны выбрать Никогда не показывать мгновенные результаты , чтобы ползунок результатов на странице стал активным.

Теперь в поле поиска Google введите site: mysite.com , как объяснил Такеши. (ПРИМЕЧАНИЕ: используйте каноническую версию своего домена, поэтому включите www, если это основная версия вашего сайта). Теперь у вас должна быть страница со 100 проиндексированными URL-адресами вашего сайта.

• Щелкните букмарклет SERPRedux, чтобы собрать их все, затем скопируйте и вставьте URL-адреса в электронную таблицу.
• Вернитесь на сайт : страница результатов mydomain , щелкните для страницы 2 и повторите, добавив дополнительные URL-адреса в ту же электронную таблицу.
• Повторяйте этот процесс, пока не соберете все URL-адреса, перечисленные в Google

Удалите дубликаты, чтобы оставить только неиндексированные URL-адреса
Теперь у вас есть электронная таблица со всеми известными URL-адресами и всеми проиндексированными URL-адресами.Используйте Excel, чтобы удалить все дубликаты, и у вас останутся все URL-адреса, которые Google не перечисляет как индексируемые.

Вуаля!

Несколько примечаний:

• Оператор site: search не гарантирует, что вы действительно получите все проиндексированные URL-адреса, но это наиболее близкий к нему адрес. В качестве интересного эксперимента запустите этот процесс еще раз с неканонической версией адреса вашего сайта, чтобы увидеть, где вы можете быть проиндексированы на предмет дубликатов.
• Если ваш сайт больше или вам нужно будет сделать это несколько раз, есть инструменты, которые очистят все страницы SERPS одновременно, так что вам не придется их перебирать. Компоненты-скребки SEO Toolbox SEER или SEO-инструменты Нила Босмы для Excel являются хорошей отправной точкой. Существует также платный инструмент под названием ScrapeBox, разработанный специально для такого рода очистки. Это инструмент для черной шляпы, но в умелых руках он также эффективен для целей белой шляпы
• Воспользуйтесь предложением Такеши запустить часть результирующего неиндексированного списка через ручной сайт: поиски для подтверждения качества вашего списка

Уф! Я знаю, что это очень много, чтобы дать вам ответ на вопрос, который, вероятно, казался простым, но я хотел проработать для вас шаги, а не просто намекнуть на то, как это можно сделать.

Обязательно спросите о тех областях, где мое объяснение недостаточно ясно.

Пол

Как разместить свой сайт в поисковых системах в 2021 году

Индексирование в Google и других поисковых системах — один из наиболее эффективных способов получить бесплатный трафик на ваш сайт. Но вам может быть интересно:

Как мне разместить свой веб-сайт в поисковых системах?

Короткий ответ: это зависит от поисковой системы. Более длинный ответ заключается в том, что для каждого из них необходимо выполнить определенные шаги.Вот что вы узнаете из этой статьи:

Но сначала:

Нужно ли мне отправлять мой веб-сайт в поисковые системы?

Да и нет.

Поисковые системы не рассчитаны на отправку вручную. Это просто неэффективно. Вот почему их боты сканируют Интернет в поисках веб-сайтов для индексации.

Если вы не слышали этот термин раньше: сканирование — это когда поисковые системы ищут новые ссылки на веб-сайтах, а затем «переходят» по ним. Если ссылка ведет к чему-то полезному (например,грамм. полезный веб-сайт), эта страница затем индексируется.

Это означает, что поисковые системы довольно хорошо умеют находить новые веб-сайты самостоятельно, если на них есть ссылки откуда-то в сети.

Но с учетом сказанного…

Почему вы должны отправлять свой сайт в поисковые системы

Вот несколько причин, по которым вам следует вручную отправлять свой веб-сайт в поисковые системы:

• Спокойствие — Когда дело доходит до SEO, лучше перестраховаться.Чтобы узнать, насколько быстро можно вручную отправить свой сайт, стоит это сделать.
• Сообщите поисковым системам о своем сайте напрямую — Отправка вашего сайта с помощью описанных ниже методов позволяет вам сообщать Google (и другим) важную информацию о вашем сайте, в основном об обновлениях содержания и важных изменениях.
• Это простая возможность улучшения. — Отправляя свой сайт, вы получаете доступ к различным инструментам, которые могут помочь улучшить ваш сайт. Кроме того, вы можете сообщить им, что контент теперь обновлен и требует повторного сканирования.

Отправка веб-сайтов в поисковые системы: начало работы

Прежде чем вы начнете размещать свой сайт в поисковых системах, вам понадобится несколько вещей. Во-первых, вам нужно иметь доступ к своему сайту и редактировать его.

Доступ к серверной части не требуется для отправки веб-сайта в поисковые системы, но он может быть полезен, если вам нужно будет добавить что-то позже.

Например:

Имея доступ к сайту, значительно упрощает их добавление.

Это ключевые требования для индексации сайта. Фактически, правильная настройка карты сайта — одна из самых важных вещей, которые вы можете сделать, чтобы помочь вашему сайту быть замеченным поисковыми системами.

Не забывайте, что также необходим доступ к двум основным инструментам поисковых систем:

Консоль поиска Google

Перед тем, как отправить свой сайт в Google, вам необходимо настроить Search Console и подтвердить право собственности на сайт.

Чтобы подтвердить свой веб-сайт, скопируйте запись DNS TXT и добавьте ее к провайдеру доменного имени, чтобы подтвердить право собственности на домен.

Как подтвердить право собственности на домен с помощью записей DNS

Проверка вашего сайта с помощью записи DNS является рекомендуемым методом, так как вы можете оставить запись DNS навсегда, и это не приведет к добавлению дополнительного кода на ваш сайт.

Если вы не хотите (или не можете) подтвердить свой домен таким способом, не беспокойтесь, есть альтернативные способы подтверждения своего аккаунта.

Инструменты Bing для веб-мастеров

Bing упрощает настройку Инструментов для веб-мастеров. Если у вас уже настроена Search Console, вы можете просто импортировать свои сайты.

После регистрации просто нажмите кнопку «Импорт»:

Импортировать настройки Search Console в Bing

Это простой способ добавить ваш сайт в Инструменты Bing для веб-мастеров.

Итак, теперь у вас есть все необходимое для настройки, пора начать размещать свой сайт во всех основных поисковых системах.

Начнем с Google.

Как мне разместить свой веб-сайт в Google?

Опубликовать веб-сайты в Google довольно просто.

Фактически, единственный способ представить свой веб-сайт — это добавить карту сайта в Google Search Console.

Вот как:

1. Найдите свою XML-карту сайта

Карта сайта — это XML-файл, в котором перечислены все страницы веб-сайта.

Обычно его можно найти по адресу:

YOURWEBSITE.com/sitemap.xml

Если вы используете WordPress для поддержки своего сайта и используете плагин Yoast SEO, ваша карта сайта будет выглядеть так:

Карта сайта Kinsta

Найдя карту сайта, можно переходить к следующему шагу:

2. Добавьте свой файл Sitemap в консоль поиска Google

Откройте консоль поиска Google и в разделе «Индекс» выберите карты сайта.

Теперь все, что вам нужно сделать, это вставить URL-адрес вашей карты сайта и нажать submit:

Добавить карту сайта в Google Search Console

Если у вас несколько карт сайта, просто повторяйте этот процесс, пока все ваши карты сайта не будут перечислены в представленном разделе.

Для этого вам необходимо добавить и подтвердить свой сайт в GSC.

Если вам нужны более подробные инструкции, у нас есть руководство по Search Console, которое проведет вас через все, что вам нужно знать. Аналогичным образом, у нас также есть это руководство о том, как добавить сайт в Новости Google, если вы хотите, чтобы ваш сайт появился там.

Краткое примечание о добавлении вашего сайта в Новости Google

Политика в отношении содержания Новостей Google

Издателям больше не нужно отправлять свой сайт, чтобы иметь право на участие в приложении и веб-сайте Новостей Google. В частности, по словам Барри Адамса:

Подпишитесь на информационный бюллетень

Хотите узнать, как мы увеличили наш трафик более чем на 1000%?

Присоединяйтесь к 20 000+ других, которые получают нашу еженедельную рассылку с инсайдерскими советами по WordPress!

Издатели автоматически рассматриваются для главных новостей или вкладки новостей поиска.

3. Отправьте URL страницы в Google

Что делать, если вы просто хотите отправить в Google отдельную страницу? Это тоже довольно просто.

В Search Console перейдите к проверке URL и вставьте URL своей страницы, которую вы хотите проиндексировать.

Если страница не проиндексирована как , вы увидите, что GSC сообщает, что «URL не в Google» . Чтобы его просканировали, просто нажмите Request Indexing :

Использовать проверку URL для запроса индексации

Если страница проиндексирована как , вы увидите «URL находится в Google» :

Проиндексированная страница в Search Console

Если вы недавно обновляли содержание и хотите, чтобы Google повторно сканировал страницу, вы можете нажать «Запросить индексирование» , чтобы проиндексировать эти изменения страницы.

Как проверить, находится ли ваша страница в Google?

Чтобы узнать, был ли ваш сайт успешно отправлен и проиндексирован, просто найдите свой веб-адрес в Google. Если Google просканировал и проиндексировал ваш сайт, он появится в результатах поиска.

Вы можете попробовать скопировать параграф или два текста со своего сайта и искать их в «кавычках». Если ваша страница находится в Google, она должна появиться.

Другой способ, которым вы можете воспользоваться, — это команда оператора поиска «site:» в Google.Просто введите:

сайт: www.YOURWEBSITE.com

Как выполнить поиск по сайту в Google

Google будет знать, что показывать результаты только из указанного вами домена. Вы можете использовать оператор поиска по сайту на главной или внутренних страницах вашего сайта.

Как мне разместить мой веб-сайт в Yahoo?

Хорошо, это самый простой вариант. Чтобы ваш сайт появился на Yahoo … вы отправляете свой сайт в Bing.

Это не было опечаткой. Отправка вашего веб-сайта в Bing автоматически отправляет его и в Yahoo.

Так что вы можете также перейти к следующему разделу, чтобы разместить свой сайт в Bing:

Как мне разместить свой веб-сайт в Bing?

Во-первых, вам нужно перейти в Bing Webmaster Tools. Убедитесь, что вы настроили его для своего сайта. Если вам нужна помощь, вот наше удобное руководство по Bing WMT.

Как и в Search Console, отправить карту сайта в Bing очень просто. Просто выберите «Карты сайта» в меню, вставьте URL-адрес карты сайта и нажмите «Отправить».

Отправка файлов Sitemap в формате XML в Bing Webmaster Tools

Это отправит ваш сайт не только в Bing, но и в Yahoo (поскольку они оба работают на Bings Index).

Подключаемый модуль для отправки URL-адресов Bing

Если ваш сайт работает на WordPress, есть более простой способ отправить контент в Bing с помощью плагина Bing URL Submissions.

Плагин WordPress для отправки URL-адресов Bing

Бесплатный в использовании и простой в активации плагин автоматически отправит ваш новый или обновленный контент непосредственно в поисковый индекс Bing после того, как вы добавите свой ключ API:

Активация подключаемого модуля WordPress для отправки URL-адресов Bing

Есть несколько функций, с которыми вы можете поиграть, например:

• Функцию автоматической отправки, которую вы можете включать и выключать, в зависимости от ваших потребностей.
• Отправка URL вручную.
• Просмотрите последние URL-адреса, отправленные через плагин, который также можно загрузить в виде удобного списка для отслеживания.
• Возможность повторно отправить недавние URL-адреса.

Как мне отправить свой сайт в DuckDuckGo?

Короткий ответ: нет.

DuckDuckGo автоматически индексирует Интернет, поэтому вам не нужно вручную отправлять им свой веб-сайт.

Фактически, он использует более 400 источников и результаты поиска Bing, поэтому, если вы выполнили предыдущие шаги для отправки в Bing (и Yahoo), вы сделали все необходимое для ускорения индексации своего сайта на DuckDuckGo.

Службы избегания подачи

Размещение вашего веб-сайта в Google, Bing или Yahoo бесплатно, поэтому вам не следует платить за услугу отправки, чтобы разместить вас в списке.

Подписка на услугу отправки в поисковую систему бессмысленна. А если вам не повезет, вас засыпают спамом, пытающимся продать ваши некачественные услуги SEO.

Важные поисковые системы предоставляют полезные ресурсы для помощи, а также документированные методы отправки и успешного индексирования сайта в Google, Yahoo и Bing в любом случае.Для этого вам не нужны услуги.

Дополнительные ресурсы для отправки в поисковую систему

У большинства поисковых систем есть особые способы включения веб-страниц в свой индекс. Вот ссылки на официальные страницы для размещения вашего сайта в поисковых системах:

Посмотрите это видео ниже, чтобы узнать больше об увеличении посещаемости вашего сайта с помощью SEO:

Сводка

Google и другие поисковые системы в конечном итоге смогут найти ваш веб-сайт, даже если вы не отправите его им вручную.

Тем не менее, настоятельно рекомендуется отправить свой сайт с помощью карты сайта, и если она у вас не настроена должным образом, это стоит сделать. Почему? Он дает поисковым системам дополнительную информацию о вашем сайте, а взамен вы получаете дополнительные данные индексации вашего сайта (возможно, даже дополнительные ссылки).

Отправка сайта поисковым системам имеет огромное значение для , сигнализируя поисковым системам об обновлениях и изменениях контента . Принудительное новое сканирование позволяет ускорить процесс ранжирования по вновь добавленным ключевым словам вместо старых, которые больше не актуальны.

Поскольку поисковая оптимизация является постоянно меняющейся областью, проиндексировать ваш сайт и страницы — это самый минимум. Если вы хотите увеличить свой трафик, вам нужно сделать гораздо больше (вот контрольный список SEO для начала), но сейчас вы на правильном пути.

Экономьте время, деньги и повышайте производительность сайта с помощью:

• Мгновенная помощь от экспертов по хостингу WordPress, 24/7.