Проверить сайт на индексацию: Проверка индексации сайта, проверить индексацию и количество страниц в Яндекс и Google.

Что такое индексация сайта и как проиндексировать свой сайт в поисковых системах?

ГлавнаяСтатьиSEOЧто такое индексация сайта и как проиндексировать свой сайт в поисковых системах?

Самые важные новости сферы интернет-маркетинга

28 июля 2022

Что такое индексация и как проходит этот процесс в поисковых системах

Любой сайт — будь то корпоративный блог или магазин в e-commerce — проходит несколько важных этапов «рождения». После создания и первичного наполнения контентом, важно проиндексировать сайт поисковыми системами (далее — ПС). Как это происходит:

• Роботы ПС «видят», что создан новый сайт (или страница).

• Планируют его «осмотр».

• Запрашивают контент сайта и анализирует его по ряду параметров.

• Если все соответствует требованиям — сайт/страница попадает в индекс (своего рода «реестр» ПС), и включается в поисковую выдачу.

Когда пользователь вводит в поисковике запрос, сервис сверяет его с проиндексированными данными и выдает максимально релевантные страницы. Но если при индексации сайта были обнаружены проблемы (ошибки, низкая уникальность текстов, и др.) — ПС могут наложить «санкции» и понизить позиции сайта в выдаче. А то и вовсе исключить его из списка рекомендованных в поиске.

Технологии и алгоритмы индексации сайтов в поисковиках

Технология индексации сайта в Google

Google и Яндекс могут проиндексировать сайты по-разному. У Google действует правило «Mobile-first»: поисковые роботы (краулеры) рассматривают именно мобильную версию сайта и присваивают ей индекс. Поэтому если она проигрывает десктопной, содержит ошибки или не обладает полным функционалом — на нее могут быть наложены ограничения.

На частоту проверки сайта краулерами и на индексацию сайта в Гугл влияет так называемый «краулинговый бюджет»: чем он больше — тем чаще и быстрее проверяют сайт.

Считается, что возраст сайта и частота обновления контента положительно влияют на размер «краулингового бюджета».

Технология индексации сайта в Яндекс

Яндекс принимает за основную десктопную версию сайта, проверяет и индексирует именно ее. Краулингового бюджета в этой ПС нет, показатели «доверия» к сайту или его цитируемость другими источниками не имеют подтвержденного значения.  Приоритет отдается сайтам с более высокой посещаемостью и большим количеством страниц. При наполнении сайта контентом стоит помнить, что Яндекс не проверяет документы размером более 10 Мб.

Как проверить индексацию сайта?

Существует несколько способов проверить индексацию страниц вашего сайта:

• С помощью плагинов проверки (SEO Magic, RDS bar и др.). Их преимущество — не нужно заходить каждый раз в ПС и вводить запрос, они работают в автоматическом режиме.

• Через специальные сайты-сервисы проверок: Netpeak Spider, Screaming Frog Seo Spider, Se Ranking, arsenkin. ru, serphunt.ru, raskruty.ru и др.

Факторы индексирования и их влияние на поисковые системы

На индексирование страниц и контента вашего сайта влияют несколько факторов:

• Файл robots.txt. В нем содержатся «подсказки» для краулеров: какие страницы на сайте можно индексировать, а какие — нет. Влияние на индексацию этого файла зависит от типа ПС, но основные — Google и Яндекс, его все же учитывают.

• Метатег <meta name=“robots” содержит (и при желании — позволяет настроить) команды для поисковых роботов, указывая им как лучше проиндексировать страницы.

• В серверном программном обеспечении сайта можно добавить в заголовки X-Robots-Tag HTTP-ответы, содержащие настройки, указанные в файлах .htaccess и httpd.conf. Прописанные в них команды будут выполняться всеми краулерами.

• Тег <noindex> запрещает индексировать определенный контент — например, текст, при помощи пары тегов <noindex>. ..</noindex> (работает только для поисковой системы Яндекс).

• Вывод контента Ajax. Если версия, отображаемая для пользователей, отличается от того, что находится в сохраненной копии, при этом в текстовой версии или коде сохраненной копии отсутствует контент, то это первый признак, что контент страницы может не индексироваться роботами ПС.

Что делать, если сайт не индексируется?

Если ваш интернет-сайт не индексируется продолжительное время — возможно, существуют проблемы с оптимизацией и стоит проверить некоторые аспекты:

1) Не закрыт ли сайт для индексации через:

• файл Robots.txt,
• метатег <meta name=“robots”,
• в файлах .htaccess и httpd.conf., 
• X-robots-tag.

2) Если в указанных местах доступ не закрыт — стоит проверить, нет ли ошибок в теге rel canonical.

3) Проблемы могут возникать и на хостинге (например, слишком долгое время ответа сервера, или сервер дает неверный ответ на запрос ПС).

4) На сайте содержится неуникальный или контент низкого качества.

И только после проверки всех этих факторов можно искать причины в неверной работе самих ПС. Редко, но иногда сбои происходят именно на стороне поисковиков, но такая информация, как правило, быстро становится общедоступной.

Как ускорить индексацию сайта

Что можно предпринять для более быстрой индексации сайта поисковыми системами? Способов много, перечислим самые очевидные и действенные.

• Установите автоматическое обновление карты сайта (sitemap). Особенно, если вам нужно быстро проиндексировать страницу в Google — эта ПС обращается к карте в первую очередь, в отличие от Яндекса, которая вначале «смотрит» на файл robots.txt. Все новые страницы должны тут же заноситься в карту сайта.

• Тщательно проверьте страницы и размещенный контент. Сайт не должен содержать дубли страниц и контент с низким процентом уникальности. Эти аспекты «воруют» краулинговый бюджет, в результате чего роботы ПС могут просто не добраться до новых страниц, которым нужно индексироваться.

• Проверьте, нет ли на сайте битых ссылок и каково количество внутренних редиректов. От первых нужно избавиться вовсе, количество вторых — свести к минимуму. Каждый из них также расходует бюджет поисковых роботов.

• Еще раз проверьте, не закрыты ли добавленные страницы для индексации через robots.txt. Это важно для их дальнейшего продвижения.

• Проверьте скорость загрузки страниц сайта при помощи PageSpeed Insight. И время ответа сервера, и скорость загрузки отдельных страниц должны быть минимальными (сервис сам измеряет эти показатели и выдаст вам рекомендации по устранению технических недостатков).

• Проверьте качество внутренней перелинковки.

  Краулеры «путешествуют» по внутренним ссылкам так же, как и посетители, автоматически ускоряя скорость индексации страниц.

• Выводите «превью» свежего контента на главную страницу — будь то текстовый материал или карточка с новым товаром. Так ваш контент окажется «на поверхности» сайта и будет быстрее замечен краулерами.

• Следите за регулярностью обновления контента на сайте. Это относится не только к вновь публикуемым статьям, но и обновлению/корректировке старых.

---

Статью подготовил Сергей Лысенко,  ведущий спикер Webcom Academy.

Поделиться с друзьями:

Самое свежее за последнюю неделю

Как проверить индексацию сайта в Яндексе

SEO продвижение сайтов, Анализ сайта

Сегодня Вы узнаете как проверить индексацию сайта в Яндексе и зачем вообще нужно знать проиндексировали роботы ваш ресурс или нет. Также подробно разберём вопрос о том, как ускорить индексацию сайта.

Как проверить индексацию сайта в Яндексе через Yandex вебмастер

Оглавление статьи

• 1 Как проверить индексацию сайта в Яндексе через Yandex вебмастер
• 2 Как ускорить индексацию сайта
• 3 Как установить расписание для индексирующего сайт робота:
• 4 Как я приручил робота Яндекс часто индексировать мой сайт
• 5 Вместо заключения

Для того чтобы узнать проиндексирован ваш сайт яндекс-ботами или нет нужно зарегистрироваться в Вебмастере Yandex. Весь процесс регистрации описывать не вижу смысла, он достаточно простой. Единственное, что вас в этом процессе может озадачить, это подтверждение прав на регистрируемый сайт.

Нужно скопировать файл предложенный Яндексом и вставить его в корневую папку сайта и нажать кнопку подтвердить. После этого вам станут доступны все функции системы и можно перейти во вкладку — индексирование:

Если прокрутить страницу ниже будут видны страницы которые проиндексировал робот и дата индексации. Все мои статьи Яндекс-боты «кушают» просто мгновенно, прямо в день выхода. И это очень круто, так как моя проиндексированная статья сразу попадает в ТОП 10 выдачи Яши и начинает работать, привлекая трафик на сайт. Вот даты индексации моих последних опубликованных статей:

Многие начинающие хозяева сайтов недооценивают важность индексации. Я встречал интернет магазины публикующие карточки товаров по 1000 штук в день, которые попадали в индекс сайта только спустя месяцы.

Представьте себе, что 1000 товаров не были видны в поиске Яндекс столько времени и значит они не работали. Товары соответственно из-за этого не покупали. Как следствие компания недополучила прибыль из-за того, что её SEO-оптимизаторы не удосужились ускорить индексацию страниц своего сайта.

Думаю с тем, как проверить индексацию сайта в Яндексе всё понятно. Давайте теперь разберёмся как индексацию сайта ускорить.

Как ускорить индексацию сайта

Для того чтобы опубликованные статьи на вашем сайте мгновенно индексировались, необходимо приручить Яндекс-бота как можно чаще посещать ваш сайт. В первую очередь необходимо установить на сайте файл Sitemap (карту сайта), благодаря которой роботы будут быстрее понимать, что и где на вашем сайте поменялось.

Следующим важным моментом будет закрытие тех папок и документов на сайте, которые роботам смотреть не обязательно и тратить на их просмотр время. Такие действия выполняются с помощью файла Robots.txt. Грамотно составленный robots облегчит работу скролеров и уменьшит нагрузку на сервер.

Следующим этапом до публикации статьи на сайте необходимо добавить её в блог Вебмастера оригинальные тексты, чтобы исключить возможность воровства контента и обозначиться перед Яндексом, как первоисточник информации.

Затем переходим в раздел «переобход страниц» в Яндекс Вебмастере:

Вставляем URL добавленной на сайт страницы в графу и нажимаем кнопку отправить. Таким образом мы информируем роботов, что на нашем сайте появилась новая страница, которую необходимо проиндексировать. Тоже самое нужно сделать со всеми страницами на сайте, которые не попали в индекс.

Как установить расписание для индексирующего сайт робота:

Такая функция тоже есть в вебмастере в разделе скорость обхода:

С помощью ползунка вы можете задать скорость обода и индексации вашего WEB проекта вручную. Лично я этого не делал и оставил галочку в строке «доверять Яндексу». То что Яндекс-бот приходит на мой сайт ежедневно это меня более чем устраивает.

Как я приручил робота Яндекс часто индексировать мой сайт

Поделюсь с вами ещё одной фишкой которая максимально ускоряет процесс индексации сайта. Для этого нужно публиковать свои тексты туда где Яндекс-ботов и Google-ботов очень много. Это социальные сети и новостные порталы.

В них роботы скролеры просто живут и не выходят от туда. Как только у меня выходит на сайте статья, я сразу же её разпощиваю по социальным сетям, таким как Вконтакте, Одноклассники, Твитер, Фэйсбук, и так далее.

Роботы видят новый контент, переходят на мой сайт и индексируют страницу. В дальнейшем они понимают частоту появления контента на сайте и приходят также часто, как появляются статьи. Как видите всё очень просто!

Процесс индексации — это первое с чего начинается SEO продвижение сайта. Но этого не достаточно, чтобы увидеть ваш интернет проект на первой странице Яндекса. Проиндексированная страница может занять к примеру 100-е место в выдаче и дальше хозяину сайта необходимо приложить все знания и усилия, чтобы загнать её в ТОП 10 выдачи. Как это сделать я подробно рассказываю на своих онлайн курсах по SEO обучению.

Вместо заключения

Хотите выйти в ТОП10 Яндекс и долго там оставаться? Продвигайте свои сайты и интернет-магазины исключительно белыми SEO методами! Не умеете? Могу научить! Тем, кто хочет разобраться во всех премудростях SEO, предлагаю посетить мои курсы по SEO обучению, которые я провожу индивидуально, в режиме онлайн по скайпу.

Записаться на SEO обучение

Для тех, у кого нет времени проходить обучение и самостоятельно заниматься продвижением своих интернет-магазинов, предлагаю и в этом вопросе помощь. Я могу взять ваш сайт на SEO продвижение и за несколько месяцев вывести его в ТОП10 Яндекс. Для того чтобы убедиться в моей экспертности, предлагаю ознакомиться с моими последними SEO кейсами и только после этого заказать у меня SEO продвижение. Ниже на видео один из примеров успешного продвижения строительного сайта в Санкт-Петербурге.

Заказать SEO продвижение сайта

Бесплатный тест Google Index Checker

Бесплатный тест Google Index Checker

Протестируйте наш мониторинг и узнайте, почему так важна индексация ссылок в Google!

Вы занимаетесь линкбилдингом, но индексируются ли ваши ссылки?

Ссылка, не проиндексированная Google, бесполезна. Проверить индексацию ваши ссылки.

Как использовать средство массовой проверки индекса Google?

Чтобы использовать инструмент Google Index Checker, Gindex.me очень полезен для веб-мастеров и веб-сайтов. выполнить тест индексации просто и быстро. Благодаря этому, сколько веб-сайтов принадлежит Google.

Достаточно зарегистрировать каждого нового пользователя, которого я бесплатно получаю от нашей компании в виде кредита на Индексационные тесты. После добавления обратных ссылок результатов URL-адрес индексируется Google, и Дампы результатов Google со статусом индексации.

Регистрация/Вход

Мониторинг индексации

Проверить, проиндексированы ли полученные ссылки Google .

Отчет об индексации

Скачать подробный отчет о том, какие ссылки находятся в индексе Google

API-интеграция Gindex.

me

Отправляйте свои ссылки прямо из панели на Gindex.me

Гибкие пакеты

Адаптируйте свой пакет к количеству ссылок

Низкая цена

Проверка одной ссылки может стоить всего $0,0010 9 0039 (минимальный заказ 1250р.) кредиты)

О Google Index Checker

Проверяйте статус индексации Google многих веб-сайтов одновременно, используя наш инструмент.

Владельцы веб-сайтов и SEO-специалисты используют такие инструменты, как IndexChecker.link, чтобы быстро и легко проверить статус индексации всех URL-адресов веб-сайтов.

Этот инструмент Google Index Checker информирует веб-мастеров, владельцев веб-сайтов и специалистов по SEO, которые веб-сайты должны быть проиндексированы для индексации в Google

Проверка проиндексированных страниц Google: проверка индексации

Полезный инструмент для проверки проиндексированных страниц Google, если вы не знаете, сколько ваших веб-сайтов индексируются Google. Стоит провести тест индексации, чтобы решить проблемы с видимость вашего сайта в результатах поиска Google. Вы сможете пожаловаться на Google индексация неиндексируемых URL.

Проверка индекса Google, как долго задерживается

Нет определенного времени, когда Google посетит определенный сайт, чтобы добавить его в свой индекс. Google очищает миллионы страниц каждый день, и нет гарантии, что все наши URL-адреса веб-сайтов будут проиндексированы. Чаще всего ценные сайты с высокой посещаемостью и высоким авторитета индексируются менее чем за 24 часа с момента появления нового URL на сайте.

Что означает индекс Google?

Серверы Google постоянно посещают миллионы сайтов и создают индекс для каждого сайта, который представляет собой большую сеть связей между сайтами и друг другом. Однако он не сканирует все сайты, которые вы посещаете, могут быть разные причины, по которым Google не хочет индексировать ваши новые сайт чаще всего это проблема с обратными ссылками или ссылками на сайте.

Полезно знать, какие URL-адреса веб-сайтов не входят в индекс Google. Многие SEO-специалисты и веб-мастера проверяют статус индексации своего сайта и могут улучшить качество контент на вашем сайте, чтобы Google мог его проиндексировать.

Как проиндексировать сайт в Google

Если ваш сайт не проиндексирован и прошло уже давно 7-10 дней, работайте над контентом, который вы размещены на нем. Качественный контент и исчерпывающая тема, которую искал клиент, имеет решающее значение для Google, чтобы предоставлять высококачественный контент поисковой системе Google.

Также позаботьтесь об обратных ссылках для вашего сайта, ссылки должны быть получены на тематически связанные веб-сайты, которые имеют высокий авторитет и трафик. Избегайте ссылочных ферм, профилей, форумов, ссылки с таких сайтов могут принести вашему сайту больше вреда, чем пользы.

Как быстро проиндексировать веб-страницы в Google?

Если средство проверки статуса индексации показывает большой процент страниц, проиндексированных в Google, вы следует проверить причину, по которой некоторые сайты не индексируются. Первым шагом является вход в систему консоль поиска Google, которая может уже содержать информацию, почему ваш сайт не проиндексирован. Вы можете добавить карту сайта в консоль поиска Google, чтобы Google мог находить новые URL вашего сайта быстрее.

Чтобы индексировать новые URL-адреса, поделитесь ссылкой на новый контент в социальных сетях, таких как Твиттер, Фейсбук и Пинтерест. Позаботьтесь о качественном контенте на своем сайте, и вы будет получать трафик от Google.

Google медленнее индексирует новые сайты, но не волнуйтесь, работайте над качественным контентом на своем сайт и получить хорошие обратные ссылки, и он обязательно появится в индексе Google.

Зачем вам использовать эту программу проверки индекса Google?

Очень важна индексация сайта, благодаря которой мы можем получать органический трафик с поисковую систему Google и получить нового клиента, который потенциально купит у нас услугу или прочтите интересную статью. Используя этот инструмент для проверки проиндексированных страниц Google, вы будет знать, какие страницы вашего сайта не проиндексированы Google.

Все поисковые системы, не только Google, тщательно проверяют проиндексированные веб-сайты, которые появляются на Интернет. Время от времени они посещают переиндексированные страницы, чтобы обновить данные, позаботиться о содержание и обратные ссылки

С помощью этой массовой проверки индекса вы можете проверить, проиндексировал ли Google все ваши веб-страницы, особенно новые, которые вы добавили. Неважно, сколько страниц у вас на сайте, главное те, которые проиндексированы Google, подсчитывают.

Если вы внесли изменения на свой сайт, не забудьте уведомить об этом Google и попросить их для переиндексации вашего веб-сайта, а затем убедитесь, что все URL-адреса перечислены в индексе.

Чем больше вы покупаете, тем дешевле!
Заказывайте сколько хотите! Гибкие тарифные планы.

До 9999

0,0050 долл. США за чек

> 10000

0,0040 долл. США за чек

> 50000

0,0030 долл. США за чек

> 150000

0,0020 $ за чек

Протестируйте бесплатную программу проверки индекса Google

Вы получите 50 бесплатных баллов это позволит вам проверить индексацию Google бесплатно!

Попробуйте с 50 бесплатными кредитами

Noindex checker — Бесплатные SEO-инструменты

Узнайте, как исправить все проблемы, которые могут вызвать статус «Проиндексировано, хотя и заблокировано robots. txt» в Google Search Console, в нашем подробном руководстве. Кроме того, убедитесь, что Google не индексирует ваши личные страницы!

Если вы получили уведомление Google Search Console или заметили, что некоторые из ваших страниц «проиндексированы, хотя и заблокированы robots.txt», я здесь, чтобы показать вам, как решить эту распространенную ошибку индексации, а также — что делать, когда страницы, которые не должны индексироваться, индексируются.

Посмотрим!

Что такое статус индексирования «Проиндексировано, но заблокировано robots.txt»?

Когда роботы Google закончат сканирование вашего веб-сайта, они проиндексируют его следующим. Обычно это цель: вы хотите, чтобы ваши страницы ранжировались по правильным ключевым словам в поисковой выдаче Google.

Однако есть некоторые страницы, которые вы не хотите индексировать, например:

• Серверная часть вашего сайта
• Промежуточные среды
• Частные страницы
• Тонкие или дублированные страницы содержимого

И многое другое.

Получили ли вы электронное письмо от Google Search Console (GSC), в котором говорится: «Проиндексировано, но заблокировано robots.txt», тогда вот небольшая помощь о том, что происходит и как это исправить.

Чтобы Google не использовал эти страницы , вы используете файл robots.txt. Он содержит инструкции для поисковых систем, включая указание страниц, которые вы хотите пропустить.

Где я могу проверить проблемы с индексацией?

Если вы не получили уведомление, но хотели бы проверить, вы можете использовать Консоль поиска Google -> Индексирование -> Страницы . Вы увидите список всех причин, по которым ваши URL-адреса могут иметь проблемы с индексацией:

Когда вы нажмете на конкретную проблему индексации страницы и URL-адрес, вы получите возможность «Проверить URL-адрес». Оттуда вы сможете получить доступ к дополнительной информации и отчету:

Если вы используете SiteGuru для еженедельных SEO-аудитов и списков дел, вы можете использовать отчет об индексации. Вы увидите, когда роботы Google в последний раз сканировали ваши страницы, и если есть какие-либо проблемы с индексацией, которые вы должны исправить.

Как исправить сообщение «Проиндексировано, но заблокировано robots.txt»

Шаг 1. Вы намеренно не индексировали страницу?

Не проблема, если файл robots.txt содержит указания от вас или разработчика о блокировке страниц, но убедитесь, что:

• Вы не блокируете страницы, которые должны ранжироваться по ключевому слову.
• Вы случайно не установили общее правило, влияющее на страницы, которые должны быть проиндексированы.

Если вы намеренно не проиндексировали страницу, то все в порядке! Не стесняйтесь пропустить эту статью и сварить себе чашечку кофе.

Если вы намеренно не индексировали страницу, пришло время устранить неполадки.

Шаг 2. Устранение неполадок Непреднамеренная блокировка файла robots.txt

Правила Robots.

txt

Возможно, в вашем файле robots.txt есть директива, запрещающая индексацию страниц, которые действительно должны быть проиндексированы.

Например, вы могли заблокировать определенные страницы в своем справочном центре от индексации, но вы могли установить правило, которое блокирует их все, включая те, которые могут ранжироваться по длинному ключевому слову.

Проверьте директивы no-index и убедитесь, что:

• Существует не более одного блока «агент пользователя».
• Строка «запретить» не сразу следует за строкой «агент пользователя».
• Невидимые символы Unicode удалены. (Вы можете запустить файл robots.txt через текстовый редактор, который преобразует кодировки.)

Вы также можете использовать нашу бесплатную проверку без индекса для проверки.

Если вы хотите, чтобы поисковые роботы индексировали все страницы вашего сайта, это должна быть ваша директива robots.txt:

User-agent: * Disallow: /   

Это означает ничего не запрещать.

Дублирование файлов robots.txt

Если вы используете CMS, например WordPress, она может автоматически создать ваш файл robots.txt. SEO-плагины делают то же самое. Если вы также создали свой собственный, убедитесь, что вы не дублируете и не дублируете файлы robots.txt с разными директивами, что сбивает с толку Google.

Цепочки перенаправления

Боты используют ссылки для сканирования и понимания вашего веб-сайта. Они могут использовать ваши перенаправления, но если вы настроили так много перенаправлений, что зацикливаетесь на них, они в конечном итоге сдадутся.

Я всегда рекомендую создавать карты перенаправления. Кроме того, минимизация перенаправлений отлично подходит для вашего краулингового бюджета!

Канонические теги

Если у вас есть дублированный контент, вы будете использовать канонические теги, чтобы дать понять Google, какую страницу следует индексировать и ранжировать.

Допустим, вы управляете международным веб-сайтом. У вас будет оригинальная версия страницы на испанском языке и переведенная версия на английском языке. В этом случае вы добавите канонический тег к дубликатной странице, чтобы он ссылался на исходную версию.

Убедитесь, что все настроено правильно, чтобы случайно не проиндексировать свои страницы.

Форматы URL-адресов

Вы также можете столкнуться с этой проблемой, если ваш URL-адрес на самом деле не является страницей. Например, Google мог подобрать параметр UTM кампании или вариант URL-адреса вашей страницы. Если это так, не стесняйтесь игнорировать уведомление.

Однако, если это страница, содержащая информацию, которую вы хотите показать пользователям, выполняющим поиск, измените URL-адрес и подтвердите исправление в Google Search Console.

Шаг 3. Подтвердите исправление

Наконец, когда вы исправите URL-адреса, перейдите к ним в разделе «Индексирование страниц» в Google Search Console, выберите URL-адрес и нажмите «Проверить исправление».

Устранение неполадок с непроиндексированными страницами, которые были проиндексированы

Также бывают случаи, когда страницы, которые вы не хотите получать от Google, индексируются. В дополнение к проверке правил robots.txt на наличие ошибок проверьте наличие следующих виновников:

Другие сайты ссылаются на ваши страницы?

Страницы, на которые есть ссылки с других сайтов, могут быть проиндексированы, даже если они запрещены в robots.txt. Когда это происходит, в результатах поиска отображаются только якорный текст и URL-адрес.

Вы можете решить эту проблему следующим образом:

• Защитив паролем файлы на вашем сервере.
• Добавление инструкции в файл robots.txt для игнорирования этих страниц или добавление следующего метатега для их блокировки: 

Миграция веб-сайта

Если вы недавно перенесли свой веб-сайт и не проиндексировали старые URL-адреса, Google потребуется некоторое время, чтобы это понять.

Вы можете решить эту проблему следующим образом:

• Реализовать переадресацию 301 со старых на новые URL-адреса (предпочтительнее для сохранения ссылочного веса).
• Дайте Google время удалить старые URL-адреса из своего индекса. (Обычно Google удаляет URL-адреса, если они продолжают возвращать ошибки 404.) Избегайте плагинов, перенаправляющих ваши ошибки 404.

Как определить страницы, которые вы не должны индексировать

Шаг 1. Составьте список URL-адресов

Составьте список всех URL-адресов вашего веб-сайта. Вы можете сделать это вручную или (если ваш сайт больше или вы хотите быть тщательным) использовать поисковый робот SiteGuru.

Шаг 2. Определите нежелательные URL-адреса в поисковой выдаче

После того, как вы определили URL-адреса, которые вы не хотите индексировать в Google, добавьте их в файл robots.txt:

User-agent: *
Запретить: /page-you-want-to-disallow/
Запретить: /more-page-you-want-to-disallow/
Запретить: /another-page-you-want-to-disallow/

Шаг 3.

Удалите ссылки на неиндексированные страницы

Проверьте, какие страницы могут ссылались на запрещенные страницы и удалили ссылку.

Google Search Console не предоставляет эту информацию, но вы можете использовать SiteGuru для просмотра URL-адресов ссылок.

Шаг 4. Перепроверьте

Наконец, запустите аудит нового веб-сайта с помощью SiteGuru, чтобы убедиться, что страницы не могут быть проиндексированы, а другие могут. Вы должны увидеть тег «no-index» рядом со страницей.

Следите за своим покрытием

Это нормально видеть разные коды состояния в вашей консоли поиска Google, но знайте, когда действовать.

Когда дело доходит до кода «Проиндексировано, но заблокировано robots.txt», убедитесь, что файл robots.txt обновляется с соответствующими исключениями.

Затем отслеживайте изменения вручную или с помощью автоматических еженедельных проверок SiteGuru. Это самый простой способ сосредоточиться на действенном SEO и погрузиться в технические детали только тогда, когда что-то требует вашего внимания.

Часто задаваемые вопросы

1. Могу ли я запретить сканирование всего моего веб-сайта?
Да, можно. Однако в некоторых случаях URL-адреса могут быть проиндексированы, даже если они не были просканированы.

Это не соответствует различным сканерам AdsBot, которые должны быть названы явно, поэтому вы можете заблокировать свой веб-сайт для поисковых систем, но по-прежнему показывать рекламу.

2. Как запретить сканирование каталогов?
Запретите сканирование каталога и его содержимого, указав после имени каталога косую черту:

User-agent: * 
Disallow: /tags/

В приведенном выше примере запрещаются все страницы, следующие по пути /tags/. Например, если «теги» — это моя страница категории, эта директива также заблокирует все последующие страницы продуктов кофе.

Помните, что лучше использовать надлежащую аутентификацию, чтобы заблокировать доступ к частному контенту, а не использовать robots.