Проверка индексации сайтов – Проверка индексации сайтов в Яндекс и Google

Содержание

Проверка индексации сайта в Яндекс и Гугл

В данной статье мы рассмотрим, как проверить индексацию страницы в Яндексе и Google, что для этого делают опытные SEO-специалисты, а также какие есть способы массовой проверки индексации страниц.

Индексируем или сканируем?

Прежде чем мы приступим к рассмотрению вопроса статьи, сделаем небольшое замечание: часто читатели и начинающие владельцы сайтов путают такие понятия, как сканирование страницы и её индексация.

При индексации поисковый робот добавляет все важные сведения о сайте и странице в индекс (отдельную базу данных). После того, как это произошло, запросы в поисковой системе ведут только на те страницы, которые уже были ранее проиндексированы. Сканирование сайта – чуть другая вещь, предусматривающая изучение поисковым роботом сайта согласно с данными, указанными в robots.txt. Но вернемся к нашей теме – как может проводиться массовая проверка индексации сайтов?

Проверяем индексацию в панели вебмастера

Базовый и самый простой способ как для вебмастера, так и для владельца сайта:

  1. Проверка сайта в Google. В случае, если проводится проверка проиндексированности страниц в Гугле, следует зайти в Search Console и там найти вкладку «Индекс Google», а далее перейти к просмотру статуса индексирования.

  2. Проверка сайта в Yandex. Если же аналогичные данные нужно получить от Яндекса, то в панели «Яндекс.Вебмастер» следует пройти по маршруту «Индексирование сайта» → «Страницы в поиске». Там же, к слову, можно посмотреть и динамику индексации сайта и его страниц.

Для того, чтобы получить эти данные, нужно иметь соответствующий доступ к панели вебмастера и в Гугле, и в Яндексе.

Ниже вы можете увидеть пример сайта, который имеет хорошие показатели индексации…

...и не очень хорошие показатели, появившиеся вследствие запрета на проведение индексации в файле robots.txt. 

Работаем с операторами поисковых запросов

С помощью поисковых операторов можно уточнить те или иные результаты поиска. Так, с помощью оператора «site:» можно узнать о примерном количестве страниц, которые находятся в индексе.

Для того, чтобы получить такую информацию, достаточно лишь в поисковой строке ввести site:[url сайта]. Кстати говоря – подобная проверка является своеобразным триггером для некоторых случаев. Так, при слишком большой разнице между результатами в Гугле и Яндексе можно сделать вывод, что у сайта есть какие-то проблемы в одной из поисковых систем. Например – наложенный фильтр.

В Google массовую проверку индексации страниц помогают провести дополнительные инструменты поиска. Например, тут можно увидеть, что за последний час появилось 49 страниц в русскоязычной Википедии:

Используем плагины и расширения для браузеров

Не будем давать рекламу тем или иным браузерным расширениям или плагинам, которые могут использоваться для проверки индексации страниц. Отметим только, что они представляют собой небольшие части java-кода, которые размещаются в браузере и позволяют проводить проверку индексации в автоматическом режиме.

Есть также специальные сервисы-краулеры, которые используются для проверки страниц. Их огромное множество, и большинство способны предоставить даже больше данных, чем просто сведения об индексации (например, редиректы, битые ссылки, переадресацию, каноникал, метаописание и т.д.).

В Интернете также можно встретить множество сайтов, которые предлагают провести проверку индексации страниц сайта. Некоторые специально «заточены» для таких задач, другие же предоставляют комплексный анализ. Но во всех случаях мы рекомендуем использовать вышеперечисленные варианты – они показывают наиболее точные данные, а получение информации и проверка проиндексированности страниц происходит очень быстро.

Онлайн-сервисы для проверки индексации

В случае, если вам необходимо проверить индексацию страниц без использования сервисов аналитики поисковых систем, вы можете воспользоваться функционалом следующих онлайн-сервисов:

Google Index Checker от Small SEO Tools

Всё, что вам нужно, чтобы проверить индексацию сайта за несколько секунд - использование сервиса Google Index Checker. Для получения информации вам будет необходимо ввести URL и нажать кнопку “Check”, после чего вы получите данные о количестве проиндексированных страниц.

Index Checking

Ещё один сервис, который позволяет проверить индексацию сайта в Гугле, это Index Checking. С его помощью вы также можете получить информацию об индексации любого URL вашего сайта, а в режиме проверки вы можете вводить до 25 URL за один раз.

Почему сайт не индексируется?

Индексация сайта в некоторых случаях может содержать ошибки. В частности, проверка индексации сайта может показать, что поисковые системы не видят много страниц. Почему в таком случае сайт не индексируется?

  1. Новый сайт. Несмотря на то, что официально поисковые системы заявляют об отсутствии т.н. “Песочниц”, молодые сайты не сразу попадают в индекс, а потому этот процесс может затянуться на несколько месяцев.
  2. Отсутствует sitemap. При отсутствии карты сайта краулеры поисковых систем могут индексировать сайт куда дольше.
  3. Ошибки с мета-тегом robots. Проверьте мета-тег на страницах - если у вас в мета-теге содержится директива noindex, поисковые системы не смогут проиндексировать сайт.
  4. Ошибки в htaccess/robots.txt. Проверьте эти файлы и убедитесь в том, что вы не закрыли доступ поисковым ботам.


Ну и напоследок - если кроме индексации вас интересуют еще и позиции - наш сервис поможет вампроверить сайт в Google или в Yandex, а также и в других поисковых системах. Просто введите ваш домен в форму ниже. Это бесплатно.

spyserp.com

как ее проверить, ускорить и запретить

Если интернет – огромная библиотека, то поисковые системы – ее сверхбыстрые сотрудники, способные быстро сориентировать читателя (интернет-пользователя) в бескрайнем океане информации. В этом им помогает систематизированная картотека – собственная база данных.

Когда пользователь вводит ключевую фразу, поисковая система показывает результаты из этой базы данных. То есть ПС хранят на своих серверах копии документов и обращаются к ним, когда пользователь отправляет запрос. Чтобы представить в выдаче определенную страницу, ее нужно сперва добавить в базу (индекс). Поэтому только что созданные сайты, о которых поисковики не знают, в выдаче не участвуют.

Поисковая система отправляет своего робота (он же паук, он же краулер) на поиски новых страниц, которые появляются в сети ежесекундно. Паучья стая собирает данные, передвигаясь по ссылкам с одной страницы на другую, и передает их в базу. Обработку информации производят уже другие механизмы.

Типичная серая рутина поискового бота

У каждой поисковой системы – свой набор ботов, выполняющих разные функции. Вот пример некоторых роботов «Яндекса»:

  • Основной робот.
  • Индексатор картинок.
  • Зеркальщик (обнаруживает зеркала сайта).
  • Быстробот. Эта особь обитает на часто обновляемых сайтах. Как правило – новостных. Контент появляется в выдаче практически сразу после размещения. При ранжировании в таких случаях учитывается лишь часть факторов, поэтому позиции страницы могут измениться после прихода основного робота.

У «Гугла» тоже есть свой робот для сканирования новостей и картинок, а еще – индексатор видео, мобильных сайтов и т. д.

Скорость индексирования новых сайтов у разных ПС отличается. Каких-то конкретных сроков здесь нет, есть лишь примерные временные рамки: для «Яндекса» – от одной недели до месяца, для Google – от нескольких минут до недели. Чтобы не ждать индексации неделями, нужно серьезно поработать. Об этом и пойдет речь в статье.

Сперва давайте узнаем, как проверить, проиндексирован ли сайт.

Как проверить индексацию сайта

Проверить индексацию можно тремя основными способами:

  1. Сделать запрос в поисковик, используя специальные операторы.
  2. Воспользоваться инструментами вебмастеров (Google Search Console, «Яндекс.Вебмастер»).
  3. Воспользоваться специализированными сервисами или скачать расширение в браузер.

Поисковые операторы

Быстро и просто примерное количество проиндексированных страниц можно узнать с помощью оператора site. Он действует одинаково в «Яндекс» и «Гугл».

Мы видим примерное число страниц в индексе «Яндекса» и даже последнюю добавленную статью Тут результатов несколько больше, т. к. Google включает в индекс много разного мусора (но если результаты выдачи разных ПС сильно отличаются, это может говорить о наличии фильтров)

Сервисы для проверки индексации

Бесплатные сервисы позволяют быстро узнать количество проиндексированных «Яндексом» и Google страниц. Есть, к примеру, очень удобный инструмент от XSEO.in и SEOGadget (можно проверять до 30 сайтов одновременно).

На одной страничке можно узнать индексацию сразу в «Яндексе» и «Гугл»

У RDS целая линейка полезных инструментов для проверки показателей сайтов, в том числе проиндексированных страниц. Можно скачать удобный плагин для браузера (поддерживаются Chrome, Mozilla и Opera) или десктопное приложение.

С помощью RDS-бара одним кликом можно проверить показатели любого открытого сайта

Вообще плагин больше подходит профессиональным SEOшникам. Если вы обычный пользователь, будьте готовы, что эта утилита будет постоянно атаковать вас лишней информацией, вклиниваясь в код страниц, и в итоге придется либо ее настраивать, либо удалять.

Панели вебмастера

«Яндекс.Вебмастер» и Google Search Console предоставляют подробную информацию об индексировании. Так сказать, из первых уст.

В новом интерфейсе GSC статистика индексирования выглядит так

В старой версии GSC можно также посмотреть статистику сканирования и ошибки, с которыми сталкиваются роботы при обращении к страницам.

В «Яндекс.Вебмастере» удобно наблюдать за индексированием – особенно легко отслеживать появление новых страниц в индексе

Подробнее о данных об индексировании, представленных в панелях вебмастеров, можно почитать в соответствующих разделах наших руководств по «Яндекс.Вебмастеру» и Google Search Console.

58 самых распространенных ошибок SEO

Как контролировать индексацию

Поисковые системы воспринимают сайты совсем не так, как мы с вами. В отличие от рядового пользователя, поисковый робот видит всю подноготную сайта. Если его вовремя не остановить, он будет сканировать все страницы, без разбора, включая и те, которые не следует выставлять на всеобщее обозрение.

При этом нужно учитывать, что ресурсы робота ограничены: существует определенная квота – количество страниц, которое может обойти паук за определенное время. Если на вашем сайте огромное количество страниц, есть большая вероятность, что робот потратит большую часть ресурсов на «мусорные» страницы, а важные оставит на будущее.

Поэтому индексированием можно и нужно управлять. Для этого существуют определенные инструменты-помощники, которые мы далее и рассмотрим.

Robots.txt

Robots.txt – простой текстовый файл (как можно догадаться по расширению), в котором с помощью специальных слов и символов прописываются правила, которые понимают поисковые системы.

Директивы, используемые в robots.txt:

Директива

Описание

User-agent

Обращение к роботу.

Allow

Разрешить индексирование.

Disallow

Запретить индексирование.

Host

Адрес главного зеркала.

Sitemap

Адрес карты сайта.

Crawl-delay

Время задержки между скачиванием страниц сайта.

Clean-param

Страницы с какими параметрами нужно исключить из индекса.

User-agent показывает, к какому поисковику относятся указанные ниже правила. Если адресатом является любой поисковик, пишем звездочку:

User-agent: Yandex

User-agent: GoogleBot

User-agent: Bingbot

User-agent: Slurp (поисковый робот Yahoo!)

User-agent: *

Самая часто используемая директива – disallow. Как раз она используется для запрета индексирования страниц, файлов или каталогов.

К страницам, которые нужно запрещать, относятся:

  1. Служебные файлы и папки. Админ-панель, файлы CMS, личный кабинет пользователя, корзина и т. д.
  2. Малоинформативные вспомогательные страницы, не нуждающиеся в продвижении. Например, биографии авторов блога.
  3. Различного вида дубли основных страниц.

На дублях остановимся подробнее. Представьте, что у вас есть страница блога со статьей. Вы прорекламировали эту статью на другом ресурсе, добавив к существующему URL UTM-метку для отслеживания переходов. Адрес немного изменился, но он все еще ведет на ту же страницу – контент полностью совпадает. Это дубль, который нужно закрывать от индексации.

Не только системы статистики виноваты в дублировании страниц. Дубли могут появляться при поиске товаров, сортировке, из-за наличия одного и того же товара в нескольких категориях и т. д. Даже сами движки сайта часто создают большое количество разных дублей (особенно WordPress и Joomla).

Мы делаем сайты, которые оптимизированы под поисковики и приносят продажи. Подробнее

Помимо полных дублей существуют и частичные. Самый лучший пример – главная страница блога с анонсами записей. Как правило, анонсы берутся из статей, поэтому на таких страницах отсутствует уникальный контент. В этом случае анонсы можно уникализировать или вовсе убрать (как в блоге Texterra).

У подобных страниц (списки статей, каталоги товаров и т. д.) также присутствует постраничная навигация (пагинация), которая разбивает список на несколько страниц. О том, что делать с такими страницами, Google подробно расписал в своей справке.

Дубли могут сильно навредить ранжированию. Например, из-за большого их количества поисковик может показывать по определенным запросам совершенно не те страницы, которые вы планировали продвигать и на которые был сделан упор в плане оптимизации (например, есть усиленная ссылками страница товара, а поисковик показывает совершенно другую). Поэтому важно правильно настроить индексацию сайта, чтобы этой проблемы не было. Как раз один из способов борьбы с дублями – файл robots.txt.

Пример robots.txt для одного известного блога:

Сразу видно, что это блог на WordPress

При составлении robots.txt можно ориентироваться на другие сайты. Для этого просто добавьте в конце адреса главной страницы интересующего сайта после слеша «robots.txt».Не забывайте только, что функционал у сайтов разный, поэтому полностью скопировать директивы топовых конкурентов и жить спокойно не получится. Даже если вы решите скачать готовый robots.txt для своей CMS, в него все равно придется вносить изменения под свои нужды.

Давайте разберемся с символами, которые используются при составлении правил.

Путь к определенному файлу или папке мы указываем через слеш (/). Если указана папка (например, /wp-admin/), все файлы из этой папки будут закрыты для индексации. Чтобы указать конкретный файл, нужно полностью указать его имя и расширение (вместе с директорией).

Если, к примеру, нужно запретить индексацию файлов определенного типа или страницу, содержащую какой-либо параметр, можно использовать звездочки (*):

Disallow: /*openstat=

Disallow: /*?utm_source=

Disallow: /*price=

Disallow: /*gclid=*

На месте звездочки может быть любое количество символов (а может и не быть вовсе). Значок $ используется, когда нужно отменить правило, созданное значком *. Например, у вас есть страница eda.html и каталог /eda. Директива «/*eda» запретит индексацию и каталога, и страницы. Чтобы оставить страницу открытой для роботов, используйте директиву «/eda$».

Запретить индексацию страниц с определенными параметрами также можно с помощью директивы clean-param. Подробнее об этом можно прочитать в справке «Яндекса».

Директива allow разрешает индексирование отдельных каталогов, страниц или файлов. Например, нужно закрыть от ПС все содержимое папки uploads за исключением одного pdf-файла. Вот как это можно сделать:

Disallow: /wp-content/uploads/

Allow: /wp-content/uploads/book.pdf

Следующая важная (для «Яндекса») директива – host. Она позволяет указать главное зеркало сайта.

У сайта может быть несколько версий (доменов) с абсолютно идентичным контентом. Даже если у вас домен единственный, не стоит игнорировать директиву host, это разные сайты, и нужно определить, какую версию следует показывать в выдаче. Об этом мы уже подробно писали в статье «Как узнать главное зеркало сайта и настроить его с помощью редиректа».

Еще одна важная директива – sitemap. Здесь (при наличии) указывается адрес, по которому можно найти карту вашего сайта. О том, как ее создать и для чего она нужна, поговорим позже.

Наконец, директива, которая применяется не так часто – crawl-delay. Она нужна в случае, когда нагрузка на сервер превышает лимит хостинга. Такое редко встречается у хороших хостеров, и без видимых причин устанавливать временные ограничения на скачивание страниц роботам не стоит. К тому же скорость обхода можно регулировать в «Яндекс.Вебмастере».

Нужно отметить, что поисковые системы по-разному относятся к robots.txt. Если для «Яндекса» это набор правил, которые нельзя нарушать, то «Гугл» воспринимает его, скорее, как рекомендацию и может проигнорировать некоторые директивы.

В robots.txt нельзя использовать кириллические символы. Поэтому если у вас кириллический домен, используйте онлайн-конвертеры.

После создания файла его нужно поместить в корневой каталог сайта, т. е.: site.ru/robots.txt.

Проверить robots.txt на наличие ошибок можно в разделе «Инструменты» панели «Яндекс.Вебмастер»:

Это не единственный полезный инструмент в разделе для настройки индексации – обратите внимание и на другие

В старой версии Google Search Console тоже есть такой инструмент.

Как закрыть сайт от индексации

Если вам по какой-то причине нужно, чтобы сайт исчез из выдачи всех поисковых систем, сделать это очень просто:

User-agent: *

Disallow: /

Крайне желательно делать это, пока сайт находится в разработке. Чтобы снова открыть сайт для поисковых роботов, достаточно убрать слеш (главное – не забыть это сделать при запуске сайта).

Nofollow и noindex

Для настройки индексации используются также специальные атрибуты и html-теги.

У «Яндекса» есть собственный тег <noindex>, с помощью которого можно указать роботу, какую часть текста он не должен индексировать. Чаще всего это служебные части текста, которые не должны отображаться в сниппете, или фрагменты, которые не должны учитываться при оценке качества страницы (неуникальный контент).

Проблема в том, что этот тег практически никто кроме «Яндекса» не понимает, поэтому при проверке кода большинство валидаторов выдают ошибки. Это можно исправить, если слегка изменить внешний вид тегов:

<!—noindex-->текст<!--/noindex-->

Атрибут rel=”nofollow” позволяет закрыть от индексации отдельные ссылки на странице. В отличие от <noindex> его понимают все поисковые системы. Чтобы запретить роботу переходить по всем ссылкам на странице сразу, проще использовать вот такой мета-тег: <meta name="robots" content="nofollow" />.

Кстати, на мега-теге robots стоит остановиться подробнее. Как и файл robots.txt, он позволяет управлять индексацией, но более гибко. Чтобы понять принцип работы, рассмотрим варианты инструкций:

<meta name="robots" content="index,follow" />

индексировать контент и ссылки

<meta name="robots" content="noindex,nofollow" />

не индексировать контент и ссылки

<meta name="robots" content="noindex,follow" />

не индексировать контент, но переходить по ссылкам

<meta name="robots" content="index,nofollow" />

индексировать контент, но не переходить по ссылкам

Это далеко не все примеры использования мета-тега robots, так как помимо nofollow и noindex существуют и другие директивы. Например, noimageindex, запрещающая сканировать изображения на странице. Подробнее почитать об этом мета-теге и его применении можно в справке от Google.

Rel=”canonical”

Еще один способ борьбы с дублями – использование атрибута rel=”canonical”. Для каждой страницы можно задать канонический (предпочитаемый) адрес, который и будет отображаться в поисковой выдаче. Прописывая атрибут в коде дубля, вы «прикрепляете» его к основной странице, и путаницы c ee версиями не возникнет. При наличии у дубля ссылочного веса он будет передаваться основной странице.

Вернемся к примеру с пагинацией в WordPress. С помощью плагина All in One SEO можно в один клик решить проблему с дублями этого типа. Посмотрим, как это работает.

Зайдем главную страницу блога и откроем, к примеру, вторую страницу пагинации.

Теперь посмотрим исходный код, а именно – тег <link> с атрибутом rel="canonical" в разделе <head>. Изначально он выглядит так:

<link rel="canonical" target="_blank" href="http://site.ru/page/2/">

Каноническая ссылка установлена неправильно – она просто повторяет физический адрес страницы. Это нужно исправить. Переходим в общие настройки плагина All in One SEO и отмечаем галочкой пункт «No Pagination for Canonical URLs» (Запретить пагинацию для канонических URL).

Нужные настройки находятся в самом верху

После обновления настроек снова смотрим код, теперь должно быть вот так:

<link rel="canonical" target="_blank" href="http://site.ru/">

И так – на любой странице, будь то вторая или двадцатая. Быстро и просто.

Но есть одна проблема. Для Google такой способ не подходит (он сам об этом писал), и использование атрибута canonical может негативно отразиться на индексировании страниц пагинации. Если для блога это, в принципе, не страшно, то со страницами товаров лучше не экспериментировать, а использовать атрибуты rel=”prev” и rel=”next”. Только вот «Яндекс» их, по словам Платона Щукина, игнорирует. В общем, все неоднозначно и ничего не понятно, но это нормально – это SEO.

Чек-лист по оптимизации сайта, или 100+ причин не хоронить SEO

Sitemap (карта сайта)

Если файл robots.txt указывает роботу, какие страницы ему трогать не надо, то карта сайта, напротив, содержит в себе все ссылки, которые нужно индексировать.

Главный плюс карты сайта в том, что помимо перечня страниц она содержит полезные для робота данные – дату и частоту обновлений каждой страницы и ее приоритет для сканирования.

Файл sitemap.xml можно сгенерировать автоматически с помощью специализированных онлайн-сервисов. Например, Gensitemap (рус) и XML-Sitemaps (англ). У них есть ограничения на количество страниц, поэтому если у вас большой сайт (больше 1000 страниц), за создание карты придется заплатить символическую сумму. Также получить готовый файл можно с помощью плагина. Самый простой и удобный плагин для WordPress – Google XML Sitemaps. У него довольно много разных настроек, но в них несложно разобраться.

Флажками отмечаем все, что должно показываться в файле sitemap.xml

В результате получается простенькая и удобная карта сайта в виде таблички. Причем она становится доступной сразу после активации плагина.

Новые или обновленные страницы автоматически попадают наверх, и робот замечает их в первую очередь

Sitemap крайне полезен для индексации, так как зачастую роботы уделяют большое внимание старым страницам и игнорируют новые. Когда есть карта сайта, робот видит, какие страницы изменились, и при обращении к сайту в первую очередь посещает их.

SEO-оптимизация интернет-магазина: 25 эффективных советов

Если вы создали карту сайта при помощи сторонних сервисов, готовый файл необходимо скачать и поместить, как и robots.txt, в папку на хостинге, где расположен сайт. Опять же, в корневой папке: site.ru/sitemap.xml.

Для удобства желательно загрузить полученный файл в специальный раздел в «Яндекс.Вебмастере» и Google Search Console.

В «Вебмастере» есть функция – отправка Sitemap на переобход (робот просканирует файл в течение трех дней В GSC можно посмотреть дату последнего посещения файла и ошибки (при наличии)

В старой версии инструмент немного отличается.

В «Яндекс.Вебмастере» проверить содержимое карты сайта на наличие ошибок можно в разделе «Инструменты».

Как ускорить индексацию

Поисковые системы рано или поздно узнают о вашем сайте, даже если вы ничего для этого не сделаете. Но вы наверняка хотите получать клиентов и посетителей как можно раньше, а не через месяцы, поэтому затягивать с индексацией – себе в убыток.

Регулярное быстрое индексирование необходимо не только новым, но и действующим сайтам – для своевременного обновления данных в поиске. Представьте, что вы решили оптимизировать старые непривлекательные заголовки и сниппеты, чтобы повысить CTR в выдаче. Если ждать, пока робот сам переиндексирует все страницы, можно потерять кучу потенциальных клиентов.

Вот еще несколько причин, чтобы как можно быстрее «скормить» роботам новые странички:

  • На сайте публикуется контент, быстро теряющий актуальность. Если сегодняшняя новость проиндексируется и попадет в выдачу через неделю, какой от нее толк?
  • О сайте узнали мошенники и следят за обновлениями быстрее любого робота: как только у вас публикуется новый материал, они копируют его себе и благополучно попадают на первые позиции благодаря более быстрому индексированию.
  • На страницах появляются важные изменения. К примеру, у вас изменились цены или ассортимент, а в поиске показываются старые данные. В результате пользователи разочаровываются, растет показатель отказов, а сайт рискует опуститься в поисковой выдаче.

Ускорение индексации – работа комплексная. Каких-то конкретных способов здесь нет, так как каждый сайт индивидуален (как и серверы, на которых они расположены). Но можно воспользоваться общими рекомендациями, которые, как правило, позитивно сказываются на скорости индексирования.

Перечислим кратко, что можно сделать, чтобы сайт индексировался быстрее:

  1. Указать роботам, что индексировать и что не индексировать. Про robots.txt, карту сайта и все их преимущества мы уже говорили. Если файлы будут составлены правильно, боты быстрее справятся со свалившимся на них объемом новой информации.
  2. Зарегистрироваться в «Яндекс.Вебмастере» и Google Search Console. Там вы сможете не только заявить о новом сайте, но и получить доступ к важным инструментам и аналитике.
  3. Обратить внимание на сам сайт. Чтобы роботу (как и пользователям) проще было ориентироваться на сайте, у него должна быть понятная и простая структура и удобная навигация. Сюда же можно отнести грамотную перелинковку, которая может помочь в передвижении по сайту и обнаружении важных страниц. Качество контента тоже может повлиять на скорость индексирования, поэтому лучше выкладывать уникальные тексты, несущие пользу.
  4. Публикуйтесь на внешних площадках. Многие рекомендуют регистрировать сайты в сервисах социальных закладок, каталогах, «прогонять» по «Твиттеру», покупать ссылки и т. д. Мне в свое время это не помогло – новый сайт индексировался месяц. Но вот ссылки с крупных посещаемых ресурсов (где даже может обитать быстробот) действительно могут помочь. О том, как и где публиковаться, у нас было много статей: «Гостевой постинг: как публиковаться, вставлять ссылки и не платить за это», «Внешний контент-маркетинг: зачем, о чем и куда писать», гайд по линкбилдингу.
  5. Обновляйте сайт чаще. Если на сайте месяцами не публикуются новые материалы, робот меняет тактику и заходит на сайт реже.

Еще в панелях «Яндекс.Вебмастера» и Google Search Console можно отправлять роботов на конкретные страницы.

Если нужно срочно проиндексировать определенные страницы, этот инструмент от «Яндекс.Вебмастер» будет весьма полезен

Обратите внимание на то, что отдельные адреса можно добавить в важные, чтобы потом отслеживать их индексирование.

А вот еще одна полезная штука: здесь можно узнать, проиндексирован ли конкретный URL.

Так можно увидеть, что робот уже знает о странице, но она пока отсутствует в индексе

В Google запросить индексирование конкретных страниц можно во вкладке «Посмотреть как Googlebot» (старая версия).

Вводим URL, жмем «Сканировать», затем – «Запросить индексирование»

Это, пожалуй, самые основные способы ускорения индексации. Есть и другие, но их эффективность – под вопросом. В большинстве случаев тратить на них время не стоит, если только проиндексировать сайт нужно срочно, и вы готовы испробовать любые способы. В таких случаях лучше читать конкретные кейсы. Например, как проиндексировать сайт в Google в течение 24 часов.

Вывод

Индексация сайта – сложный процесс, с которым поисковые системы далеко не всегда справляются в одиночку. Так как индексирование влияет непосредственно на ранжирование сайта в поисковой выдаче, имеет смысл взять управление в свои руки и максимально упростить работу поисковым роботам. Да, придется повозиться и набить много шишек, но даже такой непредсказуемый зверь как поисковый бот все же может покориться человеку.

kak-priruchit-poiskovogo-bota-gayd-po-indeksirovaniyu-sayta

texterra.ru

Проверить индексацию страниц сайта в Яндекс и Google | Массовая проверка индексации сайта в поисковых системах

Как правильно проверить сайт на индексацию в Яндекс и Google?

Большинство оптимизаторов используют для проверки сайта на индексацию браузерные бары вроде RDS-bar и других.

Все бары берут эти данные из выдачи поисковых систем c помощью различных операторов и просто «подтягивают» в свой интерфейс.


Но стоит учитывать что данные, полученные таким способом не точные, так как поисковые системы не отдают корректные данные об индексации для больших сайтов. По картинкам выше можно заметить расхождения в данных даже для маленького сайта. Для больших сайтов (начиная от 10 000 страниц) данные по индексации могут очень сильно искажаться!

Как же корректно проверить сайт на индексацию, чтобы данные были точными?

В отличие от сайта целиком, поисковые системы выдают точные данные об индексации каждой конкретной страницы. Следовательно, необходимо взять все нужные страницы сайта и проверить индексацию каждой из них по отдельности, а затем свести все данные вместе для получения целостной картины индексации всего сайта. Это верно как для Яндекса, так и для Гугла.

Массовая проверка страниц сайта на индексацию в Яндекс и Google от Rush Analytics

Большинство онлайн сервисов по проверке индексации дают возможность проверить небольшое количество страниц - от 10 до 100. А что делать, если нужно проверить на индексацию большой интернет-магазин или портал размером 100 000 или несколько миллионов страниц? Для задач такого масштаба в Rush Analytics был запущен модуль проверки индексации в Яндексе и Гугле. Основные преимущества и возможности данного модуля:

  • Удобная пакетная загрузка страниц на проверку индексации тремя способами:

а) С помощью списка URL
б) С помощью файла, поддерживаются форматы xls, xlsx, xml
в) С помощью файла Sitemap.xml – просто укажите путь к карте сайта, мы сами спарсим ее, достанем оттуда URL и пробьем их на индексацию!

  • Неограниченное количество URL на проверку – вы можете за раз проверить на индексацию от одной, до нескольких миллионов страниц!
  • Доступна проверка индексации как в Яндексе, так и в Гугле: вы можете отправить свои страницы на проверку только в одной поисковой системе или в обоих сразу, достаточно поставить всего одну галку
  • Удобная выгрузка в Excel. Вы можете просматривать данные как в веб-версии сервиса, так и быстро выгрузить их файлом

Модуль проверки индексации Rush Analytics в данный момент единственный на рынке, который позволяет массово проверить страницы на индексацию в таком объеме. Если у вас большой сайт – это решение однозначно для вас.

У нас предусмотрены особые условия для больших сайтов и порталов. Если у вас есть потребность в разовой или постоянной проверке на индексацию в Яндекс и Google от 200 000 страниц, напишите нам в поддержку на [email protected] и мы найдем что вам предложить!

www.rush-analytics.ru

Индексация страниц и сайта в Яндексе и Google

Индекс поисковой системы — база данных, которая хранит информацию о веб-документах. Назначение этого «хранилища» очевидно — используя базу данных, поисковик может быстро и точно вычислять значения факторов ранжирования, численное значение релевантности URL по запросу пользователя и формировать результаты выдачи.

Для SEO-специалистов и владельцев сайтов это означает одно — сколько страниц проиндексировано, столько документов и может быть найдено в результатах выдачи по целевым запросам и столько же URL может привлекать трафик.

Как быстро проверить индексацию в Яндексе и Google?

Способов и сервисов проверки индексации страниц достаточно много и у нас есть три инструмента, которые показывают количество документов в индексе по домену:

Просто укажите домен в любом из них. Инструмент поможет проверить сайт на индексацию и подскажет сколько документов в базе данных Google и Яндекс, с учётом поддоменов или без них:

Поисковые операторы для проверки индексации

Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:», «host:» и «url:».

Для Google — «site:», «inurl:» и «info:».

В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:

Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.

Вебмастер и Search Console

Если вы уже добавили свой сайт в панель Яндекс.Вебмастер и/или Google Search Console, то можете детально отслеживать статус сканирования и индексирования документов.

В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:

Проверить индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, исключенных страниц и график показов:

Возможный контроль индексации

Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:

  1. Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.

  2. Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:

    • С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.

    • Crawl delay — задаёт минимальное время обращения робота к серверу для избежания нагрузок на сайт.

    • Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.

Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию, отслеживайте изменения и удачных позиций в выдаче!


Задайте вопрос или оставьте комментарий

Другие вопросы нашего FAQ

tools.pixelplus.ru

Как проверить индексацию сайта в Яндексе и Google (5 способов)

Чтобы понять, находится ли конкретная страница сайт в поиске и сколько вообще страниц вашего ресурса видят поисковые машины, нужно не так и много. Подробнее о том, как проверить индексацию сайта и получить нужную информацию, мы расскажем в этой статье. Сразу же отметим, что при сканировании сайта, роботы переносят все полученные сведения о ресурсе в отдельные базы. И далее уже поисковая система работает по этим базам. Однако отметим, что некоторые неопытные веб-мастера путают два понятия: сканирование и индексацию. Сканирование – это, по сути, изучение роботом сайта. На обход всего ресурса нужно не так уж и много времени. А вот индексирование – то есть, добавления информации о ресурсе в базы данных, занимает относительного много времени.

Содержание этой статьи:

1) Как проверить индексацию сайта через панель управления в сервисе для веб-мастеров

Этот метод является основным. Для сервиса Google следует выполнить следующие действия:

  • перейти в панель управления сервиса;
  • выбрать вкладку Search Console;
  • после этого перейти в еще одну вкладку «Индекс Google»;
  • кликнуть по пункту Статус индексирования.

Для сервиса Яндекс последовательность действий будет следующей:

  • открыть Вебмастер;
  • найти пункт Индексирование сайта;
  • выбрать строку Страницы в поиске.

Также можно пойти по другой последовательности вкладок – после Индексирования сайта кликнуть на вкладку История, а уже там кликнуть на вкладку Страницы в поиске. Это позволит вам отследить, как меняется количество проиндексированных страниц.

Такой способ проверки доступен только тем веб-мастерам, для которых в панели инструментов сервиса открыт соответствующий доступ.

На картинке ниже представлен график хорошо проиндексированного сайта. Как можно увидеть, количество страниц в индексе постоянно возрастает.

А на картинке ниже представлен тот случай, когда наблюдаются проблемы с индексацией или страницы сайты вообще закрыты от индексирования.

2) Проверка поисковыми операторами

С их помощью легко уточнить будущие результаты. Например, отлично для этих целей подходит параметр/оператор «site:», посредством которого вы сможете увидеть, сколько именно страниц проиндексировано.

Для этого в поисковой строке (Яндекс или Google, а лучше и там, и там) вводится следующая комбинация: site: url сайта

 

Обратите внимание! Большая разница в результатах двух поисковых систем может говорить о наличии тех или иных проблем в работе сайте.

 

К примеру, сайт cubing.com.ua, данные которого приведены на скринах ниже, находится под фильтром АГС, накладываемым поисковой системой Яндекс.

А вот дополнительные инструменты, которые есть в поисковых системах, дают возможность получить много интересной информации. Например, как менялась индексации за тот или иной период времени.

3) Плагины и расширения

Это автоматизированный метод проверки. Помимо плагинов можно использовать специальные расширения. Их еще называют букмарклеты, который представляют собой программы-скрипты. Они сохраняются в виде обычных браузерных закладок.

Привлекательность скриптов состоит в том, что теперь вам не придется снова и снова открывать поисковую системы и вводить какие-то слова или символы. За вас все сделает программа.

На картинке выше представлен пример работы плагина RDS bar. На скриншоте показано, какие данные он показывает при интеграции в браузер Google Chrome. Но в браузере Mozilla он предоставляет еще больше данных и возможностей.

В частности, такой плагин дает возможность получить данные, как по отдельной странице, так и по всему сайту в целом.

 

Обратите внимание! Плагины бывают, как платными, так и бесплатными. Явный недостаток бесплатных версий – необходимость постоянно вводить капчу. Нервирует жутко!

 

Хорошие отзывы заслужил скрипт/букмарклет «Проверка индексации». Его нужно всего лишь перетащить на панель вашего браузера. Потом открывайте нужный вам сайт и кликните по закладке скрипта. Это активирует новую вкладку браузера, на которой показаны все данные.

4) Специальные сервисы

Истинные помощники всех «сеошников». Перечислять подобные сервисы можно долго – их много. К примеру, выделяется ресурс Netpeak Spider.

Основное преимущество сервисов состоит в том, что вы получаете массу дополнительной информации помимо основных данных:

  • данные о количестве проиндексированных страниц;
  • полный список всех страниц, которые находятся в индексе;
  • коды ответа;
  • мета-теги;
  • файл robots.txt и многое-многое другое.

Кроме того, сервис предоставит информацию об ошибках на сайте.

5) Проверка индексации сайта с помощью Topvisor

Topvisor — является лучшим из сервисов для мониторинга и анализа поискового продвижения. Для проверки индексации следует выполнить следующие действия:

После того, как пройдете регистрацию, выберите проект, которой хотите проиндексировать.

Далее переходим во вкладку «ядро»

Здесь можно создавать группы ключевых слов для удобства и с помощью сервиса определить частотность запросов и посмотреть их базовые, «фразовые» и «точные» значения. При этом «ключи» вводить можно вручную, импортировать их из файла, а также сделать подбор из Яндекс.Wordstat и Google AdWords.

 

Для проверки позиций переходим на вкладку «позиции» , выбираем нужную поисковую систему, к примеру Яндекс, выбираем нужную группу ключевых запросов и кликаем по зеленой кнопке в верхнем левом углу «обновить».

Спустя некоторое время данные обновятся. В отчете вы увидите позиции вашего сайта по определенным запросам и частоту запросов по «ключам». Когда происходят какие-либо изменения, например, ваш сайт поднялся на несколько позиций выше в поисковой системе, то эти изменения будут отображены здесь же. Так же доступна опция автоматического запуска проверки в указанное время или в зависимости от апдейтов Яндекса

 

Почему возникают проблемы с индексированием сайта: описание основных проблем и пути их решения

Рассмотрим основные причины, почему сайт может не индексироваться. Зачастую на исправление ошибок нужно не так уж и много времени, но после этого результаты поисковой выдачи существенно улучшаются.

Молодой сайт

Если вашему ресурсу совсем мало дней/недель/месяцев, нужно лишь просто подождать. Немного. Так уж работают поисковые системы, что сайты и страницы попадают в индекс далеко не сразу. Иногда приходится ждать несколько месяцев.

Отсутствует sitemap

Без нормальной карты сайта добиться хороших результатов нереально. Sitemap оказывает непосредственную помощь поисковым роботам, что существенно ускоряет скорость сканирования сайта, а также попадания его страниц в индекс. Добавлять ссылку на карту сайта проще всего через панель управления в сервисе веб-мастеров.

Наличие ошибок

Внимательно следите за оповещениями при посещении сервиса веб-мастеров. Там постоянно появляются сообщение о наличии тех или иных недочетов, ошибок. Просматривайте их и не забывайте исправлять.

Проблема с robots

Метатег robots важен для правильного индексирования сайта. Неосознанное изменение настроек на хостинге или вашей CMS приводит к появлению следующей записи в коде.

Что говорит о том, что страница попросту не индексируется.

Ошибка с файлом robots.txt

Правильно написанный файл robots.txt – гарантия хорошего индексирования. Нередко можно встретить советы и рекомендации закрывать для поисковых роботов через данный файл все ненужное.

Однако уникальная особенность файла состоит в том, что лишь один неправильно поставленный символ может вообще закрыть сайт для индексации поисковыми системами.

Даже если вы стремились закрыть всего лишь одну страницу, может оказаться так, что одним кликом перекрыли несколько страниц и т.д.

Посмотрите внимательно на свой файл. Нет ли в нем записи User-agent: * Disallow: /? Если она присутствует, значит сайт закрыт для индексрования.

И еще несколько причин, по которым сайт не индексируется

Среди основных проблем с индексированием можно выделить:

  • наличие дублей страниц;
  • использование при наполнении сайта неуникальных материалов;
  • низкая скорость загрузки сайта и проблемы с доступом к нему.

Как ускорить индексацию сайта в Яндексе и Гугле?

Главная цель владельца сайта – чтобы все страницы, открытые для поисковых роботов, находились в индексации. Добиться такого результата, скажем откровенно, весьма и весьма сложно.

Кроме того, необходимо постоянно отслеживать весь процесс добавления страниц в индекс. Любые изменения – резкие – будь-то положительные или отрицательные, сигнализируют о наличии конкретных проблем, которые мешают нормальному индексированию ресурса.

Для проверки индексирования сайта воспользуйтесь любым (а лучше последовательно каждым) способом, описанным в нашей статье:

  • панелью инструментов в сервисе для веб-мастеров;
  • поисковым оператором/параметром site: ;
  • плагины и скрипты;
  • специализированные онлайн-сервисы.

Бонус, для тех, кто действительно хочет достичь результатов

Представляем специальную таблицу, которая поможет вам при работе с индексацией сайта.

Работать с такой таблицей очень и очень просто. Вот подробная последовательность действий:

  • сделайте копию таблицы со столбцами, как на скрине;
  • выберите доменную зону;
  • в столбик А подгрузите URL сайта;
  • подождите, пока подгрузятся все URL – чем их больше, тем дольше ждать результата.

Столбы В и С можно копировать, что позволит вам отслеживать динамику индексации страниц.

 

Вы еще не прошли обучение на моем авторском курсе «Как создать сайт за 4 дня»? Переходите по ссылке: ifish3.ru/free/ и регестрируйтесь прямо сейчас либо можете воспользоваться моей инструкцией, где я пошагово показываю как создать сайт на WordPress бесплатно! Приходите, будет интересно!

ifish2.ru

Как проверить индексацию сайта в поисковых системах — Офтоп на vc.ru

Яндекс

Проверка индексации страницы

Необходимо в строку поиска Яндекс написать следующий запрос:

url:domain.ru/page/

domain.ru/page/ — адрес проверяемой страницы.

Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www. И без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

url: — оператор для проверки индексации страницы.

Если в результатах поиска страница найдена, значит она проиндексирована данной поисковой системой. Пример.

Если по запросу ничего не найдено, страница не проиндексирована

Проверка индексации всего сайта в Яндексе

Для проверки индексации всего сайта в Яндекс необходимо использовать следующий запрос:

url:domain.ru/*

domain.ru — доменное имя проверяемого сайта.

url: — оператор для проверки индексации страницы.

* — оператор «любой символ».

Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www. И без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

В результате получаем список проиндексированных страниц, а справа от результатов выдачи написано, сколько всего страниц данного сайта находится в поиске.

Пример выдачи.

Иногда данный запрос не работает и вместо него можно использовать оператор site:domain.ru

Google

Проверка индексации страницы

Необходимо ввести в строку поиска Google запрос:

info:domain.ru/page

domain.ru/page — адрес проверяемой страницы.

info: — оператор для проверки индексации страницы.

Если страница проиндексирована, значит в результатах поиска будет ссылка на проверяемую страницу. Пример.

Проверка индексации всех страниц сайта в Google

Для проверки индексации страницы в поисковой системе Google необходимо ввести в строку поиска запрос:

site:domain.ru

domain.ru — доменное имя сайта.

site: — оператор проверки индексации всех страниц сайта.

В результатах поиска появится список страниц в поиске, а под поисковой строкой общее количество проиндексированных страниц. Пример.

Ждите новые заметки в блоге или ищите на нашем сайте.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать

vc.ru

Индексация сайта в поисковых системах

СОДЕРЖАНИЕ

Что такое индексация сайта и как она происходит

Как проверить индексацию сайта

Проверить индексацию сайта в Яндекс.Вебмастере

Проверка индексации сайта в Google Search Console

Индексация сайта в Майл (Mail.ru)

Индексация сайта в Bing.com

Сервисы проверки индексации сайтов

Как ускорить индексацию сайта

Быстрая индексация сайта в Яндексе

Индексация картинок сайта

Вопросы

Как запретить индексацию сайта

Как открыть сайт для индексации

Когда последний раз проходил индексацию сайта

Как добавить сайт на индексацию

Что такое индексация сайта и как она происходит

SEO продвижение сайта невозможно без индексации сайта. Чтобы повысить поведенческие факторы, необходимо, чтобы страницы были проиндексированы. Индексация сайта - что это такое простыми словами? У каждой поисковой системы есть свой собственный поисковый робот. Он может в любой момент зайти на сайт и «погулять» по нему, передавая все отсканированные документы (весь html-код, текст, изображения, ссылки и все остальное) в базу своей поисковой системы. Этот процесс принято называть «сканированием».

Далее поисковая система анализирует полученные данные и выставляет ссылки на документы в поисковую выдачу. Именно это и подразумевается под фразой «индексация сайта».

Ну а теперь давайте искать ответы на вопросы «как ускорить индексацию?» и «как улучшить индексацию?»

Как проверить индексацию сайта в Google и Яндекс

Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение – обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:

  1. Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.

  2. В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.

  3. Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.

Проверить индексацию сайта в Яндекс.Вебмастере

Заходим в https://webmaster.yandex.ru/ и логинимся. Далее переходим в «Индексирование сайта» - «Страницы в поиске» (как вариант - «Индексирование сайта» - «История» - «Страницы в поиске»). Здесь можно посмотреть статистику последних изменений в индексации и даже выявить исключенные из индекса страницы.

Проверка индексации в сайта Google Search Console

Чтобы проверить индексацию сайта в Google, нужно первым делом зайти в https://www.google.com/webmasters/tools/home, логинимся, после чего на боковой вкладке «Индекс Google» выбираем «Статус индексирования».

Индексация сайта в Майл (Mail.ru)

У поисковой системы Mail.ru тоже есть свой вэбмастерский кабинет - https://webmaster.mail.ru/. Заходим туда, логинимся и через форму go.mail.ru/addurl добавляем сайт на индексацию. Радует тот факт, что Mail.ru все-таки решила разрабатывать и продвигать свои собственные инструменты для вебмастеров.

Индексация сайта в Bing.com

Кто не в теме, поисковая система Bing была разработана корпорацией Microsoft (ей и принадлежит), чтоб заменить поиск Live Search. В России она пользуется очень малой популярностью. Однако, есть те, кто успешно получает с нее достаточно много поискового трафика. К слову, «пригласить поискового бота» можно и без регистрации – заходим на www.bing.com/toolbox/submit-site-url, вводим адрес сайта, капчу, кнопку «Отправить» и всё!

Сервисы проверки индексации сайтов

В Рунете существует достаточно большое количество сервисов по массовой проверке индексации сайтов. О некоторых из них мы и поговорим.

1) Сервис http://www.seogadget.ru/sepages

Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) – это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.

Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.

2) Сервис http://xseo.in/indexed

Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:

  • сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
  • можно проверить индексацию еще и в Bing’е.

Как ускорить индексацию сайта

Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.

Самое первое, что нужно сделать – добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.

Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.

Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта – тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).

Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос – тем лучше, ибо если сказать роботу «у нас обед, приходите через час» - робот просто уйдет, причем надолго.

Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.

В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.

Быстрая индексация сайта в Яндексе

Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.

В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.

А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» - «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.

Индексация картинок сайта

В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.

Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?

Однако, есть один универсальный совет по оптимизации изображений – прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.

Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””

Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок – неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.

Как узнать, сколько картинок проиндексировано поисковиком?

Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.

Для Яндекса это будет выглядеть вот так:

А для Google – вот так

Вопросы

Как запретить индексацию сайта

Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько – технические работы на сайте, либо тестируется новый дизайн, и т.д.

Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.

Самый первый, самый популярный и самый простой – через файл robots.txt. Достаточно просто прописать вот этот код:

User-agent: *

Disallow: /

Теперь давайте разберем, что этот код означает.

User-agent – это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка – значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:

Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.

Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй – индивидуальный список для какого-то конкретного робота. В данном случае – робота поисковой системы Яндекс.

User-agent: *

Disallow: /

User-agent: Yandex

Allow: /

С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.

Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.

Второй способ – метатег robots. Для этого необходимо в код сайта добавить следующую строку:

META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”

ВАЖНО!!! Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.

По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.

Третий способ – закрытие сайта через .htaccess

Способ тоже довольно простой – добавить в файл .htaccess следующий код:

Теперь поисковый робот не сможет без пароля получить доступ к сайту.

Это самый верный способ закрыть сайт от индексации, но появляется другая проблема – возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.

Способ 4 представляет собой настройку заголовка ответа HTTP

Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом – вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.

При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.

При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую. Например, вот так:

Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.

Как открыть сайт для индексации

Ответ ранее уже прозвучал – с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).

Еще раз:

Allow: / разрешает индексацию сайта, а Disallow: / запрещает.

Когда последний раз проходила индексация сайта

Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.

В Яндексе же сделано все еще проще – вся необходимая информация и история доступна в Яндекс.Вебмастере:

Как добавить сайт на индексацию

Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт – тем быстрее Вы получите свой первый поисковый трафик.

Добавление сайта в Google

Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl, логинимся (при необходимости), вводим URL, проходим капчу (в данном случае – ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».

Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».

Если с сайтом все в порядке, то индексация произойдет очень быстро.

Добавление сайта в Яндекс

Первым делом заходим на https://webmaster.yandex.ru/, регистрируемся, затем переходим в «Индексирование» - «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.

Добавление сайта в Bing

Тут все еще проще – идём сюда http://www.bing.com/toolbox/submit-site-url, вводим имя домена, капчу, и все – готово! Регистрация при этом не требуется.

ВАЖНО!!! На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.

Добавление сайта в Поиск Mail.ru

Данная процедура тоже достаточно проста – переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl, регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».

Затем на экран будет выведено вот такое сообщение:

Готово!

P.S. Индексация сайта на WordPress, Wix, Joomla, Ucoz или на любой другой CMS или конструкторе - ничем не отличается. Все зависит от набора правил, которые прописаны в файле robots.txt или же в самом коде страниц. Более подробно узнать о том, как правильно настроить файл robots.txt, а также как открыть или закрыть страницы от сканирования в Яндекс и Google прочтите ЭТУ статью! Также, в статье вы найдете готовые файлы robots для правильной индексации сайтов WordPress, Joomla, Wix в Яндексе и Гугле.

stokrat.org

Отправить ответ

avatar
  Подписаться  
Уведомление о