Проверка количества проиндексированных на сайте страниц в поисковых системах Яндекс и Google
Проверка количества проиндексированных страниц сайта и получение их списка может показаться на первый взгляд достаточно простой задачей, но есть некоторые нюансы, о которых расскажем ниже.
Самые простые способы посмотреть индексацию любого сайта – операторы в поисковых системах Яндекс и Google. В Google это оператор site:site.ru (где вместо site.ru нужно указать анализируемый сайт). В Яндексе последнее время оператор site:site.ru перестал корректно работать, поэтому на данный момент количество страниц можно проверить с помощью оператора url:http://www.site.ru/* (с указанием www если сайт индексируется с www и наоборот).
Примеры:
Как узнать число новых страниц на сайте или число страниц, проиндексированных за определенный период
В Яндексе можно нажать на иконку расширенного поиска и выбрать диапазон дат:
В Google аналогичные настройки можно сделать через “инструменты->за период”:
Но не все так просто как кажется на первый взгляд.
Рассмотрим более точные методы проверки способы как получить больше информации для каждой поисковой системы.
Google Search Console
Часто в Google число страниц, выдаваемое через оператор site: сильно отличается от реального числа проиндексированных страниц. Сотрудники Google отвечают по этому поводу что конструкция site:site.ru всего лишь результат пустого поиска по сайту и не обязана выдавать все страницы сайта.
Также в поиске отображаются неиндексируемые страницы, запрещенные в robots.txt, на которые есть внешние ссылки. Это тоже искажает результат.
Более точно узнать число проиндексированных страниц в Google можно имея доступ к Google Search Console в разделе “статус индексирования”.
К сожалению, в данном отчете данные также могут не совпадать с реальными из-за применения фильтров. Разница может доходить до десятков-ста процентов.
Еще один способ, который считается одним из наиболее точных – отчет “Файлы Sitemap”. Здесь указано точное число индексируемых страниц, но с учетом что все полезные страницы были добавлены в файлы sitemap.xml.
Яндекс Вебмастер
В Яндекс.Вебмастере содержатся достаточно точные данные по индексации сайта. Количество страниц, с динамикой можно посмотреть в разделе “страницы в поиске”.
Также в Яндекс.Вебмастере можно получить выгрузку страниц со статусами, включая индексацию, которая, правда ограничена 50.000 страницами. Пример выгрузки:
Выгрузку можно скачать в уже описанном выше отчете “страницы в поиске”.
Альтернативные способы проверки индексации сайта
Иногда перечисленные методы не подходят, тогда можно использовать альтернативные.
- Парсинг сайта (например, через программу Screaming Frog) и постраничная проверка индексации в Google/Yandex. Например, через сервис https://www.rush-analytics.ru/ -> “проверка индексации”. Минусы: не все страницы в индексе могут иметь ссылки из меню или страниц сайта, можно как дополнение использовать способы описанные в пунктах 2,3 ниже.
- Страницы, на которые есть органический трафик из перечисленных операционных систем (можно посмотреть через системы статистики Яндекс.Метрика и Google.Analytics).
- Страницы на которые есть внешние ссылки. Внешние ссылки можно получить через такие сервисы как Ahrefs.com.
Как определить количество проиндексированных страниц в Яндексе и Google
Определяем количество проиндексированных страниц сайта с помощью специального запроса (документный оператор)
Для Яндекса: site:o-es.ru
Аналогично и для Google: site:o-es.ru
Видно, что в Google проиндексировано больше страниц. Это связано с тем, что поисковая система Google индексирует сайты и добавляет страницы в основной индекс быстрее Яндекса.
При помощи Яндекс.Вебмастер (Google Вебмастер)
Данные по сайту o-es.ru в панели Яндекс.Вебмастер.
Страниц в поиске – 126. Данное значение отличается от значений полученных оператором (site).
Официальный ответ поддержки Яндекса:
Я бы рекомендовал Вам ориентироваться на результаты поиска.
Данная ситуация может быть связана с тем, что в зависимости от типа устройства, типа браузера и операционной системы, у нас применяются разные настройки поиска. Из-за этого значение найденных ответов может отличаться от того, каким оно окажется на последней странице. Также на отображение числа ответов могут влиять проводимые на нашей стороне эксперименты.
Соответственно ориентируемся на значения, полученные запросом site:o-es.ru.
Почему Загруженных страниц в Яндекс.Вебмастере больше чем Страниц в поиске?
В разделе Загруженные страницы (Яндекс.Вебмастер) отображается информация обо всех страницах, которые известны нашему роботу, а в разделе Страницы в поиске (Яндекс.Вебмастер) показываются только те из них, которые реально участвуют в поиске.
Причин, по которым загруженные страницы могут не участвовать в поиске, много:
- Они могут быть дубликатами уже показанных страниц.
- Содержать поисковый спам.
- Содержать ненужный пользователям контент.
- Либо при их загрузке произошла ошибка. Те страницы, при загрузке которых произошли ошибки, можно посмотреть в разделе Исключенные страницы.
Необходимо добиться, чтобы количество проиндексированных страниц в Яндексе и Google были одинаковыми, допускается погрешность в 10-15%. Разница может означать дублирование проиндексированных страниц или наоборот, что какие-то из них еще не проиндексированы поисковой системой. Поэтому количество страниц в индексе должно быть одинаковым и сопоставляться с реальным на сайте.
Как проверить индексацию конкретной страницы сайта в Яндексе и Google?
Для Яндекса.
Используем оператор Url
Синтаксис: url:полный URL
Пример:
О документарных операторах Яндекса: https://yandex.ru/support/search/query-language/search-operators.xml
Для Google.
Используем оператор Site
Синтаксис: site:полный URL
Пример:
5 простых приемов для ускорения индексации новых страниц (сайта) в Яндексе:
- Используем сервис Переобходчик страниц (Яндекс.Вебмастер).
- Используем сервис Сообщить о новом сайте https://webmaster.yandex.ru/addurl.xml.
- В рамках структуры сайта, должны быть ссылки на все страницы.
- Внешние ссылки на новые страницы.
- Устраняем технические ошибки (SEO-аудит сайта: дубли, битые ссылки, ошибка 404 и др.).
Необходимо дождаться индексации изменений и обновление поисковой базы (апдейт). За апдейтами можно следить тут — http://tools.promosite.ru/
Если, скажем, через месяц после исправления всех ошибок и недочетов ситуация не изменилась, можно попробовать написать в техподдержку Яндекса о проблемах индексации сайта, чтобы выявить причины. Делать это нужно обязательно, так как напрямую влияет на продвижение сайта по трафику.
Как написать в тех. поддержку Яндекса?
- Добавляем сайт в Яндекс.Вебмастер (подтверждаем права на сайт).
- Переходим в панель управления вашим сайтом.
- В нижней части страницы (footer), находим ссылку Обратная связь.
- Открывается страница службы поддержки, выбираем Индексирование сайта.
- Выбираем Мой сайт плохо индексируется.
- Выбираем Новые страницы сайта долго не попадают в поиск.
- Ставим чекбокс Рекомендации не помогли.
- Заполняем поля и отправляем форму.
Какие поля заполнять:
- Из списка сайтов, выбираете соответствующий сайт.
- Указываете 2-3 примера страниц, которые не проиндексированы поисковой системой.
- В поле Сообщение укажите проблему и действия, которые были сделаны для устранения проблемы. Как долго не решается вопрос.
- Указываете ваше имя и email.
Переобход страниц – новый инструмент Яндекс.Вебмастер
Контролируйте процесс индексации вашего сайта, добивайтесь успеха в продвижении!
Как узнать проиндексированные страницы Яндекс
Продолжая тему индексации страниц сайта на sitesnulya.ru, сегодня мы еще рассмотрим вопрос, как узнать какие страницы проиндексировал Яндекс.
Информацию об этом постоянно нужно отслеживать, чтобы вовремя реагировать на изменения. Полноценное наличие вашего ресурса в выдаче поисковой системы значительно упрощает процесс его популяризации и привлекает большее количество посетителей.
Несколько часов назад мы опубликовали статью о том, как узнать проиндексированные страницы сайта в Google. Теперь пришла очередь Яндекса, как одного из двух основных поставщиков поискового трафика в рунете (второй — Гугл).
Но перед этим, напомним, что сайт должен быть зарегистрирован в поисковой системе, а также подтверждены права на управление им. Если вы этого не сделали — поспешите исправить упущение.
Эти процедуры дадут вам доступ к панели вебмастера Яндекс — Яндекс.Вебмастер, аналога панели вебмастера Гугла, что значительно упростит ваше взаимодействие с поисковой системой.
Многовато ссылок на другие материалы для вас, но их нужно изучить, чтобы полноценно использовать возможности кабинетов поисковых систем.
Как узнать сколько страниц проиндексировано Яндексом
Доступ к панели вебмастера Yandex вам нужен потому, что это один из самых простых и быстрых способов узнать точное количество проиндексированных страниц в Яндексе.
Здесь всё интуитивно понятно. Заходите в панель инструментов поисковика и сразу видите перед собой список сайтов, которыми вы управляете. Их может быть как один так и несколько сотен.
И вот сразу видите напротив необходимого проекта — его тИЦ (тематический индекс цитирования), сколько страниц вообще «Загружено роботом» и, собственно,
Стоит отметить, что в отличии от Гугла, Yandex индексирует страницы постепенно, то есть после каждого обновления, которые происходят раз в 1-2 недели. Поэтому скорость появления новых материалов в поиске очень медленная для новых проектов. Популярные и раскрученные обновляются намного чаще.
Чтобы посмотреть более подробную информацию о проиндексированных страницах, нажмите на цифру обозначающую их количество или перейдите в меню управления сайтом и выберите — «Индексирование сайта» — «Страницы в поиске».
Для конкретной проверки проиндексирована ли страница в Яндексе, введите в специальную поисковую строку адрес публикации (статьи и др.).
Если она уже есть в выдаче, ниже вам будет показана ссылка на страницу, а если поле останется пустым — значит она ещё не известна поисковой системе. Или же была заблокирована.
Есть еще более простой способ узнать количество проиндексированных страниц в Яндексе. Для это нужно не входить в панель вебмастера, а лишь ввести в поисковую систему «site:ваш_сайт.ru».
Результаты поиска и будут показывать сколько страниц находится в индексе. Здесь нет дополнительных результатов или чего-то подобного как в Google, только чистые страницы выдачи. Всё заблокированные ссылки файлом robots.txt или битые ссылки в поиске не участвуют.
Довольно часто возникает вопрос, как ускорить индексацию страницы Яндексом. Тут вам никто не даст однозначного ответа. У каждого есть свои «лучшие» рецепты, но по большей части они сводятся к одним действиям:
- выложить анонс новой статьи, страницы в различных социальных сетях, данные о них обновляются почти каждый день;
- если текст точно оригинальный — отправить запрос в Оригинальные тексты от Яндекса;
- другими способами распространить информацию о новой статье на популярных сайтах.
Всё сводится к тому, чтобы поисковый робот нашел ссылку на новый материал на других ресурсах и уже оттуда перешел к вам на сайт и проиндексировал страницу.
А вот что делать, если более поздние статьи (к примеру) уже есть в поиске Яндекса, а ранняя публикация там так и не появилась, может она заблокирована? Рассмотрим поближе этот нюанс.
Почему страница не проиндексирована Яндексом
Собственно, относительно новые страницы вашего сайта (до двух-трех недель), особенно, если он новый и его популярность не высокая, могут быть не проиндексированы Яндексом из-за того, что он просто о них не знает.
Как это исправить и ускорить индексацию, мы написали чуть выше. С этим проблем возникнуть не должно.
Совсем другой вопрос, если статья, страница уже более месячной давности. В этом случае поисковый робот наверняка заходил на сайт и видел её. Но почему-то предпочел не проиндексировать.
Чтобы убедиться в этом, зайдите в панель вебмастера Яндекса в меню «Индексирование сайта» — «Исключенные страницы».
Вот тут вы можете увидеть количество страниц, которые были запрещены к индексации файлом роботс.тхт или содержат мета-тег «noindex».
Проверьте наличие искомой не проиндексированной страницы в этих списках.
Примечание. Мета-тег «noindex» может содержаться, например, на страницах, где перечисляются ваши статьи из определенного раздела.
Если она была обнаружена в списке запрещенных robots.txt, значит необходимо исправить его содержимое или саму страницу, чтобы запрещающие правила к ней не относились.
Это и есть основные причины, почему страница может быть не проиндексирована Яндексом.
Надеемся, что мы раскрыли максимально подробно эту интересную тему. Если у вас возникли какие-то вопросы об индексации сайта — пишите в комментарии, вам ответят довольно быстро.
Также стоит прочитать
Проверка индексации сайта в поисковых системах Яндексе и Google
Как проверить индексацию для неподтвержденного сайта мы рассказали ранее. В данной статье расскажем о проверке с помощью данных, которые предоставляет Яндекс Вебмастер и Google Search Console.
Список проиндексированных страниц
Для того чтобы получить полный список проиндексированных страниц в Яндексе, необходимо зайти в раздел Индексация > Страницы в поиске > вкладка «Все страницы».
Ниже представлен список всех страниц, находящихся в поиске, и возможность выгрузить таблицу в XLS и CSV.
В новой версии Google Search Console также появилась возможность увидеть список всех проиндексированных страниц. Для этого нужно зайти в отчет «Покрытие» (в разделе «Индекс»).
В списке ниже представлена информация о страницах, о которых известно поисковой системе и дополнительная информация по ним.
Детальный список проиндексированных страниц можно получить из списка со статусом «Страница без ошибок».
Проверка индексации
Чтобы обнаружить «мусорные страницы», нужно следовать следующему алгоритму:
- Получаем полный список страниц, которые должны быть проиндексированы. Для этого мы используем программу Screaming Frog SEO Spider. При правильной настройке файла robots.txt спарсится список всех доступных для индексации страниц.
- Выгружаем индексируемые страницы сайта из Вебмастеров.
- Сравниваем попарно получившиеся списки с помощью инструмента «Условное форматирование» в Excel, подсветив все уникальные значения.
В ходе сравнения могут возникнуть следующие ситуации:
- подсветка страниц, которые есть только в списке парсера. В таком случае нужно диагностировать причину, почему страница не находится в индексе. Если она должна индексироваться, то отправляем ее на переобход. Как это делать, описано в статье.
- подсветка страниц, которые есть только в индексе. В данном случае пытаемся понять, почему ее нет в списке всех страниц сайта. Возможно, это страница с кодом 404, которая так и не была удалена поисковым роботом или деактивированный элемент, у которого неверно настроен код ответа.
Для удаления страниц в Вебмастере существует инструмент «Удаление страниц из поиска», позволяющий единовременно удалить до 500 отдельных страниц или группу страниц по префиксу в url. Главное, чтобы страницы были закрыты от индексации.
Инструмента для принудительного удаления страниц у Google нет, но можно временно удалить свои URL из результатов поиска.
Для этого необходимо зайти в старую версию Search Console и в левом меню выбрать «Индекс Google» > «Удалить URL-адреса».
Далее указываем URL страницы, которую вы хотите скрыть. Выбираем из списка необходимое действие и отправляем запрос.
#133
Октябрь’21 4424 20#104
Февраль’19 1400 21#60
Февраль’18 4524 19Как проверить проиндексированные страницы в яндексе. Как узнать, сколько страниц в индексе Яндекса или Google
Недавно на работе столкнулся с задачей, когда было необходимо проверить большое количество страниц на индексацию в Yandex и Google. Можно без проблем воспользоваться платными сервисами (например, Топвизор), который выдаст всю информацию в красивом виде. Либо какими-то сервисами, которые бесплатно дают проверить только 10 страниц, но страниц таких может быть очень много, а платные сервисы могут обойтись в хорошую сумму. Можно сделать это все бесплатно, но для этого нам понадобиться Кей Коллектор.
В первую очередь нам необходимо будет подготовить ссылки, так как для каждой ПС нам нужны разные команды.
Массовая проверка ссылок в Яндексе
Для проверки в Яндексе необходимо подготовить списком ссылки такого формата:
host:zamal.info/poleznye-seo-servisy/ | url:zamal.info/poleznye-seo-servisy/
host: zamal.info/category/seo/| url: zamal.info/category/seo/
Массовая проверка ссылок в Гугле
В Гугле же будет все немного проще:
site:zamal.info/poleznye-seo-servisy/
site:zamal.info/category/seo/
Для чего эти команды?
Многие могут сказать, а почему бы просто не вбить адрес ссылки, ведь он сразу покажет либо пустой запрос, либо эту ссылку. Увы, так не прокатит. Да, в каких-то случаях это сработает. Но в иных, Яндекс легко может показать другие УРЛы, которые не связаны с тем, который вбили мы. А Кей Коллектор нам выдаст информацию о том, что страница ваша страница в индексе есть, хотя это не так.
Как так массово сделать ссылки?
Проверяем индексацию страниц через Key Collector
Собрав 2 отдельных списка (ну или один для проверки в определенном ПС), открываем Кей Коллектор. Создаем проект. Заходим в настройки – парсинг и в поле «удалять символы» и «заменять на пробельный символ символы» удаляем все, что там есть и сохраняем.
Как долго длиться процесс?
Это уже все зависит от количества проверяемых ссылок. На проверку 10к страниц у меня ушло где-то 12 часов
Настраиваем экспорт
Пока идет процесс проверки, можно сразу настроить экспорт. Заходим в настройки – экспорт. Внизу ставим галочку только над «Фраза» и «Позиция » или «Позиция [G]». После завершения процесса выгружаем все в xls файл (нажимаем на зеленую иконку слева сверху).
Смотрим результат
В итоге у нас получается таблица в две колонки, в которой указана страница и позиция.
1 – в индексе
-1 – не в индексе
Затем мы можем просто отфильтровать непроиндексированные страницы и уже отправить или на переобход страниц (если их немного), либо создать для них отдельную карту сайта и тоже отправить на переобход (добавив ее в вебмастер).
Для Гугла действует ровно такая же схема, отличается лишь командами, о которых писал выше.
Итог
Таким простым способом можно практически бесплатно проверить массово нужные страницы на наличие индексации в поисковиках. Почему практически бесплатно? Немного съест антикапча, ну это мелочи.
Если вы последовательно читаете мой мануал, то в прошлой статье узнали, как можно ускорить индексацию сайта .
Теперь нам надо это процесс контролировать. Т.е. следить за страницами, какие попадают в индекс, а какие нет. Осуществить проверку индексации сайта не сложно. Для этого есть два решения: ручной метод и специальный seo-софт.
В первую очередь можно воспользоваться системой автоматического продвижения SeoPult . Система конечно платная, НО много информации по своему сайту можно посмотреть бесплатно! В частности, какие страницы проиндексированы, посмотреть релеватные запросы, советы по оптимизации страниц и много другой и полезной информации. Советую по чаще туда заглядывать.
Так же, можно воспользоваться бесплатной программой Site-Auditor от Ашманова. Как я сказал, она бесплатная, периодически обновляется и вполне справляется с этой задачей. Что бы проверить индексацию сайта через программу Site-Auditor, скачиваем ее с официального сайта. Запускаем софт и в меню «экспресс анализ» вбиваем наш урл, жмем «проверить».
Прога выдает нам количество страниц в индексе Яндекс и Google. Нажав на эти цифры мы попадем в выдачу ПС, где и будут наши проиндексированные страницы. Такую же проверку можно сделать, если у вас есть программа Yazzle , которой мы оценивали конкурентов.
Но бывают случаи, когда подобный анализ не совсем удобен или невозможно сделать. Например ПС обновили что-то и софт перестал работать (пока его не обновят), а вам надо срочно проверить. Или, что чаще, надо проверить индексацию конкретной страницы, а в общем списке искать не всегда удобно. Тут и поможет второй (ручной) способ.
Проверка индексации сайта в Яндексе
Проверить индексацию своего сайта в Яндексе можно в панели вебмастера webmaster.yandex.ru/ . Но для этого сайт придется добавить в эту панель и подтвердить права на сайт. Без регистрации, увы, он не покажет все данные по индексации. Вот раздел с данными по индексации в панеле вебмастера.
Там вы сможете посмотреть индексацию страниц за последнюю неделю, за 2 недели и за все время.
Индексацию отдельной страницы в Яндексе проще всего в самом поиске. Тупо вбиваем страницу в строку поиска и жмем найти. Если она в индексе, Яндекс покажет ее сниппет. Если ее нет, соответственно не покажет.
Там же, если нажать зеленую стрелочку рядом с url станицы, мы сможет посмотреть сохраненную копию документа. Это та версия страницы, которая хранится в данный момент в кэше Яндекса. В кеше содержится очень важная информация — дата, когда робот последний раз посещал ваш сайт. Всегда можно глянуть в кэше, учел Яндекс или Гугл ваши последние изменения на странице или нет.
Проверка индексации сайта в Google
Что бы проверить, как ваш сайт проиндексировал Google достаточно в поисковой строке ввести специальную команду
site:имя_сайта.домен
Гугл покажет, сколько страниц в индексе. А по зеленой стрелочке (как и в Яндексе) можно посмотреть сохраненную копию страницы (содержимое кеша). Где вы увидите текущую версию страницы в базе Google. Отдельную страницу также можно глянуть просто вбив ее в поисковую строку.
Проверка индексации сайта в Rambler
Индексацию в Рамблере в данный момент можно проверить только одним путем – вбить урл в строку поиска. Там же можно посмотреть, что находится в кэше. Для этого надо нажать «копия».
Привет! Сегодня я расскажу очень важные вещи, упустив которые можно терять трафик. Часто по мере работы над сайтами, нужно определить: какие страницы проиндексированы, какие нет. Какие страницы требует дополнительного внимания для того, чтобы они попали в индекс.
Особенно это ярко заметно при работе с интернет-магазинами: при работе с огромным количеством товаров/разделов, постоянно добавляются все новые и новые страницы. Поэтому нужен жесткий контроль индексации свежедобавленных страниц, чтобы не терять трафик с поиска.
В этом небольшом уроке я расскажу, как я проверяю страницы сайта на проиндексированность.
Как проверить страницы на индексацию
Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал .
Ну или же можно просто вбить в Яндекс вот этот код:
Url:www..ru/about
Или для Google:
Info:https://сайт/about
Конечно, URL адрес сайт/about меняете на свой.
А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:
Что делать с непроиндексированными страницами?
Сервисы для ускорения индексации
Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru . Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).
Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.
Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом «Абсолют апдейт» (кликните на изображение, чтобы увеличить):
Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.
На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.
Ускорение индексации с помощью Твиттера или новостных сайтов
Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо «кушают», если аккаунты более-менее адекватные.
Про это я уже писал относительно подробно в уроке » «. Там помимо твиттера я разбирал еще другие способы быстрой индексации.
Переиндексация существующих страниц
Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в .
Работа с индексом с помощью программы Comparser
YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.
Если же нужно выяснить, какие страницы сайта еще не попали в индекс (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.
И снова, те страницы, которые выявлены, что находятся вне индекса, прогоняем через разные сервисы или твиттер аккаунты. Имейте в виду, что, если вы хотите купить твиты, то хорошо работают незаспамленные аккаунты. К примеру, мне достаточно сделать ретвит своей статьи своим же аккаунтом, она мгновенно попадает в индекс.
Если вдруг нужно проверить «пачку» страниц на переиндексацию, можно снять дату кэширования в той же самом Компарсере:
Время чтения: 11 минут(ы)
Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.
Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.
Рассмотрим каждый вариант подробнее.
1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console
Бесплатный и достоверный способ с использованием сервисов для вебмастеров.
Яндекс.Вебмастер
После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.
Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».
Для анализа список страниц можно скачать из сервиса файлом в форматах.xls и.csv.
Google Search Console
Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис https://search.google.com/search-console/about?hl=ru , вводим url сайта и нажимаем кнопку «Добавить ресурс».
После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».
Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.
Примеры проверки индексации сайта
2. Проверка количества проиндексированных страниц в ПС при помощи операторов
Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru ».
3. Анализ индексации сайта при помощи плагинов и расширений
Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.
4. Отслеживание проиндексированных страниц с помощью online сервисов
Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».
Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.
5. Программы для контроля индексации сайта
Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.
Проверка индексации страницы
Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:
1. В панели для вебмастеров:
2. Оператор «url»
В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».
3. Оператор «info»
В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»
Почему сайт может не индексироваться
В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.
Ошибки в файле robots.txt
Файл robots.txt – это текстовый документ в формате.txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.
Отсутствие файла sitemap.xml
Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.
Новый сайт
Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.
Приватные настройки
В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.
Тег «noindex»
Страницы могут быть закрыты от индекса в коде с помощью мета тега name=»robots» content=»noindex, nofollow» />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».
Мусорные страницы
Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.
Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле.htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.
Выводы SEO-специалиста Веб-центра
Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.
Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.
Рассмотрим вопрос как определить количество проиндексированных страниц в поисковых системах. Сделать это можно разными путями. Что такое индекс можете прочитать в статье индекс поисковой машины .
Информация о количестве страниц в индексе является открытой и доступной для всех. Так что любой вебмастер может проверить абсолютно любой сайт.
1. Сколько страниц проиндексировано Яндексом
1.1. Через запросы в Яндексе
Заходим на главную страницу Яндекса (yandex.ru или ya.ru) и вбиваем в поиске запрос:
site : www.site.ru | url:site.ru или host : www.site.ru | url:site.ru
В ответе Яндекс выдаст количество проиндексированных страниц:
1.2. Через панель Яндекс Вебмастер
В панели webmaster.yandex.ru есть специальная вкладка проиндексированные страницы:
Здесь же можно посмотреть количество страниц известных роботу, количество исключенных страниц и дату последнего посещения роботом сайта. Однако стоит отметить, что воспользоваться Яндекс Вебмастером могут только владельцы сайтов, поскольку это «частная» информация.
2. Сколько страниц проиндексировано Google
2.1. Через запросы в Гугле
Как и в Яндексе, в Google есть специальный запрос, который выводит все известные страницы сайта. Заходим на главную страницу google.ru и вводим:
site :site.ru
Такой запрос отобразит все известные страницы. Чтобы узнать какие страницы попали в так называемый «основной индекс» в конце запроса нужно дописать амперсант:
site :site.ru/&
2.2. Через панель Google Webmaster
В панели google.com/webmaster есть специальная вкладка «Индекс Google» -> «Статус индексирования»:
Помимо рассмотренных способов так же есть универсальные методы.
3. Универсальные методы
3.1. Узнать индексацию через специальные сервисы
Специальными сервисами я называю множество различных систем аналитики. Например, самими популярными являются:
Здесь можно получить информацию об количестве проиндексированных страниц сразу в несколько поисковых системах.
Почему страницы сайта выпадают из индекса
Вебмастер может заметить, что трафик, присутствовавший на некогда популярной странице услуги, исчез, звонки прекратились, а продажи упали до нуля. В этом случае следует проверить – не выпала ли данная страница из индекса поисковых систем, особенно если единственным каналом продвижения этой услуги в интернете был органический поиск.
Как проверить не выпала ли страница из индекса Яндекса:
В Яндекс Вебмастере. Вкладка «Индексирование — Проверить статус URL». Вводим URL нужной страницы, нажимаем кнопку “Проверить” и ждём. Если в результате написано, что страница обходится роботом и находится в поиске, значит все хорошо:
Через оператор url. В поисковой строке Яндекса вводим запрос по формуле [url:URL_документа]. Пример:
Если страница присутствует в индексе, Яндекс ее выведет.
Пример с отсутствующим в поиске URL:
Как проверить не выпала ли страница из индекса Google:
Проверить индексацию страницы в Гугле можно через сервис Google Search Console. Вставляем URL в строку проверки, нажимаем Enter:
Выводится информация о странице. В данном случае нас интересует информация о том, что URL присутствует в индексе Google.
Необходимо регулярно проверять свой сайт на количество исключенных из поиска страниц, так как целевые страницы могут выпасть из индекса в любой момент.
Как проверить информацию об исключенных страниц в Яндексе:
С помощью Вебмастера Яндекса можно узнать всю необходимую информацию об индексации страниц. Вкладка «Индексирование -> Страницы в поиске».
Всегда проверяйте исключенные URL, особенно если видите, что раньше страниц в поиске было заметно больше. Здесь вы можете увидеть информацию о дате и причине исключения URL из индекса.
Как проверить информацию об исключенных страницах в Google:
В Google Search Console также можно посмотреть информацию об исключенных URL. Для этого перейдем во вкладку «Покрытие»:
Здесь нам показывают:
- Страницы с ошибками – Google не смог их проиндексировать
- Без ошибок, есть проблемы — проиндексированные страницы, но, возможно, имеющие ошибку с нашей стороны (например запрещены нужные нам URL в файле robots.txt)
- Без ошибок
- Исключенные
Причин, по которым страницы могут исключить из индекса, целое множество. Мы разделим их на две группы: технические причины и причины, зависящие от контента.
Технические причины
РедиректыПоисковые системы исключают из индекса страницы, которые перенаправляют пользователя на другие страницы. При этом сама конечная страница (на которую идет перенаправление) зачастую не исключается (если нет другой причины).
Типичный пример исключения страницы, перенаправляющей пользователя на другую страницу (301 редирект):
Конечная страница осталась в поиске:
Так как конечная страница остается в поиске, то ничего страшного в данной ситуации нет, но желательно минимизировать кол-во ненужных 301 редиректов на сайте, если есть такая возможность.
404
Страницы с 404 ошибками также выпадают из индекса:
Если страница удалена по ошибке, то конечно необходимо ее восстановить. Если страница больше не нужна, то нужно удалить все ссылки на сайте, ведущие на нее.
Файл Robots.txt и мета-тег RobotsВебмастер может рекомендовать поисковым системам не включать в индекс нужные ему URL с помощью файла robots.txt или с помощью мета-тега Robots:
Проверьте файл robots.txt, нет ли там нужных вам страниц. Также проверьте мета-тег Robots. Если вы видите, что у атрибута “name” задано значение “robots”, а у атрибута “content” присутствует значение “noindex”, это означает, что сканирование страницы запрещено для всех поисковых роботов:
Более подробно про данный мета-тег можете почитать в справке Google.
Страница обнаружена, но не проиндексированаВ Google Search Console есть исключенные из индекса URL со статусом «Страница просканирована, но пока не проиндексирована»:
Это означает, что поисковый робот нашел вашу страницу, но не добавил ее в индекс. В данном случае нужно просто подождать и страница будет добавлена в поиск.
Причины, зависящие от контентаДублиСтраницы полностью или частично дублирующие другие могут быть исключены из поиска.
Если страницы-дубли не нужны, то лучшим решением будет их удалить. Если нужны, то можно установить тег “rel=canonical” в <head> этих страниц.
Например:
Также можно настроить 301 редирект со страницы-дубля на каноническую страницу.
Если обе похожие друг на друга страницы должны присутствовать не только на сайте, но и в поиске (например, две страницы карточек товара), то их нужно сделать уникальными (изменить мета-теги, текст на странице, фото и т.д.).
Недостаточно качественные страницыСюда относятся страницы, несоответствующие запросу и неcпособные удовлетворить потребности пользователя.
Необходимо сделать страницу более качественной. Если это страница блога, то сделать уникальный и полезный читателю контент. Если это страница карточки товара в интернет-магазине, то товар должен быть в наличии (или должна присутствовать возможность заказать со склада), содержать описание, краткие характеристики товара и т.д.
Переоптимизированный контентТексты, сделанные для поисковиков, а не для людей. Их отличает большое количество вхождений ключевых слов. В случае, если у вас на сайте много переоптимизированного контента, поисковики могут наложить фильтр на сайт и целое множество страниц выпадет из индекса.
Как написано выше — делайте контент в первую очередь для пользователей. И не забывайте про фактор переоптимизации.
Накрутка поведенческих факторовПоисковые системы накладывают санкции за использование различных методов так называемого «черного» SEO. Одним из таких методов и является попытка накрутить поведенческие факторы искусственным путем.
Не стоит использовать в своей работе сомнительные сервисы и программы по накрутке поведенческих факторов.
Неестественный ссылочный профильЕсли на сайте расположено множество покупных ссылок, а естественных ссылок очень мало, на него может наложиться фильтр поисковых систем (Минусинск у Яндекса и Пингвин у Гугла).
Аффилированность
Если два сайта одной компании борются за место в выдаче, то поисковые системы показывают страницу только одного сайта (как правило показывается наиболее подходящий запросу).
В Яндексе
Зайдите в раздел «Диагностика -> Безопасность и нарушения» в Яндекс Вебмастере:
Если ваш сайт получил фильтр, то информация об этом отобразится в данном разделе.
В Google
В Google Search Console это можно проверить в разделах «Меры принятые вручную» и «Проблемы безопасности»:
Если вы попали ситуацию с кучей выпавших из индекса URL, проанализируйте:
- Заказывали ли вы ссылки, какие и сколько
- Все ли тексты на вашем сайте качественные и уникальные
- Удобен ли ваш сайт для пользователя, нет ли там излишней рекламы
- Какие страницы запрещены с помощью файла Robots.txt и мета-тега robots
- Присутствуют ли на сайте страницы-дубли
и исходя из итогов анализа устраните причину.
Если же вам не удалось установить причину исключения URL из индекса, или вы устранили все возможные ошибки, а страницы так и не попали в поиск, попробуйте обратиться в техподдержку поисковой системы.
Почему сайт может просесть в выдаче и что с этим делать
Аффилированность сайтов
Аффилиаты — это несколько похожих сайтов, принадлежащих одной компании.
Иногда поисковые системы считают несколько сайтов аффилиатами и оставляют в результатах выдачи только один ресурс, на котором контент был проиндексирован первым. Остальные сайты уходят далеко вниз в поиске.
Некоторые причины, по которым сайты разных компаний поисковики могут определить как аффилированные:
- похожая верстка;
- совпадение контактных данных — адреса компании, индекса, номера телефона;
- схожесть ассортимента и цен на товары;
- одинаковые описания разделов каталога, карточек товаров, изображений;
- IP-адреса похожих сайтов расположены на одном хостинге;
- между сайтами есть перекрестные ссылки.
Как проверить
Понять, что сайт попал под аффилиат-фильтр, непросто. Яндекс.Вебмастер и Google Search Console не поддерживают отчеты, указывающие на то, что два сайта признали похожими.
Об аффилированности может говорить существенное снижение позиций по всем или нескольким кластерам запросов.
Если у сайта нет клонов, которые принадлежат одной компании, нужно найти конкурентов.
Чтобы найти конкурента вручную, введите в поисковик его контактные данные — адрес, номер телефона, название организации — и поищите дубликаты.
Найти конкурентов автоматически можно с помощью специальных сервисов, например «Пиксель Тулс» и Bе1.ru.
Что делать
Если у компании есть сайты с одинаковым контентом, но ресурсы различаются доменным именем, то следует настроить 301-редирект с каждого домена на основной, чтобы избежать попадания под фильтры.
Рекомендации, которые помогут выйти из-под аффилиат-фильтра и снизить вероятность его получения:
- замените на сайте номер телефон, адрес и электронную почту;
- смените изображения, измените подписи к ним и описания в каталоге;
- перепишите тексты (это увеличит показатель их уникальности).
Если информация с сайта дублируется на чужих ресурсах, можно связаться с их владельцами и попросить исправить данные. Однако надеяться на этот способ не стоит. Вам могут отказать или не ответить.
| Малоценная страница или страница с низким спросом | LOW_DEMAND | Алгоритм решил не включать страницу в результаты поиска, поскольку спрос на страницу, вероятно, низкий. Например, это может произойти, если на странице нет содержимого, если страница является копией страниц, уже известных роботу, или если ее содержимое не полностью соответствует интересам пользователя. Алгоритм автоматически проверяет страницы на регулярной основе, поэтому решение может измениться позже.Чтобы узнать больше, см. Малоценные или малопотребляемые страницы. | Дополнительные сведения см. На страницах с низкой стоимостью или низким спросом. |
| Исключено Clean-param | CLEAN_PARAMS | Страница была исключена из поиска после того, как робот обработал директиву Clean-param. | Чтобы страница проиндексировалась, отредактируйте файл robots.txt. |
| Дубликат | ДУПЛИКАТ | Страница дублирует страницу сайта, которая уже находится в поиске. | Укажите предпочтительный URL-адрес для робота, используя перенаправление 301 или атрибут rel = «canonical». Если содержимое страниц отличается, отправьте их на переиндексацию, чтобы ускорить обновление поисковой базы. |
| Ошибка подключения к серверу | HOST_ERROR | При попытке доступа к сайту робот не смог подключиться к серверу. | Проверьте ответ сервера, убедитесь, что робот Яндекс не заблокирован хостинг-провайдером. Сайт автоматически индексируется, когда становится доступным для робота. |
| Ошибка HTTP | HTTP_ERROR | Произошла ошибка при доступе к странице. | Проверить ответ сервера. Если проблема не исчезнет, обратитесь к администратору сайта или администратору сервера. Если страница в данный момент доступна, отправьте ее на переиндексацию. |
| Запрещено элементом noindex. | META_NO_INDEX | Страница была исключена из поиска, поскольку ей запрещено индексировать (с помощью метатега robots, содержащего директиву content = «noindex» или content = «none»). | Чтобы страница отображалась в поиске, снимите бан и отправьте на переиндексацию. |
| Неканонический | NOT_CANONICAL | Страница индексируется каноническим URL, указанным в атрибуте rel = «canonical» в ее исходном коде. | Исправьте или удалите атрибут rel = «canonical», если он указан неправильно.Робот автоматически отслеживает изменения. Для ускорения обновления информации о странице отправьте страницу на переиндексацию. |
| Вторичное зеркало | NOT_MAIN_MIRROR | Страница принадлежит вторичному зеркалу сайта, поэтому была исключена из поиска. | |
| Неизвестный статус | ДРУГОЕ | У робота нет актуальных данных на странице. | Проверить ответ сервера или запрещающие элементы HTML. Если робот не может получить доступ к странице, обратитесь к администратору вашего сайта или сервера. Если страница в данный момент доступна, отправьте ее на переиндексацию. |
| Не удалось загрузить страницу | PARSER_ERROR | При попытке доступа к странице робот не смог получить ее содержимое. | Проверить ответ сервера или запрещающие элементы HTML. Если проблема не исчезнет, обратитесь к администратору сайта или администратору сервера.Если страница в данный момент доступна, отправьте ее на переиндексацию. |
| В поиске | REDIRECT_SEARCHABLE | Страница перенаправляется на другую страницу, но включается в поиск. | |
| Перенаправление | REDIRECT_NOTSEARCHABLE | Страница перенаправляет на другую страницу. Целевая страница проиндексирована. | Проверить индексацию целевой страницы. |
| Запрещено в robots.txt (весь сайт) | ROBOTS_HOST_ERROR | В robots запрещено индексирование сайта.txt файл. Робот автоматически начнет сканирование страницы, когда сайт станет доступен для индексации. | При необходимости внесите изменения в файл robots.txt. |
| Disallowed robots.txt (page) | ROBOTS_TXT_ERROR | Запрещено индексирование сайта в файле robots.txt. Робот автоматически начнет сканирование страницы, когда сайт станет доступен для индексации. | При необходимости внесите изменения в файл robots.txt. |
| В поиске | ПОИСК | Страница включена в поиск и может отображаться в результатах поиска по запросам. |
Индексирование сайта с тегом Яндекс.Метрики
Внимание. Этот способ не подходит для индексации:Робот Яндекса узнает о страницах сайта из разных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу сканировать страницы с тегом.
Если вы хотите, чтобы робот как можно быстрее зашел на ваш сайт, привяжите свой тег Яндекс.Метрики к проверенному в Яндекс.Вебмастере сайту и включите опцию сканирования тегов.
- Кто может запросить и подтвердить привязку
| Откуда отправляется запрос | Кто отправляет запрос | Кто подтверждает запрос |
|---|---|---|
| Яндекс.Метрика. | Пользователь с правами редактирования тегов или с репрезентативным доступом. | Пользователь Яндекс.Вебмастера с правами управления сайтом. |
| Яндекс.Вебмастер.Узнайте больше о том, как отправить запрос в Яндекс.Вебмастере. | Пользователь с правами управления сайтом. | Пользователь Яндекс.Метрики с правами редактирования тегов или представительским доступом. |
После того, как робот просканирует страницы сайта, они могут появиться в результатах поиска при условии, что индексирование не запрещено. Чтобы робот лучше понимал страницы, используйте файл Sitemap.
- Шаг 1. Добавьте сайт в Яндекс.Вебмастер
- Шаг 2. В Яндекс.Метрике отправьте запрос на ссылку на сайт
- Шаг 3. Подтвердите свой запрос в Яндекс.Вебмастере
- Шаг 4. Включите опцию сканирования тегов для вашего сайта в Яндекс.Вебмастере
Добавьте сайт с тегом Яндекс.Метрика в Яндекс.Вебмастер и подтвердите права на управление сайтом.
Перейдите на страницу настроек (вкладка Тег).
- Нажмите Ссылка на Яндекс.Вебмастер рядом с адресом сайта. Если в настройках тега указаны дополнительные адреса:
Когда запрос на установление ссылки на сайт отправлен, веб-мастер начинает поиск совпадений с доменом сайта. Протокол и наличие префикса www игнорируются. Если совпадения найдены, подтвердите запрос:
Перейти на.
Нажмите «Подтвердить» рядом с соответствующим идентификатором тега.
в Яндекс.Метрика, перейдите в Настройки и откройте вкладку Тег.
в Яндекс.Вебмастере перейдите по ссылке.
| Статус | Описание | Примечание |
|---|---|---|
| «Ожидает подтверждения» | Запрос на ссылку на сайт отправлен. Идет проверка домена. После того, как домен найден, запрос ожидает подтверждения. | Пользователь Яндекс.Вебмастера должен подтвердить запрос. |
| «Связано» | Пользователь Яндекс.Вебмастер подтвердил запрос на привязку сайта. | Робот Яндекс начнет сканировать страницы сайта. |
| «Не проверено» | Пользователь Яндекс.Метрики или Яндекс.Вебмастера отменил ссылку на сайт. | Вы можете повторно отправить запрос на привязку тега к сайту. |
| «Ошибка подтверждения» | Тег не связан с сайтом. Возможные причины:
| Проверьте возможные причины и снова запросите подтверждение. |
Перейти к.
Напротив тега Яндекс.Метрики, который вы связали с сайтом, включите сканирование.
Робот сможет сканировать страницы, на которых установлен тег.Этот вариант будет применяться ко всем версиям сайта: как HTTP, так и HTTPS, а также с префиксом www или без него.
Во время сканирования робот ищет на сайте страницы, которые могут участвовать в поиске. В некоторых случаях сканирование может остановиться, чтобы вы могли проверить страницы. Робот может найти много страниц — Яндекс.Вебмастер показывает только примеры. Они могут помочь вам понять, каким группам страниц разрешено участвовать в поиске, а каким нет.
Вы можете получить уведомление о том, что список готов к проверке, в зависимости от настроек:В Яндекс.Веб-мастер на страницах Уведомления и Диагностика.
Отправлено на адрес электронной почты, который вы указали в настройках уведомления.
Чтобы проверить примеры, перейдите и щелкните Примеры страниц рядом с тегом, с которым вы связали веб-сайт.
Если вы думаете, что в списке:
- Проанализируйте список страниц — они могут включать, например:
Тип страницы Что делать Страницы действий.Например, добавление товара в корзину или сравнение товаров. Отключить индексацию страниц Корзина с товарами. Личная информация. Например, адреса доставки и телефоны ваших клиентов. Ограничить доступ к данным с авторизацией пользователя на сайте . Например, URL с дополнительными параметрами (https://example.com/page?id=1). Укажите страницу, которая предпочтительнее для участия в поиске. Подождите, пока служба обновит список — на адрес электронной почты, который вы указали в настройках уведомлений, будет отправлено письмо.
Еще раз проверьте образцы страниц.
Включить сканирование.
- Убедитесь, что они готовы к отображению в результатах поиска — например, проверьте полноту содержания, а также наличие и правильность заголовка элемента и метатега Описание.
Включить сканирование.
Кроме того, мы рекомендуем добавлять страницы, которые могут участвовать в поиске, в файл Sitemap, чтобы они быстрее включались в результаты поиска.
Проверить, какие страницы появлялись в результатах поиска, можно в разделе «Страницы в поиске».
Если опция отключена, робот перестает получать информацию о новых страницах сайта от Яндекс.Метрики. Но он все еще может индексировать страницы, узнавая о них из других источников. Поэтому мы рекомендуем заблокировать индексацию непубличного контента. Вы можете узнать, включены ли нежелательные страницы в поиск, в разделе «Страницы в поиске».
Отключение сканирования также не удаляет страницы из результатов поиска.См. Раздел Как мне исключить страницы из поиска ?.
Инструменты Яндекса для веб-мастеров: как отправить и подтвердить свой сайт
Яндекс часто называют российской поисковой системой.
Это не только самая популярная поисковая система в России, но и вторая по популярности после Google во многих странах.
Однако в большинстве стран, где популярен Яндекс, проживает большая часть русскоязычного населения.
Во всем мире Яндекс занимает около полпроцента рынка, что делает его похожим по размеру на DuckDuckGo.
Главная страница поиска ЯндексаРекомендуется разместить свой сайт в Яндексе, добавив его в инструменты Яндекса для веб-мастеров. Это поможет вам оптимизировать работу вашего сайта в поиске Яндекса.
Кроме того, инструменты Яндекса для веб-мастеров предлагают множество полезных отчетов и инструментов для оптимизации SEO в целом, а не только для Яндекс.
Например, вы можете видеть внешние ссылки на ваш сайт, неработающие ссылки, проблемы сканирования и индексации и многое другое.
Что такое Яндекс инструменты для веб-мастеров?
Инструменты для веб-мастеров Яндекса — это бесплатная веб-служба Яндекса для веб-мастеров, позволяющая отслеживать эффективность их сайтов в поисковой системе Яндекса.
Вы можете использовать его для загрузки карты сайта, просмотра объема получаемого трафика, получения списка проиндексированных страниц, просмотра ошибок сканирования или индексации, проблем со скоростью сайта и т. Д.
Он служит той же цели, что и Google Search Console и Инструменты Bing и Yahoo для веб-мастеров.
Как добавить свой сайт в инструменты Яндекс для веб-мастеров
Чтобы добавить сайт, вам необходимо создать учетную запись на Яндексе, затем добавить свой сайт и подтвердить, что он принадлежит вам.
Вот шаги, чтобы быстро разместить свой сайт в Яндексе для веб-мастеров:
- Перейдите на эту веб-страницу: https: // паспорт.yandex.com/registration
- Введите свои данные, чтобы создать учетную запись на Яндексе, затем нажмите «Зарегистрироваться»
- Затем перейдите по адресу: https://webmaster.yandex.com/
- Войдите в систему или нажмите «Перейти»
- Нажмите кнопку «+» или кнопку «Добавить сайт».
- Введите основной URL-адрес вашего сайта и нажмите «Добавить»
- Скопируйте код подтверждения внутри части содержимого (без кавычек)
- Перейдите на свой сайт и введите код подтверждения в вашем плагине SEO
- Теперь вернитесь в Яндекс Инструменты для веб-мастеров и нажмите «Проверить».
Продолжайте читать, чтобы получить более подробные инструкции, как это сделать, со скриншотами.
Шаг 1. Создайте учетную запись на Яндексе
Чтобы добавить сайт в инструменты для веб-мастеров, у вас должна быть учетная запись на Яндексе.
Чтобы создать учетную запись, перейдите на эту страницу: https://passport.yandex.com/registration
Теперь введите свои данные (имя, имя пользователя, пароль и т. Д.) И нажмите кнопку «Зарегистрироваться».
Яндекс хочет, чтобы вы добавили номер телефона, чтобы вам было проще восстановить учетную запись, если вы забудете пароль.
Однако можно пропустить это и использовать вместо него секретный вопрос.
Шаг 2 — Добавьте свой сайт
Теперь, когда у вас есть учетная запись на Яндексе, вы можете войти в инструменты Яндекс для веб-мастеров, чтобы добавить свой сайт.
Перейдите сюда, чтобы получить доступ к инструментам Яндекс для веб-мастеров: https://webmaster.yandex.com/
Войдите в систему, если необходимо, затем нажмите кнопку «Перейти». Теперь вы должны увидеть страницу, на которой вы можете разместить свой сайт.
Затем нажмите кнопку «Добавить сайт» или кнопку «+» вверху.
Теперь вам будет предложено добавить URL главной домашней страницы вашего сайта.Обязательно укажите правильную версию, включая http / https и www, если вы ее используете.
Для моего сайта включен https, но у меня нет субдомена www. Поэтому я включаю https, но не www.
Когда вы ввели свой сайт в форму, нажмите желтую кнопку «Добавить».
Шаг 3. Подтвердите свой сайт
Затем вам нужно подтвердить сайт, чтобы доказать Яндексу, что вы являетесь полноправным владельцем.
Инструменты Яндекс для веб-мастеров предоставляют 4 варианта проверки:
- Мета-тег: Добавьте html-тег в раздел заголовка вашего сайта.
- Файл HTML: Загрузите файл HTML в корневой каталог вашего сайта.
- Запись DNS: Добавьте запись TXT в настройки DNS.
- WHOIS: Добавьте и подтвердите свой адрес электронной почты WHOIS через Яндекс.Паспорт.
Параметр метатега очень прост, если вы используете плагин SEO в WordPress.
Вы просто копируете текст внутри мета-тега content = ”” (без кавычек) и вводите его в свой плагин SEO.
Если вы используете Yoast SEO, перейдите в панель управления WordPress -> SEO -> Общие -> Инструменты для веб-мастеров.
Затем вставьте проверочный код в поле Яндекс для веб-мастеров.
Вы также можете сделать это с помощью большинства других хороших плагинов SEO, таких как SEO Framework (который намного лучше плагина SEO, чем Yoast).
Теперь вернитесь в инструменты Яндекс для веб-мастеров и нажмите желтую кнопку «Проверить».
Если проверка прошла успешно, вы получите подтверждение того, что ваш сайт подтвержден. Если это не помогло, очистите кеш своего сайта и повторите попытку.
Поздравляем! Вы добавили и подтвердили свой сайт в инструментах Яндекс для веб-мастеров.
Далее: добавление карты сайта, настройка геотаргетинга
Для заполнения информационной панели и отчетов полезными данными может потребоваться несколько дней.
А пока вы должны сделать эти две вещи прямо сейчас, чтобы оптимизировать производительность вашего сайта.
1. Добавьте карту сайта
Добавление карты сайта упростит поиску Яндексом всех страниц на вашем сайте.
Находясь в панели управления Яндекс, выполните следующие действия, чтобы загрузить карту сайта:
- На левой боковой панели нажмите «Индексирование»
- Нажмите «Файлы карты сайта»
- Введите URL-адрес карты сайта
- Нажмите «Добавить»
Карта сайта перейдет в очередь на обработку, что может занять несколько дней.
2. Настройте геотаргетинг
Результаты поиска Яндекса кардинально меняются в зависимости от местоположения искателя.
Если у вас местный бизнес, обязательно сообщите Яндексу, на какой географический регион вы ориентируетесь.
Если ваш сайт нацелен на глобальную аудиторию (например, мой), вы можете попросить Яндекс отключить геотаргетинг.
Вы можете настроить параметры геотаргетинга в разделе «Информация о сайте» -> «Регион». Если вы не хотите использовать геотаргетинг, нажмите «Без географического таргетинга.»
Вот инструкция от Яндекса о том, как правильно реализовать геотаргетинг для вашего сайта.
Вернитесь через несколько дней
Осталось только подождать.
Вам нужно авторизоваться в инструментах Яндекс для веб-мастеров через несколько дней, чтобы увидеть, начали ли отчеты отображать полезные данные.
Вот несколько интересных отчетов, которые стоит проверить:
- Внешние ссылки
- Внутренние ссылки
- Показатели качества сайта
- Статистика поисковых запросов
- Статистика сканирования
Кроме того, доступно множество других отчетов и инструментов, некоторые из которых очень полезно для SEO.
Поделиться:
Взгляд на Инструменты Яндекса для веб-мастеров
При более внимательном рассмотрении
После проверки данных для просмотра остается очень мало.
Ач. До того, как я зарегистрировался, этого сайта не было в Яндексе…
Это я, а не ты.
Отсутствие данных почти наверняка является особенностью отправленного мной сайта. Он небольшой, плохо связан с российским рынком и не тестировался на нем.
Через несколько часов после проверки сайта Яндекс обнаружил 6 страниц с кодами HTTP 2XX и 3 страницы с кодами HTTP 4XX.Однако он, похоже, не сообщает вам, какие это URL-адреса.
Отправьте свои карты сайта
Отправка файлов Sitemap кажется хорошей идеей. Вероятность того, что этот конкретный сайт будет иметь большое значение в России, мала или равна нулю, но передовая практика, бесплатный трафик и все такое…
Произвольная, но полезная функция отправки карты сайта. Однако очень сложно сказать, были ли эти файлы обработаны.
Проверка структурированных данных
Валидатор структурированных данных проверил мой JSON-LD OfferCatalogue , OGP и т. Д., Но валидатору не понравилось недопустимое использование vCard в нижнем колонтитуле сайта.Это достаточно справедливо; он, наверное, незначительный, но все равно сломан.
Проверены все структурированные данные на странице, кроме некоторых мошеннических vCard (которые Google игнорирует).
Мобильная ревизия
Все ОК ?!
Расслабьтесь! Ваш сайт отлично подходит для мобильных устройств. Обещать!
Инструмент Mobile Audit создает упрощенный, хотя и несколько приятный для просмотра отчет. Я не уверен, есть ли какие-либо рекомендации, которым нужно следовать, если вы не набрали наивысший балл, но он определенно не нашел ничего плохого в этом сайте.(На этом сайте так много ошибок .)
Существует также набор достаточно полезных инструментов, таких как проверка ответа заголовка сервера с настройкой IF-MODIFIED-SINCE .
Средство проверки заголовка сервера будет опрашивать несколько различных пользовательских агентов и дополнительно включает заголовок запроса IF-MODIFIED-SINCE.
Просматривайте свои поисковые запросы
Инструмент «Поисковые запросы» имеет удобную функцию, с помощью которой вы можете загружать списки ключевых слов и распределять их по группам с помощью фильтров.К сожалению, этот конкретный сайт не был ранжирован в Яндексе на момент написания, но я ожидал увидеть гораздо более полный отчет в следующий раз, когда я зарегистрируюсь. Однако с функцией загрузки я надеюсь найти куча объемов поиска (показов) по загруженным мной ключевым словам.
Это сам по себе может стать отличным бесплатным инструментом для исследования ключевых слов.
Полезная точка входа в поиск Яндекса
В целом, я считаю, что Инструменты Яндекса для веб-мастеров — это полезная точка входа в рейтинг в самом Яндексе, и любые усилия по оказанию помощи веб-мастерам с поисковой оптимизацией действительно очень приветствуются.С учетом сказанного, это напоминает мне очень, очень ранние версии Bing Webmaster Tools и Search Console: простые и интересные, но пока что я, вероятно, не буду рассматривать их чаще, чем раз в месяц. При всем уважении к усилиям команды, стоящей за этой платформой, она кажется быстрой и стабильной. Я подозреваю, что команда может быть меньше, чем их собратья из Bing и Google, и у нее есть список запросов на добавление функций, которым они должны обладать в течение следующих нескольких лет.
Если вы думаете, что я упустил что-то интересное в этом наборе инструментов, дайте мне знать!
Другой источник данных Awesome Link
Веб-мастера и специалисты по поисковой оптимизации часто полагаются на данные о ссылках из известных сторонних инструментов, таких как Majestic SEO или SEOMoz, но забывают копаться в собственных данных поисковых систем.Инструменты Google и Bing для веб-мастеров показывают типичный фрагмент данных о ваших ссылках. В случае с Google это в основном те ссылки, которые Google считает релевантными и значимыми (они, как правило, опускают те, которые никак не влияют на сайт, но по-прежнему показывают ссылки nofollow, поскольку они могут принести ценный трафик).
Ну вот еще один — Яндекс для веб-мастеров:
Идея пришла из одной из наших ночных тусовок, когда Алистер Латтимор предложил нам попробовать.Я не удержался и сразу же зарегистрировался, подтвердив свой адрес электронной почты, телефон и авторизовав свой веб-сайт с помощью загрузки файла HTML.
На скриншоте выше вы можете увидеть обзор внешних ссылок, отфильтрованных по URL-адресу страницы (/ mind-blowing-hack / также работает для каталогов и с модификатором подстановочного знака *).
Что меня порадовало, так это то, как Яндекс сортирует мои ссылки. Он намного ближе к тому, что я считаю релевантными и авторитетными сайтами, чем то, как он представлен во многих других инструментах (в частности, Google Webmaster Tols, где вы можете сортировать по дате или экспортировать чисто случайный список в виде файла CSV).
Идея состоит в том, чтобы получить как можно больше данных от каждой поисковой системы и объединить их в единую базу данных ссылок.
Параметры и возможности Яндекс. Инструментов для веб-мастеров
Вот список всех опций, доступных в Яндексе для веб-мастеров:
- Общая информация
- Индексирование
- Структура сайта
- Страницы в поиске
- Ссылки на сайт
- Исключенные страницы
- История индексирования
- Количество запросов
- коды HTTP
- Параметры индексирования
- Роботы.txt анализ
- Файлы Sitemap
- Главное зеркало
- Поисковые запросы
- Популярные запросы
- История
- Мои регионы
- Мои поиски
- Статистика
- Настройки
- География сайта
- Регион сайта
- Появление в результатах поиска
- Ссылки SERP
- Регистр букв URL
- Безопасность
- Проверка
Canonical SEO Failure
Этот пост не столько об обучении, сколько о развлечении злорадства для вас и о катарсисе для меня.Это история о том, как один неудачный HTML-тег выгнал меня почти из всех поисковых систем, и мой путь длился несколько месяцев назад. И почему это, в конце концов, не имело значения.
Все началось в декабре 2020 года: в рамках продолжающейся холодной войны с Google Apple объявила о добавлении Ecosia в качестве возможной поисковой системы по умолчанию в iOS 14.3. По сути, это интерфейс для поискового индекса Bing с дополнительным преимуществом использования прибыли для посадки деревьев.
Как и каждый, первое, что я сделал, это попытался найти свое имя, и & mldr; не нашел.
Я осторожно проверил другие поисковые системы: DuckDuckGo : только мой LinkedIn и & mldr; мой RSS-канал !? Нервничая, я зашел в сам Bing: просто забыл какую-то старую чушь на странице. Подозревая худшее, я пошел в Яндекс, у которого есть собственный индексатор: только моя первая страница (по крайней мере!). Наконец, я проверил свою статистику и увидел, что получаю трафик только от Google, а не от других поисковых систем.
Теперь я знал, что что-то было очень неправильно.
Расследование
Эта веб-страница существует с 2004 года, и я никогда не уделял много времени поисковой оптимизации (SEO).Я стараюсь писать хороший контент, который, как мне хотелось бы, существовал, и поэтому на него будут делиться и ссылаться. Я также стараюсь иметь хорошую разметку и URL-адреса, но это все. Несмотря на отсутствие заметного трафика, поток посетителей за последние годы немного увеличился, поэтому я не видел причин тратить на это много времени. Теперь все изменилось, если я хотел узнать, что происходит. Таким образом, я наконец открыл учетные записи веб-мастеров в Bing, Яндексе и Google.
Расследование не заняло много времени, потому что, когда я попытался проверить индекс Bing, я получил следующее:
О.
Bing — и все, кто использует их индекс — думали, что все мои URL-адреса на самом деле были просто альтернативными версиями индексной страницы, и отказывались их индексировать. Быстрая проверка на Яндексе подтвердила, что это та же проблема. Аккуратный!
Оказывается, это была полностью моя вина, потому что каждая страница на моей домашней странице имела следующий тег:
Что буквально говорит сканерам, что индексная страница является канонической версией того, что они сканируют прямо сейчас.
По какой-то причине он был частью моего базового шаблона. Зачем я его туда положил? Я понятия не имею! Возможно, я использовал неправильную переменную Hugo . Может быть, я думал, что тег означает что-то другое (указывающий мой канонический домен ?). Это было частью более масштабного редизайна, поэтому моя история git тоже не помогла.
В любом случае ущерб был нанесен: со временем, когда сканеры Bing и Yandex проверяли страницу на наличие обновлений, они видели тег и выкидывали страницу из своего индекса до тех пор, пока ничего не оставалось .
Устранение повреждений
Исправление было тривиальным. Мне просто нужно было изменить одну строку в моем базовом шаблоне:
-
+
Я сделал это 24 декабря 2020 года.
Но на то, чтобы оправиться от последствий, у уйдет на больше времени, чем я думал.
Хотя поисковые системы используют автоматических сканеров для поиска нового контента, у них также есть механизмы, которые сообщают им о новом и обновленном контенте.Предположительно, чтобы отправить сканеров вручную, а не ждать, пока они органически заметят изменения, что может занять некоторое время.
Есть хорошо известные файлы, такие как sitemap.xml, есть кнопки с надписью «запросить повторное индексирование», а затем есть веб-API и веб-формы, где вы можете выгрузить списки URL-адресов, которые вы хотите просканировать (снова).
Никто из на самом деле ничего не сделал, за исключением того, что Бинг сказал мне, что они все исправят. Все эти входные данные, по-видимому, рассматриваются в лучшем случае как предложений .
Я повторно отправил свою карту сайта с уменьшенными интервалами обновления, извлек URL-адреса и отправил их для повторной индексации, а также вручную щелкнул некоторые URL-адреса , пожалуйста, повторно проиндексируйте их. Но абсолютно ничего не произошло за недель .
Может быть, мои отчаянные попытки пометили меня как хакера SEO. Возможно, канонический тег — это наихудший сценарий, который радикально снижает приоритет этих страниц. В любом случае стало повседневной рутиной проверять, знает ли Bing, что я существую, и вручную запрашивать переиндексирование моей страницы «О нас».
Мне пришлось подождать до января 4 января 2021 года, чтобы это произошло. Почти две недели попрошайничества и торга. Однако это не значит, что страницы были в результатах! Прошло до февраля , пока поиск моего имени в Bing не начал возвращать мою страницу о себе.
Это также не означает, что всех моих страниц были переиндексированы. Фактически, я мог наблюдать всплывающие страницы в «реальном времени», поскольку Bing заново открывал их в течение следующих нескольких месяцев. На удобной панели инструментов отображается количество проиндексированных страниц:
.Количество проиндексированных страниц с течением времени.
Как видите, несмотря на мои уговоры, потребовалось до марта года, чтобы вся моя домашняя страница снова была полностью проиндексирована.
Итак, в целом, на восстановление после моей глупой ошибки ушло почти за три месяца . Несмотря на то, что имеет тонн, органических высококачественных обратных ссылок.
А как насчет Google?
Я не упомянул Google выше, но это их вина, почему я не заметил этого раньше. Даже сейчас, после исправления ошибок SEO, я получаю примерно 90% поискового трафика от Google.10% трафика — ничто, если от этого не зависят ваши средства к существованию и вы не смотрите на свою аналитику весь день.
Google просто решил проигнорировать тег, потому что страница слишком отличалась от «канонической» страницы.
В некотором роде это напоминает мне войну браузеров, где «лучшим» браузером был тот, который мог максимально раскрыть тарабарщину HTML, которую все выкладывали на Geocities .
Извлеченные уроки
- Если вы думали, что неправильно настроенный DNS требует много времени, подумайте еще раз.
- Google действительно хорошо индексирует веб-сайты. Даже если вы непреднамеренно усложните им задачу.
- Намного меньше (технически подкованных!) Людей используют альтернативные поисковые системы, чем вы думаете. Для это страница , DuckDuckGo — 4%, Bing — 2%, Baidu — 1,3%. Однако 6% — это не повод для насмешек, если веб-трафик ставит еду на ваш стол.
- Если вы управляете веб-сайтом, создайте учетную запись веб-мастера по крайней мере с помощью Google и Bing, чтобы вы сразу узнали о таких проблемах.Не так, как я, годы спустя, случайно. Опять же, Google действительно хорошо умеет заранее сообщать вам о проблемах.
Как работает поиск Яндекс
Поисковая система Яндекса отвечает на запросы пользователей соответствующими веб-документами, которые она находит в Интернете. Однако в настоящее время размер Интернета исчисляется в эксабайтах — квинтиллионах или миллиардах байтов информации. Излишне говорить, что поиск Яндекса не просматривает эту огромную кучу данных каждый раз, когда он отвечает на новый поисковый запрос.Система, так сказать, делает свое дело.
Для выполнения поиска Яндекс использует поисковый индекс, который по сути представляет собой базу данных всех слов и их местоположений, известных поисковой системе. Расположение слова — это комбинация его положения на веб-странице и адреса веб-страницы в Интернете. Индекс поиска похож на глоссарий или телефонный справочник. В отличие от глоссария, который содержит только избранные термины, поисковый индекс регистрирует каждое слово, которое когда-либо встречалось поисковой системе. И, в отличие от телефонной книги, в которой перечислены имена и адреса, поисковый индекс содержит более одного «зарегистрированного адреса» для каждого слова.
Поисковая машина в Интернете работает в два этапа. Во-первых, он сканирует Интернет, сохраняя свою «копию» на своих серверах. Во-вторых, он отвечает на поисковый запрос пользователя, получая ответ со своих серверов.
Прежде чем поисковая система сможет начать поиск, она должна подготовить информацию, которую она находит в Интернете, для поиска. Этот процесс называется индексацией. Специальная компьютерная система — веб-сканер — регулярно просматривает Интернет, загружает новые веб-страницы и обрабатывает их. Он создает своего рода «точную копию» Интернета, которая хранится на серверах поисковой системы и обновляется после каждого сканирования.
Яндекс имеет два сканера: один из них, основной, индексирует все веб-страницы, с которыми он сталкивается, а другой, известный как Orange, выполняет экспресс-индексирование, чтобы гарантировать, что самые свежие документы, в том числе те, которые появились в Интернете. минуты или даже секунды до сканирования доступны в индексе поисковой системы. У обоих поисковых роботов есть «списки ожидания» веб-страниц, которые необходимо проиндексировать. В списки постоянно добавляются новые ссылки, которые поисковые роботы находят на посещаемых ими страницах.Новые ссылки также могут появиться в листах ожидания после того, как владельцы сайтов добавят свои страницы в индекс с помощью сервиса Яндекс.Вебмастер. Администраторы веб-сайтов также могут предоставить дополнительную информацию, например, как часто обновляется их веб-сайт и т. Д.
Перед запуском процесса сканирования специальная программа — планировщик — создает расписание, в соответствии с которым будут посещаться веб-страницы. Планирование основано на ряде факторов, необходимых для поиска информации, таких как популярность ссылок или частота обновления страниц.После того, как расписание составлено, другой компонент поисковой системы — паук — вступает во владение. Паук регулярно посещает страницы по расписанию. Если веб-сайт доступен для паука и работает, программа загружает страницы веб-сайта по расписанию. Он определяет формат (html, pdf, swf и т. Д.), Код и язык загруженного документа, а затем отправляет эту информацию на серверы для хранения.
На сервере хранения другая программа очищает веб-документ от html-разметки, оставляя только текст.Затем он извлекает информацию о местонахождении каждого слова и добавляет все слова в этом веб-документе в индекс.
Исходный документ также сохраняется на сервере до следующего сканирования. Это позволяет Яндексу предлагать своим пользователям возможность просматривать веб-документы, даже если веб-сайт временно недоступен. Если сайт закрывается или веб-документ удаляется или обновляется, Яндекс удаляет его со своих серверов или заменяет более новой версией.
Индекс поиска вместе с копиями всех проиндексированных документов, включая их тип, код и язык, образует базу данных поиска.Чтобы не отставать от постоянно меняющегося характера интернет-контента и быть уверенным, что поисковая система может находить самую свежую и наиболее релевантную информацию в ответ на поисковые запросы пользователей, базу данных поиска необходимо регулярно обновлять. Прежде чем поисковая система сможет найти и вернуть результаты конечным пользователям, каждое новое обновление базы данных сначала отправляется на серверы «основного поиска». Базовые поисковые серверы содержат только существенную часть поисковой базы данных — свободную от спама, зеркальных сайтов или других нерелевантных документов.Это часть поисковой базы данных, которая напрямую отвечает на запросы пользователей.
Обновления базы данных поиска отправляются с серверов хранения основного сканера на базовые серверы поиска в «пакетах» один раз в несколько дней. Это очень ресурсоемкий процесс. Чтобы снизить нагрузку на серверы, данные передаются в ночное время — когда поисковый трафик на Яндексе минимален. Новые части базы данных сравниваются с использованием ряда параметров с последней версией, доступной при предыдущем сканировании, чтобы гарантировать, что обновление не ухудшит качество результатов поиска.