Проверка индексация сайта: Sorry, this page can’t be found.

Проверить индексацию страниц сайта в Яндекс и Google | Массовая проверка индексации сайта в поисковых системах

Большинство оптимизаторов используют для проверки индексации онлайн браузерные бары вроде RDS-bar и других.

Все бары берут эти данные из выдачи поисковых систем c помощью различных операторов и просто «подтягивают» в свой интерфейс.

Но стоит учитывать что данные, полученные таким способом не точные, так как поисковые системы не отдают корректные данные об индексации для больших сайтов. По картинкам выше можно заметить расхождения в данных даже для маленького сайта. Для больших сайтов (начиная от 10 000 страниц) данные по индексации могут очень сильно искажаться!

Как же корректно проверить сайт на индексацию, чтобы данные были точными?

В отличие от сайта целиком, поисковые системы выдают точные данные об индексации каждой конкретной страницы. Следовательно, необходимо взять все нужные страницы сайта и проверить индексацию каждой из них по отдельности, а затем свести все данные вместе для получения целостной картины индексации всего сайта. Это верно как для Яндекса, так и для Гугла.

Большинство онлайн сервисов по проверке индексации дают возможность проверить небольшое количество страниц — от 10 до 100. А что делать, если нужно проверить на индексацию большой интернет-магазин или портал размером 100 000 или несколько миллионов страниц? Для задач такого масштаба в Rush Analytics был запущен модуль проверки индексации в Яндексе и Гугле. Основные преимущества и возможности данного модуля:

• Удобная пакетная загрузка страниц на проверку индексации тремя способами:

а) С помощью списка URL
б) С помощью файла, поддерживаются форматы xls, xlsx, xml
в) С помощью файла Sitemap.xml – просто укажите путь к карте сайта, мы сами спарсим ее, достанем оттуда URL и пробьем их на индексацию!

• Неограниченное количество URL на проверку – вы можете за раз проверить на индексацию от одной,
  до нескольких миллионов страниц!
• Доступна проверка индексации как в Яндексе, так и в Гугле: вы можете отправить свои страницы на проверку только в одной поисковой системе или в обоих сразу, достаточно поставить всего одну галку
• Удобная выгрузка в Excel. Вы можете просматривать данные как в веб-версии сервиса, так и быстро выгрузить их файлом

У нас предусмотрены особые условия для больших сайтов и порталов. Если у вас есть потребность в разовой или постоянной проверке на индексацию в Яндекс и Google от 200 000 страниц, напишите нам в поддержку на [email protected] и мы найдем что вам предложить!

Как проверить индексацию всего сайта и конкретной страницы в Яндексе и Google: инструкция по сервисам и рекомендации

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

 

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

Рассмотрим каждый вариант подробнее.

 

Оглавление:

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

3. Анализ индексации сайта при помощи плагинов и расширений

4. Отслеживание проиндексированных страниц с помощью online сервисов

5. Программы для контроля индексации сайта

6. Проверка индексации страницы

7. Почему сайт может не индексироваться

8. Выводы SEO-специалиста Веб-центра

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».

Добавление сайта в вебмастер Яндекса

 

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Просмотр страниц в поиске Яндекса через панель для вебмастеров

 

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Просмотр количества страниц в поиске на вкладке «Мои сайты»

 

Для анализа список страниц можно скачать из сервиса файлом в форматах .xls и .csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google, вводим url сайта и нажимаем кнопку «Добавить ресурс».

Пример верификации в панели вебмастеров в Гугл

 

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Просмотр страниц в ПС Гугл через панель для вебмастеров

 

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе

 

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса

 

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».

Пример использования оператора «site» в Яндексе

 

Пример использования команды «site» в Гугле

 

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

Пример использования плагина SEO-tools

 

Установить расширение вы можете по ссылке

 

Пример использования расширения RDS bar

 

Установить расширение вы можете по ссылке

 

4. Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».

Скриншот проверки индексации сайта в a.pr-cy.ru

 

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

 

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Скриншот фрагмента анализа сайта в программе Site-Auditor

 

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

• Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».

  Проверяемая страница в поиске Яндекса

  
  

• Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.

  Проверяемая страница проиндексирована в Google

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

Пример использования оператора «url» в ПС Яндекс

 

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Пример использования оператора «info» в ПС Гугл

 

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате .txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name=»robots» content=»noindex, nofollow» />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

 

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле .htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.

Выводы SEO-специалиста Веб-центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

 

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.

Подробно эту тему мы разобрали в видео на нашем Ютуб-канале

Как проверить индексацию страниц сайта в Google и Яндекс

Термин «индексация сайта» сегодня знаком каждому веб мастеру и практически каждому владельцу онлайн-бизнеса. Она влияет на позицию, занимаемую вашим ресурсом в поисковых системах, и, разумеется, когда она выше, пользователи, пребывающие в поисках нужной информации, товаров, услуг, окажутся в числе ваших клиентов с большей вероятностью, ведь увидят вас в числе первых.

Соответственно, неточности индексирования скажутся негативно на рейтинг в ТОП выдачи, или вовсе приведут к тому, что предложение компании окажется за пределами пользовательских запросов. Компания Idea Digital Agency составила краткий гайд для владельцев онлайн-бизнеса. Мы расскажем, как проверить индексацию сайта, и что делать, если он оказался вне поля зрения ботов.

Что такое индексация сайта?

Это процедура, проводящаяся алгоритмами с использованием принципов искусственного интеллекта, с целью определить релевантность данных, их важность для пользователей и актуальность. Проводится она автоматически, а робот в ходе проведения производит определенный порядок действий:

• Находит вас благодаря СЕО-продвижению или при помощи внешних ссылок;
• Переходит по линку и отправляет запрос на получение контента серверу;
• Изучает и оценивает важность содержимого, затем принимает решение об индексировании;
• Отправляет отчет.

В случае положительного решения рейтинг повышается. Если данные признаны неважными, повторной процедуры ждать не придётся до момента исправления недостатков, помешавших роботу выполнить работу.

Зачем нужна индексация сайтов в Google, спросите вы. Ответ прост: только отсканированное и получившее индекс от бота содержимое отображается в пользовательской выдаче на нужных вам позициях. Если по каким-либо причинам аналитика ботов прошла мимо или же URL попали под анализ частично, каким бы замечательным ни был контент, или насколько полезными не оказались товары, клиенты останутся в неведении и получат в выдаче своих запросов ссылки на магазины конкурентов.

Путать понятия сканирование и индекс неправильно. Бот проводит обе процедуры. Сканировать робот может достаточно быстро, а индексирование — более длительный процесс.

Как ускорить индексацию сайта, рассмотрим подробно далее, но главное в принципе работы ботов-пауков — сканирование HTML-кода. Поэтому важно не только подготовить релевантный контент для страницы, но и правильно прописать основные теги, включая заголовки разных уровней, метатеги Title и Description. Эту задачу лучше доверить профессиональным оптимизаторам, если важен 100% результат.

Как проверить индексацию сайта

Если вы не уверены, прошел ли URL сканирование, отмечаете низкую посещаемость, ищете причины невысокой конверсии, стоит запустить проверку URL в Гугл и Яндексе на правильность обработки и ее наличие. Доступны несколько способов, как это сделать, и любой способ имеет свои преимущества. Рассмотрим каждый подробнее.

Проверка в панели вебмастеров

Индексация сайта в Гугле и Яндексе возможна стандартным инструментом — Панелью Вебмастера. Для каждой популярной системы существует прописанный алгоритм действий. Мы рассмотрим его для двух основных, используемых в нашей стране.

• Проверка в Google проводится через Search Console. Выберите раздел «Обзор» в консоли, откройте графический отчёт «Покрытие». На графике вы сможете увидеть количество проиндексированных безошибочно объектов (зеленый график) и те, с которыми возникла ошибка (красный график). Увидеть подробный отчёт об основных файлах можно переходом в соседнюю вкладку с отчетом.

• Как проиндексировать сайт в Яндекс? Понадобится авторизоваться в сервисе Яндекс.Паспорт. Заходите непосредственно в сервис вебмастеров «Яндекс. Вебмастер», выбирайте параметр «Индексирование», далее — два пути: либо выбрать параметр «Страницы в поиске», либо его же в истории вебмастера. На полученном графике вы сможете отследить историю. График идёт по экспоненте без резких колебаний — это хороший признак: SEO продвижение сайта идёт правильно. Если график неровный, напоминающий кардиограмму, это явный признак ошибок в анализе: их обязательно нужно исправить.

В случае, когда проверка сайта Гуглом или Яндексом показывает нелицеприятные результаты, стоит удостовериться, что он не закрыт для их внимания и устранены базовые проблемы.

Материал по теме: Google Search Console: как добавить сайт и лайфхаки для SEO

Проверка через операторы в поисковых запросах

Индексация сайтов в Google отображается и в самом поисковике. Для изучения количества проиндексированных данных в целом можно использовать оператор site:. Алгоритм в этом случае проще простого: нужно добавить точный линк или доменное имя в Гугл, проставив перед адресом site:. После него без пробелов скопируйте полный линк. Посмотрите на выдачу.

Кстати, нелишним будет выполнить сравнение: запустите поиск в Яндекс и Гугл одновременно, если количество результатов выдачи будет существенно различаться, это признак того, что есть не выявленные ошибки, требующие исправления.

Чтобы получить более детальный анализ в Google можно зайти в раздел «Инструменты поиска»: так вы сможете увидеть, какое число линков было обработано с присвоением индекса за определенный период времени.

Параллельно рассмотрим, как проверить индексацию сайта операторами по каждому разделу.

• Стандартная схема — всё тот же site:. Вставьте после него полную ссылку и просмотрите результат. Отсутствие результата — верный признак того, что страница не индексируется.

• В этом случае можно задействовать специальные операторы. Для Гугл это – inurl:. Для Яндекса – url:. При обработке запроса с этими операторами положительный результат означает, что раздел всё же проиндексирован, отрицательный — его отсутствие в аналитике ПС.

С этой же целью можно выполнить такое простое действие, как посмотреть кэш Гугла. Для этого достаточно находясь на выбранной странице в поисковой строке перед URL прописать оператор cache и нажать энтер.

Проверка через плагины и букмарклеты

Узнать информацию можно и без непосредственного взаимодействия с поисковыми системами и их Консолями. Достаточно задействовать плагины или букмарклеты — небольшие приложения, которые устанавливаются непосредственно в браузер. Можно использовать такие плагины, как RDS bar или SEO Magic. Кроме них, существуют и другие микро-программы, с которыми массовая проверка индексации страниц будет минутным делом.

Анализ через сервисы для проверки индексации

Некоторые разработчики софта предлагают готовые решения, как узнать статус в ПС. Часть из них предлагается на платной основе и позволяет вытянуть сразу множество данных для анализа. Есть и более простые, shareware сервисы. В них может присутствовать ограничение по количеству линков, либо они могут иметь ограниченный функционал, но базовые данные они вполне могут вам предоставить. К таким сервисам относятся serphunt.ru и raskruty.ru. Для их применения достаточно перейти по адресу и следовать простым инструкциям.

Платные версии сервисов предлагают такие компании, как serpstat, Netpeak, Se Ranking (у последних сервис условно бесплатный, но только при условии, что вы уже подписаны на один из платных тарифов).

Как проверить индексацию конкретной страницы

Как и в случае с аналитикой в целом, проанализировать каждую страницу по отдельности можно через Search Console Гугла. Сделать это очень просто: скопируйте линк и вставьте в строку поиска Консоли. При положительном ответе появится соответствующее информационное окно.

Если ответ отрицательный, вы можете отправить ее повторно при помощи кнопки «Запросить индексирование».

Также определенные URL можно протестировать через поисковик с оператором site:, url/inurl. И, конечно, такая опция присутствует в платных сервисах или плагинах для анализа.

Почему не индексируется сайт, основные ошибки

Предупреждён — значит, вооружён, считаем мы. Поэтому важно знать и о главных причинах, по которым поисковые боты игнорируют вас и не индексируют целиком или отдельные разделы.

• Часто проблема банальна: онлайн-проект только создан, и поисковые пауки ещё не добрались до него. При статистике создания новых объектов в интернете, такая ситуация не редкость. Поэтому иногда не стоит паниковать, достаточно проявить терпение и регулярно просматривать, не появились ли ваши страницы в индексе.
• Отсутствие sitemap — не критичный, но не лучший вариант. Если вы не предоставили роботам готовый гайдлайн, они могут выборочно проиндексировать несколько рандомных страниц, а остальные упустить из виду или проигнорировать.
• Ошибки в страницах: отчеты Google Search Console игнорировать не стоит. Они показывают текущие ошибки страниц, которые, в свою очередь, могут привести к сбоям обработки поисковыми роботами.
• Недостаток контента — повод для отклонения. Контент — это не только текстовое наполнение, но и всевозможные медиа-объекты, расположенные на странице.

• Проблемы с robots.txt. Если для мета-тега случайно был присвоен атрибут noindex, поисковые пауки его не смогут найти. Аналогично с тегом X-Robots, который мог быть проставлен, как Noindex при тестировании или выставлен случайно. В общем, файл «роботов» стоит тщательно изучить на наличие лишних символов или атрибутов.
• Низкая уникальность контента — тоже провоцирует на отказ. Если даже вы выступаете первоисточником контента, но при этом ваши конкуренты «слизали» его и ускоренно проиндексировали свой ресурс, приоритет получат они, а не вы.
• Наличие дублей страниц для Search robots — тоже тревожный сигнал.

Также для отслеживания причин игнорирования ботами можно посмотреть статистику: возможно, причина в низкой скорости загрузки.

Инструкция по ускорению индексации сайта

Индекс поисковиками — насущный вопрос. И ускорить его стоит всеми возможными способами. А их существует не так уж и мало. Перечислим наиболее эффективные:

• Обязательно создайте sitemap — это путеводитель для роботов-поисковиков.
• Если карта уже есть, не забывайте ее регулярно обновлять, чтобы новые страницы и обновленный контент тоже оказывался проиндексированным.
• Следите за уникальностью контента. Удаляйте тот, который показывает низкую уникальность.
• Следите, не осталось ли дублей страниц после разработки.
• Сбои при переходе по линкам и ошибочные редиректы только запутывают “пауков”.
• Постоянный контроль robots.txt — это практически профилактика здоровья вашего бизнеса онлайн.
• Отладка страниц на предмет скорости поможет ускорить процесс. Поэтому займитесь этим тоже.
• Разумное распределение ссылок на ресурсах-донорах и внутри самого ресурса позволит алгоритмам попасть к вам быстро и точно. Для этого обновлённые разделы анонсируйте в социальных сетях, выбирайте подходящих доноров и логичную перелинковку на ресурсе.
• Регулярные обновления — это сигнал роботам, что вы живёте и развиваетесь. Запомните это.

Материал по теме: Как проверить и увеличить скорость загрузки сайта?

Как закрыть сайт от индексации?

Есть ситуации, когда необходимо выполнить и обратное действие — не дать индексировать вас. Удалить страницу из поиска Гугл и закрыть ее от внимания ботов можно при помощи внесения соответствующих команд в robots.txt.

Для этого используется команда Disallow.

С её помощью можно закрыть как все целиком, так и отдельные директории, картинки или медиа-контент.

Аналогично можно установить запрет и через кабинет веб-мастера. В различных CMS это может быть реализовано в разных позициях меню, но в целом вполне реализуемо.

И, конечно, можно запросить доступ по паролю на уровне настроек сервера.

Заключение

Загадочная процедура, о которой мы рассказали, не так уж страшна, как кажется на первый взгляд. Она полезна для всех ресурсов, за исключением еще не запущенных в работу или уже устаревших. И поэтому отследить отсутствие файлов, очень важно. Мы надеемся, что наша статья окажется для вас полезной, и ваш онлайн-проект будет точно индексироваться и отображаться на самых верхних позициях выдачи в поисковиках.

Как проверить индексацию сайта в Google (руководство)

Содержание:

Панель вебмастеров

Поисковые операторы

Плагины и букмарклеты

Сервисы проверки индексации

Заключение

Качество индексации сайта в процессе его раскрутки может иметь решающее значение. Под индексацией следует понимать попадание информации со страниц сайта в базу данных поисковой системы. Поисковый робот или краулер – средство сканирования сайта. Он пробегает по всей его структуре в рамках установленного лимита (краулинговый бюджет), совершает быстрый скан и добавляет найденную информацию в индекс.

При этом само сканирование не занимает много времени. Обращаясь к файлу robots.txt, бот поисковика действует согласно пунктам приватности, указанным в настройках файла. Так что это быстрый процесс. Другое дело сама индексация. Скорость добавления данных зависит от ряда факторов, поэтому важно держать этот процесс на контроле.

Отсюда возникает вопрос — какая именно информация попала в базу поисковика? Ведь от этого напрямую зависит «видимость» страниц сайта в поисковой системе. И как проверить качество индексации сайта поисковиком? Рассмотрим основные методы, которые применяют СЕО-специалисты в данном вопросе на примере поисковой системы Google.

Наиболее надёжным способом проверить индексацию сайта в системе Google является панель вебмастеров. Для этого надо иметь доступ к оной. Если таковая возможность у нас есть — заходим, ищем меню Search Console, где находим вкладку Индекс Google. Там выбираем Статус индексирования.

Как можно догадаться, так выглядит динамика стабильности с последующим снижением количества страниц в базе поисковика. Налицо проблема с индексацией. Причиной могут быть настройки в файле robots.txt, и не только.

Рядом с отметкой «Проиндексировано всего» указано число адресов, найденных роботом поисковика Гугл в ходе сканирования, и добавленных в индекс. Число URL индексации всегда намного меньше, чем общее количество обработанных адресов. Причина понятна – в индекс не добавляются повторы URL, а также те адреса, что защищены от доступа строкой Disallow в файле robots.txt и метатегом noindex в секции head разметки html.

В расширенном виде Search Console в Google можно увидеть ещё 2 пункта проверки. Это количество URL, которые были заблокированы через robots.txt, а также число удалённых адресов.

Плохо не только резкое снижение количества добавленных в индекс URL. Резкий скачок вверх говорит о засорении процесса индексации. Оптимально, когда кривая плавно стремится вверх. Таким образом, с помощью панели вебмастера в Гугл можно легко проверить степень качества и баланса индексации страниц.

Поисковая система Гугл обладает набором подручных средств, которые помогают детализировать вводимый в поисковую строку запрос по сайту. Это так называемые поисковые операторы. Они позволяют быстро получить определённую информацию по индексации страниц, проверить степень их обработки поисковым роботом как в целом, так и в деталях.

Перечислим некоторые из операторов Google, к которым часто прибегают SEO-специалисты с целью уточнить результаты поиска и проверить уровень взаимодействия сайта с поисковыми ботами.

Оператор Site выводит список страниц, занесённых в индекс. Пример – site:[адрес сайта]. Это удобно не только для анализа своего сайта, но и при анализе страниц конкурентов ниши.

Оператор Intitle показывает страницы с заданным целевым словом или фразой в заголовках (тайтлах). Пример: intitle:[индексация сайта]. «Индексация сайта» в данном случае — искомая фраза.

Ещё один важный оператор Cache позволяет проверить частоту посещения сайта поисковым роботом. Оператор Inanchor предназначен для вывода количества страниц со ссылками с участием ключевого слова. Есть ещё немало полезных операторов – Link, Related, Inurl, Info.

Система Google располагает множеством средств, позволяющим проверить степень видимости страниц поисковиком.

Поисковая система Гугл прекрасно контактирует с множеством плагинов и скриптов. Последние имеют разновидность, которая называется букмарклет. Букмарклеты могут работать как закладки в браузере наравне с плагинами.

Использование плагинов и букмарклетов позволяет в пару кликов проверить индексацию сайта и другие его характеристики.

Среди плагинов Google, применяемых SEO-специалистами для анализа страниц, отметим SimilarWeb, MozBar и RDS bar. Ниже приведён пример работы плагина RDS bar в Гугле и Яндексе. Можно посмотреть степень индексации станиц и другую информацию.

Букмарклеты для проверки индексации работают в аналогичном стиле. Есть такие скрипты, как Google Index и Google URL Index. Первый позволяет проверить индексацию через оператор site, а второй – через оператор info.

Специальные сервисы-анализаторы облегчают работу СЕО-специалиста. Их существует превеликое множество. Среди таковых особенно отметим saitreport.ru, Netpeak Spider и Netpeak Checker, SEO-reports, Rush Analytics, Топвизор и FastTrust.

Обобщённо говоря, эти средства позволяют проверить индексацию сайта, провести диагностику возможных проблем. Среди прочих функций – скан наличия страниц в каталогах поисковика, проверка ключевых слов, информация о динамике ссылок, общий анализ позиций сайта.

Не всегда уровень индексации сайта может нас устраивать. Причины низких результатов сканирования страниц поисковым роботом могут заключаться в следующем:

1. Не добавлена карта сайта в панель Вебмастеров.
2. Наличие ошибок в структуре страниц.
3. Наличие тега noindex в HTML-коде страниц.
4. Блокировка доступа в файле robots.txt.
5. Новый сайт.

Чтобы достичь идеального уровня индексации сайта, требуется совпадение ряда условий. Это непростая задача, учитывая высокую динамику развития алгоритмов поисковых систем, что не отменяет важности контроля. На примере поисковой системы Гугл мы выяснили, что проверить индексацию можно с помощью: Google Webmaster, операторов поиска Гугл, плагинов и букмарклетов для Google и Яндекс и сервисов проверки индексации.

Ускорение индексации сайта поисковыми системами: подробная инструкция

Перед тем, как поисковики включат статьи и товары с продвигаемого вами сайта в выдачу по запросам пользователей, страницы должны пройти через процесс индексации. Что такое индексация сайта? Она заключается в обходе ресурса поисковыми роботами. Они представляют собой специальные программы для посещения сайтов. Их задача заключается в считывании контента. Впоследствии найденные тексты будут добавлены в базу данных поисковой системы (ПС). Задача этой базы — обрабатывать и хранить текстовые материалы и другой контент всех проиндексированных сайтов. От скорости и полноты проведения индексации зависит широта представления сайта в поисковой выдаче, высота занимаемой позиции и, в конечном итоге — количество посетителей.

О том, как правильно настроить индексацию в Яндекс и Google рассказываем в этой инструкции.

Какую информацию собирают роботы

Индексация сайта в поисковых системах — это больше, чем просто копирование информации с ваших страниц в базу поисковой машины. Для того, чтобы в результаты поиска попадала только важная для пользователя информация, роботы осуществляют фильтрацию содержимого, удаляя все лишнее: рекламу, элементы навигации и одинаковые для всех страниц блоки. Также выясняется структура документа (разделы, подзаголовки), проводится семантический разбор текста, для определения его релевантности тем или иным запросам.

У роботов есть и специализация: некоторые отвечают за текстовый контент для основной и «быстрой» выдачи (как правило — для новостных сайтов), другие — за картинки для разделов ПС (Яндекс.Картинки и аналогичный сервис у Гугла). Существуют и специализированные алгоритмы для слежения за ссылочным профилем, оценки мобильных версий сайтов и медиа-контента.

Как страницы попадают в индекс

Перед тем как начнется индексация в Гугл, Яндекс и других поисковиках, каждая ПС должна получить сведения о появлении нового ресурса. О существовании страницы можно узнать несколькими способами:

1. Перейдя по ссылкам на просматриваемом сайте. Чем больше исходящих ссылок ведут на документ, тем больше шансов, что он будет проиндексирован в приоритетном порядке.
2. XML-документ со специальной разметкой — карта сайта, является источником ссылок, с которым будут сверяться роботы при планировании обхода.
3. Информация полученная из систем аналитики Яндекс Метрика и Google Analytics также учитывается при планировании обходов. При подключении этого функционала данные о странице будут отправляться напрямую в сервис индексации как только кто-то откроет на сайте неизвестный ранее ПС документ. Единственное требование к нему — он обязательно должен содержать код отслеживания.
4. Автор сайта может самостоятельно отправить страницу на индексацию, воспользовавшись специальной формой в панели управления сервисами ПС.

Управление индексацией

Несмотря на то, что индексация страниц полностью автоматизирована, от усилий вебмастера зависит полнота и скорость этого процесса.

Добавление сайта

Первый шаг всегда заключается в добавлении сайта в специализированные сервисы ПС. Вебмастер — для Яндекс и Search Console для Гугл.

Добавление сайта в Вебмастер выполняется в несколько простых шагов:

Если сайт работает по HTTPS, указывайте домен вместе с протоколом:

Второй этап — подтверждение прав на домен. Необходимо воспользоваться одним из предложенных способов. Самый простой из них — скачать html-файл и разместить его в корне сайта.

Индексация сайта в Яндекс начнется в течение нескольких дней после добавления домена. Первые результаты, включая данные о количестве проиндексированных страниц, станут доступны после следующего обновления поисковой базы.

Для Google Search Console процесс выглядит схожим образом:

Единственное отличие заключается в возможности добавить сразу все ресурсы на домене (мобильные версии сайтов, все протоколы и поддомены), но для этого нужно иметь доступ к редактированию записей NS-сервера, что возможно далеко не у каждого хостера.

Файл robots.txt

Этот простой по своей структуре файл позволяет управлять поведением роботов. С его помощью можно как исключить сайт из поиска и полностью запретить индексацию сайта, так и повысить результативность индексирования и продвижения, ограничив доступ роботам к тем страницам, где нет ценного контента.

В рассматриваемом примере все системные папки движка Joomla закрыты от индексирования с помощью конструкции Disallow. Чтобы явно разрешить доступ к какому либо элементу, нужно использовать Allow.

У файла есть и другие интересные особенности. Например, такие, как закрыть сайт от индексации только в определенной поисковой системе. Для этого используется специальная конструкция User-agent. Если после нее указать наименование конкретного робота — Googlebot или Yandex, то все последующие инструкции будут предназначены только для указанной ПС. Как заблокировать сайт в гугле и разрешить индексацию только в Yandex? Достаточно использовать следующую конструкцию

User-agent: Googlebot

Disallow: /

User-agent: Yandex

Allow: /

User-agent позволяет лучше соответствовать требованиям поисковых систем. Тот же Google предлагает разрешить его ботам индексировать файлы скриптов и стилей. Самый простой способ сделать это — добавить всего две лишние строчки в robots.txt

User-agent: Googlebot

Allow: *.css

Allow: *.js

Важно! В зависимости от используемой CMS нужно определить страницы, которые наверняка будут содержать дубли уже размещенной информации (результаты поиска, например) или никогда не обзаведутся полезным для пользователя контентом (страницы входа, регистрации). Доступ к этим страницам нужно запретить в robots.txt, чтобы улучшить результаты индексирования.

Проверить отредактированный файл на правильный синтаксис и узнать, разрешен ли конкретный URL можно в Яндекс Вебмастере:

Noindex и Nofollow

Использование мета-тэгов для ссылок позволяет указывать роботам, что делать на конкретной странице, и стоит ли проводить индексацию сайта в Google, Яндекс и любой другой ПС, которая поддерживает работу с такими тэгами.

• INDEX, FOLLOW — содержимое страницы можно добавлять в индекс, также необходимо перейти по всем ссылкам;
• INDEX, NOFOLLOW — страница должна попасть в индекс, но переходить по ссылкам не нужно;
• NOINDEX, FOLLOW — страница не попадет в индекс, но робот пройдет по всем ссылкам на ней;
• NOINDEX, NOFOLLOW — вся страница целиком и ссылки на ней запрещены к индексированию и переходам.

Популярные CMS позволяют устанавливать такие тэги для отдельных документов, категорий и пунктов меню. Для отдельных ссылок также можно использовать noindex. В этом случае роботы будут обязаны не включать в базы содержимое целевого документа.

Карта сайта

Чтобы индексация сайта в Гугл, а также в Яндексе прошла максимально быстро, нужно указать поисковым системам ссылки на наиболее важный контент. Конечно, можно делать это вручную (об этом — ниже), но постоянное появление новых страниц на продвигаемом ресурсе приведет к необходимости ручного добавления страниц, что не слишком удобно. Карта сайта — решение этой проблемы. Она представляет собой XML документ с определенной разметкой, который размещен по известному ПС адресу. Роботы посещают этот адрес и моментально получают информацию о появлении новых ссылок на вашем сайте.

Для подготовки карты сайта лучше воспользоваться специализированным расширением для CMS, которое будет автоматически обновлять содержание XML при создании новых статей и разделов. Структура сайта допускает указание периода обновления для различных страниц и приоритета в индексации. Оба эти параметра носят рекомендательный характер, поскольку ПС самостоятельно измеряют временные интервалы между датами изменения и посещают чаще те страницы, где они фактически происходят быстрее.

Как ускорить индексацию сайта в Яндексе? Нужно добавить карту сайта через панель Вебмастера и дождаться обхода роботом ссылок.

В Google Search Console также есть специализированный раздел:

Не лишним будет и указание ссылки на Sitemap в файле robots.txt с помощью конструкции:

Sitemap: https://vash_sait/путь_к_sitemap.xml

Поисковики могут и проигнорировать эту запись, полагаясь только на информацию из файлов, добавленных вручную через панели управления.

Учет страниц из Метрики

Подключение счетчика Метрики и его связь с сервисом ЯндексВебмастер позволяет значительно ускорить процесс индексации сайта в Яндекс благодаря автоматической передачи сведений о страницах из кода счетчика.

При установке на сайт кода Google Analytics (GA) также можно передавать сведения о новых страницах в Search Console. Для этого нужно войти под своей учетной записью и связать сервисы, перейдя по ссылке в уведомлении.

Важно! Предложенный метод позволяет как ускорить индексацию в Яндексе и Гугле, так и значительно замедлить этот процесс. Все зависит от настройки файла robots.txt и особенностей работы вашей CMS. Если система управления контентом генерирует большое число динамических страниц (фильтры товаров в интернет-магазинах, результаты поиска) при выполнении запросов пользователей, то перед подключением обхода по данным Метрики нужно обязательно исключить такие страницы из индексации.

Добавление URL вручную

Для ускорения индексации наиболее важных страниц сайта можно добавлять их в индекс вручную. В Search Console нужно вставить ссылку в верхнее поле поиска и дождаться получения информации из индекса:

Если страница еще не попала в базу, можно запросить индексирование, нажав соответствующую кнопку на странице с результатами поиска. Таким образом можно также проверить индексацию сайта в гугле, любой его страницы или документа.

В ЯндексВебмастер есть аналогичный функционал. С его помощью можно не только узнавать статус индексации, но добавлять страницы в обход вручную.

Достаточно указать список URL и отправить их на переобход. Даже если адрес пока неизвестен роботу, он посетит указанные ссылки.

Как проверить индексацию сайта

Чтобы проверить индексацию страницы в Яндексе нужно перейти в раздел «Проверить статус URL» и указать адреса, по которым нужно получить информацию из индекса.

Добавление страницы в список отслеживаемых позволит получить уведомление о том, что страница добавлена индекс и поиск, а также о важных изменениях в ее статусе (редирект, ошибка 404).

Проверка индексации страницы в Яндексе может быть проведена и с помощью запроса на странице поиска, но этот метод позволяет получить информацию только о тех из них, которые уже попали в поисковую базу. для этого используется конструкция

site:ваш_домен.ru

Метод одинаково работает в ПС Яндекс и Google.

Проверка индексации страницы в Google возможна через поиск Search Console. Единственный минус такого решения: URL придется вставлять по одному. У Яндекс допускается загрузка списков из 20 ссылок.

Методы ускорения индексации

Как проиндексировать сайт в Гугл и Яндекс, чтобы процесс происходил быстро, а в индекс попадали только те страницы, которые впоследствии будут учитываться в поиске? Нужно придерживаться нескольких простых правил:

1. Настроить индексацию в robots.txt таким образом, чтобы исключить дублирование страниц и исключить из обхода все служебные разделы сайта, не содержащие информации для пользователей.
2. С помощью тегов Noindex и Nofollow закрыть конкретные ссылки и документы, которые не должны попасть в базу поиска.
3. Сформировать и подключить карту сайта.
4. Оптимизировать структуру каталогов и упростить навигацию, чтобы путь до самых важных документов был как можно ближе к корню сайта.
5. Организовать внутреннюю перелиновку статей таким образом, чтобы путь робота по ссылкам не содержал коротких петель (два документа ссылаются только друг на друга) и охватывал максимально возможное количество ценных для пользователей материалов.

Все эти действия можно провести самостоятельно, но чтобы избежать ошибок, которые пагубно скажутся как на скорости индексации ресурса, так и на его представленности в результатах поиска лучше доверить их профессионалам. Узнать о стоимости услуг оптимизации сайтов можно по этой ссылке.

Что такое индексация сайта и как ее быстро проверить

Содержание статьи

Какой бы сайт вы ни создавали, его разработка — только половина дела. Дальше начинается самое интересное — продвижение. Ведь необходимо сделать так, чтобы сайт высвечивался в выдаче на определенный запрос. А как узнать, будет ли он отображаться? Для этого выполняется проверка индексации.

Узнаем, что такое индексация, как она происходит, в чем отличия индексирования разными поисковыми системами. Об этом и даже больше пойдет речь в сегодняшней статье.

Что такое индексация сайта в поисковых системах

Индексация представляет собой процедуру сбора, проверки и сохранения данных о конкретном ресурсе в базе поисковиков. Этим занимаются роботы, которые полностью обходят сайт и с учетом своих алгоритмов собирают сведения. При этом само сканирование может выполняться быстро, а вот на попадание в поисковый индекс зачастую нужно больше времени.

Читайте также: Как добавить сайт в поисковые системы.

Как происходит индексация?

Чтобы понять лучше принципы этого процесса, стоит детальнее рассмотреть два основных этапа работы поисковиков.

Сканирование

Это главное задание бота. При входе на новую страницу робот получает 2 набора данных:

• содержимое, сведения о сервере и служебные данные;
• список ссылок на странице.

Все это направляется дальше на обработку и сохранение. Ссылки, которые попали под сканирование, тоже сохраняются в отдельном разделе «Очередь сканирования». И когда робот добавляет страницу в очередь индексации, а она уже здесь стоит, ей отводится близкое место в очереди. Следовательно, процесс проходит быстрее.

Таким образом, первый эффективный метод ускорить сканирование — нарастить число ссылок на требуемые страницы.

Второй и наиболее простой способ улучшить индексацию — сделать sitemap.xml. Тем самым вы покажете поисковику то, что требуется отсканировать страницы на домене.

Третий способ ускорения индексации — сообщить роботу о дате последних изменений на странице. Для этого бот задействует сведения из заголовка ответа сервера lastmod. Отправить сведения об изменениях получится посредством кода not modify. Для настройки кодов нужно будет запросить помощь веб-разработчика.

Обработка данных

До сохранения сведений в базе они обрабатываются и приводятся в нормальную структуру, что нужно для последующего быстрого поиска. На начальном этапе сервис формирует страницу, учитывая стили, скрипты и т. д. В ходе этого программа видит местонахождение элементов на странице, находит открытые и закрытые для посетителей части, делит страницу на навигацию и контент.

Важный момент. У поискового робота должен быть доступ к css и js. В противном случае он не поймет структуру страницы. Чтобы узнать, есть ли этот доступ, войдите в консоль от «Гугл» — отчет «Посмотреть как Googlebot» — «Сканирование». Здесь выполните проверку страниц ресурса и найдите отличия ее отображения для бота и посетителей.

Как индексируют сайты «Яндекс» и Google

На просторах нашей страны эти поисковики популярные, поэтому ресурсы добавляются в их базу. Но нужно еще учитывать, что индексация сайта в поисковых системах «Яндекс» и Google имеет некоторые отличия.

Например, специалисты отмечают более низкую скорость действия ботов российского поисковика. Но при этом индексация сайта в «Яндексе» направлена на действительно полезные материалы, а все лишние отсеиваются. Кроме того, поисковик ориентирован на поиск по запросам из конкретных местоположений. Впрочем, как раз региональность сильно отличает «Яндекс» от «Гугла» и этим самым требует специфического подхода к seo-продвижению.

Особенность Google — в его универсальности. Ведь поисковая система работает по всему миру, а не только в странах СНГ и РФ. При этом алгоритмы Google меняются со скоростью света, но вот такой важный показатель, как вес страницы, по сей день имеет значение в ранжировании. Он находится в категории главных параметров, по которым можно индексироваться. Из последних актуальных тенденций — mobile-first. Поисковик очень большое значение отводит качеству мобильных версий сайтов. Причем даже так: сперва мобильная, потом — десктопная. То есть для ускорения индексации нужно хорошо адаптировать ресурс под разные устройства.

С учетом особенностей работы Google скорость индексации относительно высокая. Новые страницы почти моментально появляются в выдаче, как только поисковые роботы их оценили. Если сайту дана позитивная оценка, практически со 100% вероятностью индексация страницы пройдет успешно.

Как долго сайт может индексироваться

В справке Google есть упоминание о том, что индексация страниц сайта занимает от нескольких дней до недель. Порой процесс затягивается на месяцы. И даже если вы будете повторно отправлять запросы на сканирование одного и того же урла, это не принесет особого результата.

Что касается внесенных на странице изменений, точных данных о времени индексации тоже нет. Поисковые роботы действуют в определенном темпе, и кроме частоты обновлений, они берут во внимание прочие факторы. Чтобы бот заходил на вашу страницу как можно чаще, добавляйте новую информацию.

Как ускорить индексацию страницы

На этот процесс вы в силах частично повлиять. Ведь скорость индексации определяется рядом конкретных факторов:

• авторитетность ресурса и его польза;
• никаких ошибок при индексации;
• качество наполнения;
• внутренние и внешние ссылки;
• корректность заполнения файлов и т. д.

Чтобы страница индексировалась быстрее, вы можете выполнить такие действия:

1. Выбрать хороший хостинг.
2. Поставить вручную ресурс на индексацию.
3. Правильно выполнить настройку robots.txt;
4. Создать файл карты сайта и оставить его в корне кода.
5. Проверить качество текстов и вхождение в них ключевиков.
6. Периодически добавлять новые материалы на сайте, настроив при этом перелинковку.
7. Доработать навигацию с упором на принципы юзабилити.
8. Выполнить внешнюю оптимизацию.

Есть еще одна полезная фишка: сжимайте картинки, поскольку тяжелые тормозят загрузку страницы. А скорость — один из важнейших факторов ранжирования.

Когда стоит переиндексировать сайт или страницу?

Переиндексация означает повторный обход страницы поисковыми ботами и обновление сведений о ней в кэше. Отправка запросов на сканирование необязательна, но с ее помощью вы можете ускорить вход робота на ваш ресурс. Учитывайте, что бот в любом случае автоматически будет возвращаться, чтобы прочесть обновленную на нем информацию. Таким образом, вы по факту можете «пригласить» его на сайт вручную, но в этом нет особого смысла. До сих пор на 100% неизвестно, сказывается ли это на скорости.

Как проверить индексацию сайта

Ознакомимся с ключевыми способами, которые помогут проверить индексацию конкретной страницы в поиске.

Проверка индексации в «Гугле»

Авторизуйтесь в Google Search Console, скопируйте урл и нажмите кнопку «Добавить ресурс»:

Когда подтвердите права на сайт, последуйте по пути «Индекс» — «Покрытие»:

Только обязательно берите во внимание то, что в инструменте данные приблизительные. Отчет отображает статистику последнего обхода. В итоге число страниц может быть иным, чем при текущей оценке.

Проверка индексации в «Яндекс»

Сначала войдите в свой аккаунт на «Яндекс.Вебмастер» и перейдите в сервис «Вебмастер». Здесь укажите урл и кликните «Добавить»:

Когда верификация завершится, перейдите в панель и кликните «Страницы в поиске». Здесь будут те урлы, которые есть в выдаче «Яндекса»:

Еще количество проиндексированных страниц доступно в разделе «Мои сайты»:

Проверка посредством операторов

Посредством оператора «site» тоже можно просмотреть приблизительное число страниц в индексе. Чтобы использовать параметр, укажите в адресной строке «site:адрес_нужного_сайта». К примеру: site:https://wezom.com.ua/:

Анализ индексации через плагины и расширения

Можно обойтись без ввода операторов в браузерной строке. Скачайте букмарклет для браузера и нажмите на кнопку, находясь на требуемой странице:

Применение онлайн-сервисов

Показываем еще один метод, как проверить индексацию всего сайта посредством сторонних инструментов. Например, a.pr-cy.ru. Перейдите на этот сайт, укажите урл и кликните «Анализировать»:

Мы видим результаты:

Как часто стоит проверять индексацию сайта

Поисковики воспринимают ресурсы не так, как реальные посетители. В отличие от людей, они видят всю подноготную сайта. И если вовремя не остановить бота, он начнет сканировать абсолютно все страницы, в том числе и не очень желательные.

Нужно учитывать и ограниченные ресурсы работы ботов. За конкретное время поисковик обходит определенное число страниц. Если у вас полно мусорных урлов, есть вероятность, что бот потратит время именно на них. В итоге важные останутся «на потом».

Отсюда вывод: проверять проиндексированные страницы сайта и управлять им необходимо. Конкретная частота особого значения не имеет. Можете выполнять проверку тогда, когда вам хочется и есть на это время. Главное — не забрасывать процесс.

Что делать, если сайт плохо индексируется?

Сперва узнайте, закрыт ли сайт от индексации. Это доступно через Google Search Console. Сначала скопируйте урл страницы, перейдите в инструмент и в поле «Проверка URL на ресурсе» вставьте адрес.

В итоге у вас на руках будут данные о запрете индексации

Если обнаружили закрытые страницы, которые уже пора отправить на индексацию, дайте к ним доступ.

Далее можете воспользоваться такими советами:

• создайте карту сайта и добавьте в инструменты для вебмастеров;
• наполните новым контентом или уберите полностью пустые страницы;
• добавьте внешние ссылки с внешних ресурсов.

Упоминалось, что на индексирование влияют многие факторы. Пройдитесь по ним, если видите проблемы с процессом. Но не забывайте о том, что все это занимает время, и ждать, что индексация сайта в поисковых системах будет чрезмерно быстрой, не стоит.

Как запретить индексацию сайта или отдельной страницы

Вы можете закрыть ресурс или определенную страницу от индексации. Зачем это делать? Дело в том, что поисковым роботам нравятся не все страницы. Тем более некоторые могут находиться в это время в разработке. Таким страницам точно лучше пока не попадаться ботам на глаза. Для этого вам достаточно запретить индексацию одним из предложенных способов:

1. Командой Disallow в robots.txt. Здесь задаются правила для ботов: какие страницы разрешено сканировать, а какие под запретом. Задайте команду Disallow затем, чтобы закрыть доступ для поискового робота.
2. Тегом noindex в HTML-коде страницы. Один из наиболее легких способов. Вы запрещаете боту индексировать определенную страницу или тип страниц.
3. Авторизацией. На некоторых страницах можно закрыть доступ посредством формы авторизации. Этот способ считается наиболее надежным, поскольку в случае с командой Disallow и тегом noindex сайт все же может оказаться в выдаче. Это актуально для тех страниц, на которые идут ссылки с других.

Возможность закрытия страницы от индекса необходима в работе с ресурсами. Обязательно пользуйтесь такой опцией, чтобы более результативно раскручиваться в поисковой системе.

Резюме

Мы узнали, как происходит индексация сайта, каким образом ее проверить, как установить ограничения на сканирование страниц. Изучили также главные факторы, влияющие на процесс. Понимание индексации на самом деле необходимо для грамотного продвижения сайта. Без этого вы попросту не сможете достигнуть хороших позиций в выдаче и приводить на ресурс достаточно трафика. Быть в индексе на хорошем счету = гарантировать успешную раскрутку и высокие конверсии.

У ВАС ОСТАЛИСЬ ВОПРОСЫ?

Оставьте ваши контактные данные. Наш менеджер свяжется и проконсультирует вас.

ПОЛУЧИТЬ КОНСУЛЬТАЦИЮ

Наш менеджер свяжется с Вами в ближайшее время

Отправить заявку

Как проверить индексацию сайта в поисковых системах Google и Яндекс

Сервисы и программы

Тут выбор еще разнообразнее и основное преимущество в том, что можно сделать массовую проверку url, которые вас интересуют. Дальше уже выбор за тем, какой сервис вам больше нравиться, сколько url за раз может проверить, платный он или бесплатный.

Бесплатные онлайн-сервисы:

1. https://xseo.in/indexed — проверка количества проиндексированных страниц, если страниц относительно немного (до 100), то можно скопировать этот список URL.
2. https://serphunt.ru/indexing/ — можно массово проверить индексацию до 50 URL за раз.
3. https://raskruty.ru/tools/index/ — тут можно проверить или сразу весь домен, или список до 10 URL.

Платные

На платных тарифах сервиса seranking.com можно массово проверять индексацию списка URL.

Программы для ПК

Если вы планируете заниматься SEO самостоятельно, всерьез и надолго, то есть большая вероятность, что вы купите Netpeak Spider и Netpeak Checker. Так вот с помощью Netpeak Spider можно просканировать и скачать список всех страниц сайта, потом передать их в Netpeak Checker, в котором проверить индексацию. Тут ограничений на кол-во URL уже не будет, понадобится только время на сканирование страниц.

Ускорение индексации сайта

Через панели вебмастеров можно запросить индексацию отдельных страниц, но делать это регулярно для большого количества страниц весьма неудобно.

Поисковый робот за раз индексирует только ограниченное количество страниц, этот лимит называют краулинговым бюджетом. Он рассчитывается для каждого сайта индивидуально. Если сайт маленький, то можно о нем не беспокоиться, а вот если большой, то стоит уделять ему внимание.

Если на сайте много ошибок, низкокачественных страниц, дублей и тому подобное, то они мало того, что замедляют индексацию, так еще и тратят краулинговый бюджет. В итоге поисковик может долго обходить некачественные страницы и разбираться с ошибками, вместо того, чтобы уделять внимание важным страницам, которые могут принести вам доход.

Так что для успеха нужно:

1. Максимально избавляться от ошибок, дублей и некачественных страниц.
   Они как «Сусанин» для поисковых ботов.
2. Настроить перелинковку.
   К каждой странице должна вести своя «дорога» (ссылка) с понятными «указателями» (анкорами и околоссылочным текстом). Чем больше ссылок, тем важнее страница.
   Для ускорения индексации новых страниц ссылки на них можно размещать на главной странице сайта, ее поисковые боты переобходят чаще всего.
   Репосты статей в социальных сетях также повысят вероятность быстрой индексации.
3. Настроить автоматическое обновление карты сайта.
   Каждая новая страница должна попадать в sitemap, каждая удаленная страница – удаляться из карты.
4. Улучшать скорость загрузки страниц.
   Чем быстрее, тем лучше, но ориентируйтесь на средний показатель скорости по конкурентам.
5. Настроить robots.txt / мета-теги robots.
   Так, чтобы все лишнее закрыть от индексации, а все нужное было открыто для нее.
6. Регулярно обновляйте сайт.
   «Живой» сайт привлекает постоянное внимание поисковиков, сайт регулярно переиндексируется, новые страницы быстрее попадают в поисковую выдачу, а по старым подтягивается актуальная информация.
   Добавляйте новые страницы, дополняйте и актуализируйте старые, дополняйте перелинковку.

Проверить статус страниц в индексе Google

Google постоянно посещает миллионы веб-сайтов и создает индекс для каждого веб-сайта, который получает свой интерес. Однако он может не индексировать каждый посещаемый сайт. Если Google не находит ключевые слова, имена или темы, которые представляют интерес, он, скорее всего, не проиндексирует их.

Это причина, по которой многие владельцы веб-сайтов, веб-мастера, SEO-специалисты беспокоятся об индексировании Google. свои сайты. Потому что никто, кроме Google, не знает, как он работает и какие меры он устанавливает для индексация веб-страниц.Все, что мы знаем, это то, что Google обычно ищет и учитывает три аспекта При индексировании веб-страницы необходимо учитывать — релевантность содержания, авторитетность и посещаемость.

Кроме того, нет определенного времени относительно того, когда Google посетит конкретный сайт или выберет ли он чтобы проиндексировать это. Вот почему владельцу сайта важно убедиться, что все проблемы на вашем веб-страницы исправлены и готовы к поисковой оптимизации. Чтобы помочь вам определить, на каких страницах ваш сайт еще не проиндексирован Google, этот инструмент проверки индекса сайта Google сделает свою работу для ты.

Если ваш сайт еще не проиндексирован, не беспокойтесь, потому что Google работает непрерывно, проверяя и индексация сайтов. Вы можете сосредоточиться на улучшении контента на своем веб-сайте и увеличении ваш трафик, потому что по мере роста трафика ваш веб-сайт также приобретает актуальность и авторитет, что затем заставит Google заметить это и начать его ранжировать. Просто продолжайте проверять статус индексации Google с помощью этого инструмента проверки индекса Google и работайте над повышением производительности своего веб-сайта. Этот Обычно для увеличения органического трафика может потребоваться время, особенно для недавно запущенных веб-сайтов.

Улучшение ваших ссылок также может помочь вам, вы должны использовать только подлинные ссылки. Не переходите по платной ссылке фермы, поскольку они могут принести вашему сайту больше вреда, чем пользы. Как только ваш сайт будет проиндексирован Google, вам следует много работать, чтобы поддерживать его. Вы можете добиться этого, всегда обновляя свой веб-сайт, чтобы что он всегда свежий, и вы также должны убедиться, что сохраняете его актуальность и авторитет, чтобы он получит хорошую позицию в рейтинге страниц.

Google Index Checker — проверьте, проиндексирована ли какая-либо страница Google

Что такое индекс Google

В индексе Google перечислены все веб-страницы, о которых знает Google.Это содержит сотни миллиардов веб-страниц и постоянно пополняется новыми страницами. Чтобы появиться в результатах поиска, веб-страница должна быть в индексе Google.

Чтобы проиндексировать страницу, ее сначала нужно просканировать. Google назначает обходной бюджет каждому Веб-сайт. Бюджет сканирования определяется как «количество URL-адресов роботом Googlebot может и хочет сканировать «. Если на веб-сайте слишком много страниц по сравнению с бюджет сканирования, не все его страницы будут просканированы и проиндексированы Google.

Что такое инструмент проверки индекса Google

Средство проверки индекса Google — это бесплатный инструмент SEO, предлагаемый Linkody, чтобы проверить, есть ли страница или веб-сайт. проиндексировано Google. Вы можете проверять до 10 URL-адресов одновременно. Если страница не проиндексирован, инструмент проверит, проиндексирован ли домен (т. е. другой страницы домена проиндексированы).

Как использовать Google Index Checker

Введите до 10 URL и нажмите «ПРОВЕРИТЬ СОСТОЯНИЕ ИНДЕКСА GOOGLE». кнопка.Инструмент проверит URL-адреса и предоставит статус индексации. для каждого из них. Этот статус может быть:

индексируется	Страница проиндексирована.
страница не проиндексирована	Страница не проиндексирована, но другие страницы в этом домене индексируются.
домен не проиндексирован	Ни одна страница в этом домене не проиндексирована.

Когда использовать Google Index Checker

Проверьте, проиндексирован ли ваш сайт

Если ваш сайт не проиндексирован Google, он практически не существовать.Он не будет отображаться в результатах поиска и не получит никаких органический трафик. Поэтому крайне важно убедиться, что ваш страницы проиндексированы.

Воспользуйтесь нашим инструментом проверки индекса Google, чтобы убедиться, что ваши страницы проиндексировано. Если это новая страница, и инструмент сообщает, что она не проиндексирована, попробуйте снова несколько недель спустя. Как быстро будет проиндексирована новая страница, зависит от от авторитета сайта, его размера, глубины страницы и многие другие факторы.

Если по истечении этого времени страница все еще не индексируется, работайте над улучшением это и сделать ваш сайт более авторитетным в своей нише.Использовать наша бесплатная программа проверки авторитета веб-сайта инструмент для проверки авторитета вашего сайта.

Проверить ценность обратной ссылки

Если у вас есть обратная ссылка или вы ищете обратную ссылку со страницы, важно проверить, проиндексирована ли страница, чтобы узнать, имеет любую ценность. Если страница не проиндексирована Google, скорее всего, Google не знает об этой ссылке. Поэтому, когда вы работаете над получением новых ссылок, используйте наш индекс Google. Средство проверки, чтобы сначала проверить, проиндексированы ли ссылающиеся страницы.

Как интерпретировать результаты

По каким причинам страница не индексируется?

Несколько причин могут объяснить, почему страница не проиндексирована:

• Google еще не знает об этой странице. Это может произойти, если страница новая, и Google ее еще не просканировал.
• Google просканировал страницу, но не проиндексировал ее. Это может происходит, если страница низкого качества или веб-сайт слишком большой и Google не хочет тратить ресурсы на эту страницу.

По каким причинам домен не индексируется?

Домен не индексируется, если ни одна из его страниц не индексируется. Несколько причины могут объяснить, почему домен не индексируется Google:

• Домен новый, и Google его еще не обнаружил.
• Google решил не индексировать сайт, или сайт был ранее проиндексировался, но Google решил деиндексировать его. В обоих случаях, это означает, что Google считает сайт спамом или нарушил Google Webmaster Рекомендации, например, с помощью черного SEO или покупки ссылки.Деиндексировать веб-сайт означает полностью удалить его из результаты поиска.

Статус индекса и SEO значение обратных ссылок

Как статус индекса влияет на SEO-ценность ссылки?

• Если страница проиндексирована, ссылка «следовать» с этой страницы имеет некоторые SEO-ценность. Прочтите наше руководство, чтобы узнать о все критерии, влияющие на ценность ссылки.
• Если страница не проиндексирована, но домен есть, обратная ссылка с эта страница может иметь или не иметь какую-то ценность для SEO.Это может быть вопрос времени; Google может решить проиндексировать эту страницу в будущем. это также подозревал, что Google переходит по ссылкам и передает некоторую ценность даже если он решил не индексировать страницу. Поэтому ссылки из не проиндексированные страницы могут иметь некоторую ценность, но обычно Лучше иметь ссылку с проиндексированной страницы.
• Если домен не проиндексирован, потому что веб-сайт новый, обратная ссылка с этого сайта не будет иметь большого значения.Если в домене есть деиндексирован, сайт токсичен, и ссылка с любой страницы из этот сайт может быть вредным.

Как считать обратную ссылку в зависимости от статуса ее страницы?

Используйте нашу программу проверки обратных ссылок Google, чтобы проверить статус индекса ссылающиеся страницы и избегайте потенциально опасных обратных ссылок:

• Если страница проиндексирована и идет по ссылке, значит у нее есть SEO ценить. Используйте такой инструмент, как Linkody, для мониторинга ваши обратные ссылки и будьте предупреждены, если какая-либо из ваших ссылок будет удалена или измененный.
• Если страница не проиндексирована, подождите несколько недель и проверьте ее статус опять таки. Индексирование страницы может занять некоторое время.
• Если домен не проиндексирован, Google, возможно, оштрафовал веб-сайт и ссылка могут быть токсичными и нанести вред вашему рейтингу. это настоятельно рекомендуется отклонить страницу или весь домен. Прочтите наш руководство о том, как дезавуировать токсичные ссылки.

Что делать, если вы ищете обратную ссылку?

Используйте нашу программу проверки индекса Google, чтобы проверить статус индексации целевая страница, прежде чем тратить время и силы на размещение ссылки:

• Если страница проиндексирована и вы можете получить ссылку для перехода, сделайте это, ссылка будет иметь определенную SEO-ценность (за исключением всех остальных критериев).
• Если страница не проиндексирована, подождите несколько недель и проверьте ее статус опять таки. А пока направьте свои усилия на другую страницу, которая индексируется.
• Если домен не проиндексирован, избегайте любой ценой получения ссылки с этой страницы или любой другой страницы этого сайта. Направьте свой попытки получить ссылку с другого веб-сайта. Прочтите наш путеводитель по лучшему для получения обратных ссылок.

Бесплатная программа проверки индекса Google

Что такое инструмент проверки индекса Google?

Цель инструмента проверки индекса Google — информировать пользователей о статусе индекса Google отправленного URL.Некоторые веб-мастера используют средство проверки индекса сайта, чтобы проверить, проиндексировал ли Google их сайт или нет.

Этому инструменту от RankWatch доверяют многочисленные владельцы веб-сайтов и SEO-специалисты. Они используют Site Index Checker, чтобы узнать о рейтинге и статусе индексации Google своего домена и его поддоменов.

Вы можете начать использовать наш инструмент проверки индекса Google, открыв его из раздела «Отслеживание веб-сайтов» бесплатных инструментов. После открытия инструмента вам необходимо ввести URL-адрес, по которому вы хотите проверить статус индексации Google, и нажать «Проверить индекс сайта».

Инструмент запустит свой алгоритм и построит отчет, который проинформирует вас о вашем статусе индекса Google. Есть еще одна категория, называемая «URL-адрес индекса», которая сообщает вам об общем количестве проиндексированных URL-адресов вашего веб-сайта.

Когда вы задаетесь вопросом «проиндексирован ли мой сайт?» Вы можете использовать инструмент Google Index Checker от RankWatch. Мы не запрашиваем ваши адреса электронной почты или заглавные буквы, наш инструмент проверки индекса бесплатно выполняет поиск в индексе Google.

RankWatch также предлагает множество других бесплатных инструментов для предложения ключевых слов, проверки полномочий домена, получения HTML-кода счетчика посещений и т. Д.Вы можете использовать эти инструменты неограниченное количество раз.

Что такое индекс Google?

Индекс Google — это обширная база данных с миллиардами веб-сайтов в Интернете. Google собирает эти данные массового индекса через своего бота Google. Google Bot — это сканер с продвинутым алгоритмом, который непрерывно просматривает веб-сайты в поисках информации для ранжирования.

Сканер будет сканировать каждый веб-сайт в Интернете, НО не каждый сайт включен в индекс Google.Существует около 200 факторов ранжирования, на основе которых поисковый робот включает веб-сайт или веб-страницу в индекс Google.

Из 200 факторов ранжирования SEO-специалисты и веб-мастера знают лишь о некоторых. Но те немногие элементы, о которых мы знаем, могут помочь нашему веб-сайту проиндексироваться и, в конечном итоге, получить рейтинг, поэтому вам не нужно беспокоиться о том, как индексировать сайт в Google. Эти факторы включают оптимизацию на странице и вне страницы.

Оптимизация на странице

Оптимизация на странице — самая важная часть включения вашего сайта в процесс индексации Google.Каждая веб-страница вашего сайта должна иметь мета-описание, заголовок, тег h2, тег Alt, теги h3, а также внутренние и внешние ссылки.

Вам необходимо оптимизировать каждый элемент на странице с помощью ключевых слов, связанных с контекстом, которые органично размещаются вокруг контента и не заполняются без надобности.

Google Bot Crawler просматривает эти элементы и просматривает их на предмет связанных ключевых слов. Если он обнаружит, что просканированный сайт содержит все релевантные ключевые слова, он добавит сайт в индекс Google.Однако, если поисковый робот обнаружит, что ключевые слова не связаны с контекстом или без необходимости размещены и заполнены на веб-странице, он не добавит ваш сайт в индекс Google. Более того, это будет наказывать ваш сайт из-за черной оптимизации.

Оптимизация вне страницы

Оптимизация вне страницы в основном состоит из построения ссылок. Если вы недавно запустили свой веб-сайт, потребуется время, чтобы его просканировали и добавили в индекс Google.Следовательно, вам нужно повысить видимость в Интернете и повысить авторитет своего домена. Так что, когда ваш домен, наконец, будет проиндексирован, он будет занимать более высокое место в поисковой выдаче.

Когда вы получаете входящие ссылки с сайтов, которые уже занимают более высокие позиции в поисковой выдаче, Crawler будет направлен на сканирование вашего сайта в тот момент, когда он просканирует сайт с высоким рейтингом. Поступая так, ваши шансы на попадание в индекс Google увеличиваются. Однако, если вы правильно следуете методам на странице, ваш сайт обязательно будет включен в индекс Google.

Если вы следовали каждой стратегии SEO и оптимизировали свой контент с помощью подходящих ключевых слов, но не знаете, как проверить статус своего веб-сайта в индексе Google? Не волнуйся. Вы можете провести тест Google Index с помощью инструмента Google Index Checker от RankWatch и проверить статус индекса вашего домена. Кроме того, наша программа проверки индекса сайта также проинформирует вас о номере индекса Google.

Как Google индексирует веб-сайты? | Что такое индексирование Google?

Многие люди спрашивают: «Как Google индексирует веб-сайты?» ответ на этот вопрос прост.

Google Crawler основан на расширенном алгоритме, который просматривает ваш тег заголовка, тег h2, метаописания, тег alt, внутреннюю структуру ссылок и количество качественных входящих ссылок (если вы не знаете, как создавать метатеги, вы можете использовать наши Инструмент Meta Tag Generator, он бесплатно создает метатеги). Сканер также ищет органическое размещение релевантных ключевых слов в метатегах.

Так Google индексирует веб-сайты.

Хотя, вы должны быть осторожны с размещением ключевых слов и созданием метатегов.Их следует размещать естественным образом, не ухудшая читаемость контента. Когда сканер Google обнаруживает подозрительное использование ключевых слов, он не индексирует ваш сайт.

Кроме того, при желании вы можете запретить индексирование определенных страниц вашего сайта, добавив к нему файл Robots.txt. Если вы не знаете, как создать файл Robots.txt, вы можете обратиться за помощью к нашему Генератору Robots.txt.

Важность использования Google Index Checker

Если вы являетесь владельцем веб-сайта, веб-мастером или специалистом по поисковой оптимизации, вам необходимо проверить статус вашего домена в индексе Google.А когда сайт не добавлен в индекс Google, он в конечном итоге перестанет генерировать органический трафик (который является лучшим видом трафика). Итак, вам нужно продолжать инвестировать в привлечение платного трафика на свой домен.

Кроме того, инструмент Google Index Checker от RankWatch бесплатен и прост в использовании. Вы можете проверить статус индексации Google для каждой страницы своего веб-сайта, и мы не будем запрашивать у вас адрес электронной почты и не будем просить вас покупать подписку на наш инструмент.

Просто введите домен и проверьте статус индекса Google с помощью нашего бесплатного инструмента проверки индекса Google.

10 способов заставить Google индексировать ваш сайт (которые на самом деле работают)

Если Google не индексирует ваш сайт, вы в значительной степени невидимы. Вы не будете отображаться ни по каким поисковым запросам и вообще не получите никакого органического трафика. Пшик. Нада. Нуль.

Учитывая, что вы здесь, я полагаю, это не новость для вас. Итак, приступим непосредственно к делу.

В этой статье рассказывается, как решить любую из этих трех проблем:

1. Весь ваш веб-сайт не проиндексирован.
2. Некоторые из ваших страниц проиндексированы, а другие нет.
3. Ваши недавно опубликованные веб-страницы не индексируются достаточно быстро.

Но сначала давайте удостоверимся, что мы находимся на одной странице и полностью понимаем эту ошибку индексирования.

Новичок в SEO? Ознакомьтесь с нашим

Что такое сканирование и индексирование?

Google обнаруживает новые веб-страницы, просматривая веб-страниц, а затем добавляет эти страницы в свой индекс . Они делают это с помощью веб-паука под названием Googlebot .

Запутались? Определим несколько ключевых терминов.

• Сканирование : процесс перехода по гиперссылкам в Интернете для обнаружения нового контента.
• Индексирование : процесс сохранения каждой веб-страницы в обширной базе данных.
• Web spider : Часть программного обеспечения, предназначенная для выполнения процесса сканирования в любом масштабе.
• Googlebot : веб-паук от Google .

Вот видео от Google, которое более подробно объясняет этот процесс:

https: // www.youtube.com/watch?v=BNHR6IQJGZs

Когда вы что-то гуглите, вы просите Google вернуть все соответствующие страницы из их индекса. Поскольку часто есть миллионы страниц, отвечающих всем требованиям, алгоритм ранжирования Google делает все возможное, чтобы отсортировать страницы так, чтобы вы сначала увидели наилучшие и наиболее релевантные результаты.

Важный момент, который я здесь подчеркиваю, заключается в том, что индексирование и рейтинг — это две разные вещи .

Индексирование отображается для гонки; рейтинг выигрывает.

Невозможно выиграть, не заняв первое место в гонке.

Как проверить, проиндексированы ли вы в Google

Зайдите в Google и найдите сайт : yourwebsite.com

Это число примерно показывает, сколько ваших страниц проиндексировал Google.

Если вы хотите проверить статус индекса определенного URL, используйте тот же сайт : yourwebsite.com/web-page-slug operator.

Никаких результатов не будет, если страница не проиндексирована.

Стоит отметить, что если вы пользователь Google Search Console, вы можете использовать отчет Покрытие , чтобы получить более точное представление о статусе индекса вашего веб-сайта. Просто перейдите по ссылке:

Google Search Console> Индекс> Покрытие

Посмотрите количество допустимых страниц (с предупреждениями и без них).

Если в сумме эти два числа не равны нулю, значит, Google проиндексировал по крайней мере некоторые страницы вашего веб-сайта. В противном случае у вас серьезная проблема, потому что ни одна из ваших веб-страниц не проиндексирована.

Примечание.

Не пользуетесь Google Search Console? Подписаться. Это бесплатно. Каждый, кто управляет веб-сайтом и заботится о привлечении трафика от Google, должен использовать Google Search Console. важны.

Вы также можете использовать Search Console, чтобы проверить, проиндексирована ли конкретная страница. Для этого вставьте URL-адрес в инструмент проверки URL-адресов.

Если эта страница проиндексирована, будет написано «URL находится в Google».

Если страница не проиндексирована, вы увидите слова «URL не в Google.”

Как получить индекс в Google

Вы обнаружили, что ваш веб-сайт или веб-страница не проиндексированы в Google? Попробуйте следующее:

1. Перейдите в консоль поиска Google
2. Перейдите к инструменту проверки URL-адресов
3. Вставьте URL-адрес, который Google должен проиндексировать, в строку поиска.
4. Подождите, пока Google проверит URL-адрес.
5. Нажмите кнопку «Запросить индексирование».

Этот процесс является хорошей практикой при публикации нового сообщения или страницы. Вы фактически сообщаете Google, что добавили что-то новое на свой сайт и что они должны это изучить.

Однако запрос индексации вряд ли решит основные проблемы, мешающие Google индексировать старые страницы. В этом случае следуйте приведенному ниже контрольному списку, чтобы диагностировать и устранить проблему.

Вот несколько быстрых ссылок на каждую тактику — на случай, если вы уже попробовали:

1. Удалите блоки сканирования в файле robots.txt
2. Удалите мошеннические теги noindex
3. Включите страницу в вашу карту сайта
4. Удалите мошеннические канонические теги
5. Убедитесь, что страница не потеряна.
6. Исправьте внутренние ссылки nofollow.
7. Добавьте «мощные» внутренние ссылки
8. Убедитесь, что страница ценная и уникальная
9. Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет» )
10. Создавайте качественные обратные ссылки

1) Удалите блоки сканирования в ваших роботах.txt файл

Google не индексирует весь ваш сайт? Это может быть связано с блокировкой сканирования в файле robots.txt.

Чтобы проверить наличие этой проблемы, перейдите по адресу yourdomain.com/robots.txt .

Найдите любой из этих двух фрагментов кода:

 User-agent: Googlebot
Disallow: / 

 Агент пользователя: *
Disallow: / 

Обе они сообщают роботу Googlebot, что им не разрешено сканировать какие-либо страницы вашего сайта. Чтобы решить проблему, удалите их.Это , что просто.

Блок сканирования в robots.txt также может быть причиной, если Google не индексирует одну веб-страницу. Чтобы проверить, так ли это, вставьте URL-адрес в инструмент проверки URL-адресов в Google Search Console. Щелкните блок «Покрытие», чтобы получить более подробную информацию, затем найдите «Сканирование разрешено? Нет: заблокировано файлом robots.txt ».

Это означает, что страница заблокирована в robots.txt.

В таком случае еще раз проверьте файл robots.txt на наличие каких-либо запрещающих правил, относящихся к странице или соответствующему подразделу.

При необходимости удалите.

2) Удалите ложные теги noindex

Google не будет индексировать страницы, если вы им запретите. Это полезно для сохранения конфиденциальности некоторых веб-страниц. Это можно сделать двумя способами:

Метод 1: метатег

Страницы с любым из этих метатегов в разделе не будут проиндексированы Google:

Это метатег роботов, который сообщает поисковым системам, могут ли они индексировать страницу.

Примечание.

Ключевой частью является значение «noindex». Если вы это видите, значит для страницы задано значение noindex.

Чтобы найти все страницы с метатегом noindex на вашем сайте, запустите сканирование с помощью Ahrefs Site Audit. Перейдите к отчету Индексируемость . Ищите предупреждения «Страница Noindex».

Щелкните, чтобы увидеть все затронутые страницы. Удалите метатег noindex со всех страниц, которым он не принадлежит.

Метод 2: X ‑ Robots-Tag

Сканеры также учитывают заголовок HTTP-ответа X ‑ Robots-Tag.Вы можете реализовать это, используя язык сценариев на стороне сервера, такой как PHP, или в файле .htaccess, или изменив конфигурацию сервера.

Инструмент проверки URL в Search Console сообщает, заблокирован ли Google сканирование страницы из-за этого заголовка. Просто введите свой URL и найдите «Индексирование разрешено? Нет: «noindex» обнаружен в http-заголовке «X ‑ Robots-Tag»

Если вы хотите проверить наличие этой проблемы на своем сайте, запустите сканирование в инструменте аудита сайта Ahrefs, затем используйте «Информация о роботах в HTTP-заголовке. »В проводнике страниц:

Попросите разработчика исключить страницы, которые вы хотите проиндексировать, из возврата этого заголовка.

Рекомендуемая литература: Спецификации метатега роботов и HTTP-заголовка X ‑ Robots-Tag

3) Включите страницу в карту сайта

Карта сайта сообщает Google, какие страницы на вашем сайте важны, а какие нет т. Это также может дать некоторые рекомендации о том, как часто их следует сканировать повторно.

Google должен иметь возможность находить страницы на вашем веб-сайте независимо от того, есть ли они в вашей карте сайта, но по-прежнему рекомендуется включать их.В конце концов, нет смысла усложнять жизнь Google.

Чтобы проверить, есть ли страница в вашей карте сайта, используйте инструмент проверки URL в Search Console. Если вы видите ошибку «URL не в Google» и «Sitemap: N / A», значит, его нет в вашей карте сайта или он не проиндексирован.

Не используете Search Console? Перейдите по URL-адресу карты сайта — обычно yourdomain.com/sitemap.xml — и выполните поиск страницы.

Или, если вы хотите найти все просканируемые и индексируемые страницы, которых нет в вашей карте сайта, запустите сканирование в Ahrefs Site Audit.Перейдите к Page Explorer и примените эти фильтры:

Эти страницы должны быть в вашей карте сайта, поэтому добавьте их. После этого сообщите Google, что вы обновили карту сайта, выполнив ping по этому URL:

http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml

Replace эту последнюю часть с URL-адресом вашей карты сайта. Вы должны увидеть что-то вроде этого:

Это должно ускорить индексацию страницы Google.

4) Удалите ложные канонические теги

Канонический тег сообщает Google, какая версия страницы является предпочтительной.Выглядит это примерно так:

Большинство страниц либо не имеют канонического тега, либо так называемого канонического тега, ссылающегося на себя. Это говорит Google сама страница является предпочтительной и, вероятно, единственной версией. Другими словами, вы хотите, чтобы эта страница была проиндексирована.

Но если на вашей странице есть ложный канонический тег, то он может сообщать Google о предпочтительной версии этой страницы, которая не существует. В этом случае ваша страница не будет проиндексирована.

Чтобы проверить каноничность, воспользуйтесь инструментом Google для проверки URL. Вы увидите предупреждение «Альтернативная страница с каноническим тегом», если канонический тег указывает на другую страницу.

Если этого не должно быть, но вы хотите проиндексировать страницу, удалите канонический тег.

ВАЖНО

Канонические теги не всегда плохи. У большинства страниц с этими тегами есть причина. Если вы видите, что ваша страница имеет канонический набор, проверьте каноническую страницу. Если это действительно предпочтительная версия страницы и нет необходимости также индексировать данную страницу, то канонический тег должен остаться.

Если вы хотите быстро найти ложные канонические теги на всем сайте, запустите сканирование с помощью инструмента аудита сайта Ahrefs. Перейдите в проводник страниц. Используйте следующие настройки:

Это ищет страницы в вашей карте сайта с несамодвижущимися каноническими тегами. Поскольку вы почти наверняка захотите проиндексировать страницы в карте сайта, вам следует дополнительно изучить, возвращает ли этот фильтр какие-либо результаты.

Весьма вероятно, что у этих страниц либо неверный канонический файл, либо их вообще не должно быть в вашей карте сайта.

5) Убедитесь, что страница не «осиротевшая»

Сиротские страницы — это те страницы, на которые не указывают внутренние ссылки.

Поскольку Google обнаруживает новое содержание, сканируя Интернет, они не могут обнаружить потерянные страницы с помощью этого процесса. Посетители веб-сайта тоже не смогут их найти.

Чтобы проверить наличие лишних страниц, просканируйте свой сайт с помощью Ahrefs Site Audit. Затем проверьте отчет Links на наличие ошибок «Сиротская страница (нет входящих внутренних ссылок)»:

Здесь показаны все страницы, которые одновременно индексируются и присутствуют в вашей карте сайта, но не имеют внутренних ссылок, указывающих на них.

ВАЖНО

Этот процесс работает только в том случае, если верны два условия:

1. Все страницы, которые вы хотите проиндексировать, находятся в ваших картах сайта
2. Вы установили флажок, чтобы использовать страницы в ваших картах сайта в качестве отправных точек для сканирования при настройке. проект в Ahrefs Site Audit.

Не уверены, что все страницы, которые вы хотите проиндексировать, есть в вашей карте сайта? Попробуйте следующее:

1. Загрузите полный список страниц вашего сайта (через вашу CMS)
2. Просканируйте ваш сайт (используя такой инструмент, как Ahrefs Site Audit)
3. Сделайте перекрестные ссылки на два списка URL-адресов

Любые URL-адреса не обнаружены во время сканирования, являются потерянными страницами.

Вы можете исправить потерянные страницы одним из двух способов:

1. Если страница не важна , удалите ее и удалите из карты сайта.
2. Если страница важна , включите ее во внутреннюю структуру ссылок вашего веб-сайта.

6) Исправить внутренние ссылки nofollow

Ссылки Nofollow — это ссылки с тегом rel = «nofollow». Они предотвращают передачу PageRank на целевой URL. Google также не сканирует ссылки nofollow.

Вот что Google говорит по этому поводу:

По сути, с использованием nofollow заставляет нас отбрасывать целевые ссылки из нашего общего графа сети. Однако целевые страницы могут по-прежнему отображаться в нашем индексе, если другие сайты ссылаются на них без использования nofollow или если URL-адреса отправлены в Google в файле Sitemap.

Короче говоря, вы должны убедиться, что следуют все внутренние ссылки на индексируемые страницы.

Для этого используйте инструмент Ahrefs Site Audit для сканирования вашего сайта.Проверьте отчет Links на предмет индексируемых страниц с ошибками «Страница имеет только входящие внутренние ссылки nofollow»:

Удалите тег nofollow из этих внутренних ссылок, предполагая, что вы хотите, чтобы Google проиндексировал страницу. Если нет, либо удалите страницу, либо не индексируйте ее.

Рекомендуемая литература: Что такое ссылка Nofollow? Все, что вам нужно знать (без жаргона!)

7) Добавьте «мощные» внутренние ссылки

Google обнаруживает новый контент, сканируя ваш веб-сайт.Если вы не укажете внутреннюю ссылку на рассматриваемую страницу, они не смогут ее найти.

Одно из простых решений этой проблемы — добавить на страницу несколько внутренних ссылок. Вы можете сделать это с любой другой веб-страницы, которую Google может сканировать и индексировать. Однако, если вы хотите, чтобы Google проиндексировал страницу как можно быстрее, имеет смысл сделать это с одной из ваших наиболее «мощных» страниц.

Почему? Потому что Google, вероятно, будет повторно сканировать такие страницы быстрее, чем менее важные страницы.

Для этого перейдите в раздел «Сайт» Ahrefs «, введите свой домен и перейдите в отчет Best by links .

Здесь показаны все страницы вашего веб-сайта, отсортированные по рейтингу URL (UR). Другими словами, сначала отображаются наиболее авторитетные страницы.

Просмотрите этот список и найдите соответствующие страницы, с которых можно добавить внутренние ссылки на рассматриваемую страницу.

Например, если бы мы хотели добавить внутреннюю ссылку на наше руководство по размещению гостевых сообщений, наше руководство по созданию ссылок, вероятно, предложило бы подходящее место для этого. Так получилось, что эта страница является 11-й по значимости страницей в нашем блоге:

Google увидит эту ссылку и перейдет по ней в следующий раз при повторном сканировании страницы.

pro tip

Вставьте страницу, с которой вы добавили внутреннюю ссылку, в инструмент проверки URL-адресов Google. Нажмите кнопку «Запросить индексирование», чтобы сообщить Google, что что-то на странице изменилось и что они должны повторно сканировать это как можно скорее. Это может ускорить процесс обнаружения внутренней ссылки и, следовательно, страницы, которую вы хотите проиндексировать.

8) Убедитесь, что страница ценная и уникальная

Google вряд ли проиндексирует некачественные страницы, потому что они не представляют ценности для пользователей.Вот что сказал об индексировании в 2018 году Джон Мюллер из Google:

Мы никогда не индексируем все известные URL, это нормально. Я бы сфокусировался на том, чтобы сделать сайт потрясающим и вдохновляющим, тогда все обычно получается лучше.

— 🍌 John 🍌 (@JohnMu) 3 января 2018 г.

Он подразумевает, что если вы хотите, чтобы Google проиндексировал ваш веб-сайт или веб-страницу, это должно быть «потрясающим и вдохновляющим».

Если вы исключили технические проблемы из-за отсутствия индексации, то причиной может быть отсутствие ценности.По этой причине стоит просмотреть страницу свежим взглядом и спросить себя: действительно ли эта страница ценна? Сможет ли пользователь найти ценность на этой странице, если щелкнет по ней в результатах поиска?

Если ответ на любой из этих вопросов отрицательный, то вам необходимо улучшить свой контент.

Вы можете найти больше потенциально некачественных страниц, которые не проиндексированы, с помощью инструмента аудита сайта Ahrefs и профилировщика URL. Для этого перейдите в Page Explorer в Ahrefs Site Audit и используйте следующие настройки:

Это вернет «тонкие» страницы, которые можно индексировать и которые в настоящее время не получают органического трафика.Другими словами, есть большая вероятность, что они не проиндексированы.

Экспортируйте отчет, затем вставьте все URL-адреса в URL Profiler и запустите проверку индексации Google.

ВАЖНО

Рекомендуется использовать прокси, если вы делаете это для большого количества страниц (т. Е. Более 100). В противном случае вы рискуете, что ваш IP-адрес будет забанен Google. Если вы не можете этого сделать, другой альтернативой является поиск в Google «бесплатной массовой проверки индексации Google». Есть несколько таких инструментов, но большинство из них ограничено <25 страницами за раз.

Проверьте все не проиндексированные страницы на предмет проблем с качеством. При необходимости улучшите, а затем запросите переиндексацию в Google Search Console.

Вы также должны стремиться исправить проблемы с дублирующимся контентом. Google вряд ли проиндексирует повторяющиеся или почти повторяющиеся страницы. Используйте отчет Дублированное содержимое в Аудите сайта, чтобы проверить наличие этих проблем.

9) Удалите некачественные страницы (для оптимизации «краулингового бюджета»)

Наличие на вашем сайте слишком большого количества некачественных страниц приводит только к потере краулингового бюджета.

Вот что Google говорит по этому поводу:

Потеря ресурсов сервера на [малоценных страницах] приведет к истощению активности сканирования со страниц, которые действительно имеют ценность, что может вызвать значительную задержку в обнаружении отличного содержания на сайте. .

Думайте об этом как об учителе, оценивающем эссе, одно из которых ваше. Если им предстоит оценить десять эссе, они довольно быстро доберутся до вашего. Если у них будет сотня, им потребуется немного больше времени. Если у них тысячи, их рабочая нагрузка слишком высока, и они, возможно, никогда не дойдут до оценки вашего эссе.

Google заявляет, что «сканирование бюджета […] — это не то, о чем должно беспокоиться большинство издателей», и что «если на сайте меньше нескольких тысяч URL-адресов, в большинстве случаев он будет сканироваться эффективно».

Тем не менее, удаление некачественных страниц с вашего веб-сайта никогда не бывает плохим. Это может только положительно повлиять на краулинговый бюджет.

Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

10) Создавайте качественные обратные ссылки

Обратные ссылки говорят Google, что веб-страница важна.В конце концов, если кто-то на него ссылается, значит, он должен иметь какую-то ценность. Это страницы, которые Google хочет проиндексировать.

Для полной прозрачности Google индексирует не только веб-страницы с обратными ссылками. Есть много (миллиарды) проиндексированных страниц без обратных ссылок. Однако, поскольку Google считает страницы с качественными ссылками более важными, они, скорее всего, будут сканировать — и повторно сканировать — такие страницы быстрее, чем те, у которых нет. Это приводит к более быстрой индексации.

У нас есть много ресурсов для создания качественных обратных ссылок в блоге.

Взгляните на несколько руководств ниже.

Индексирование ≠ ранжирование

Индексирование вашего веб-сайта или веб-страницы в Google не означает рейтинга или трафика.

Это разные вещи.

Индексирование означает, что Google знает о вашем веб-сайте. Это не значит, что они будут ранжировать его по каким-либо релевантным и стоящим запросам.

Вот где приходит SEO — искусство оптимизации ваших веб-страниц для ранжирования по конкретным запросам.

Короче говоря, SEO включает:

• Поиск того, что ищут ваши клиенты;
• Создание контента по этим темам;
• Оптимизация этих страниц под ваши целевые ключевые слова;
• Создание обратных ссылок;
• Регулярно переиздайте контент, чтобы он оставался «вечнозеленым».”

Вот видео, которое поможет вам начать работу с SEO:

https: // www.youtube.com/watch?v=BNHR6IQJGZs

Когда вы что-то гуглите, вы просите Google вернуть все соответствующие страницы из их индекса. Поскольку часто есть миллионы страниц, отвечающих всем требованиям, алгоритм ранжирования Google делает все возможное, чтобы отсортировать страницы так, чтобы вы сначала увидели наилучшие и наиболее релевантные результаты.

Важный момент, который я здесь подчеркиваю, заключается в том, что индексирование и рейтинг — это две разные вещи .

Индексирование отображается для гонки; рейтинг выигрывает.

Невозможно выиграть, не заняв первое место в гонке.

Как проверить, проиндексированы ли вы в Google

Зайдите в Google и найдите сайт : yourwebsite.com

Это число примерно показывает, сколько ваших страниц проиндексировал Google.

Если вы хотите проверить статус индекса определенного URL, используйте тот же сайт : yourwebsite.com/web-page-slug operator.

Никаких результатов не будет, если страница не проиндексирована.

Стоит отметить, что если вы пользователь Google Search Console, вы можете использовать отчет Покрытие , чтобы получить более точное представление о статусе индекса вашего веб-сайта. Просто перейдите по ссылке:

Google Search Console> Индекс> Покрытие

Посмотрите количество допустимых страниц (с предупреждениями и без них).

Если в сумме эти два числа не равны нулю, значит, Google проиндексировал по крайней мере некоторые страницы вашего веб-сайта. В противном случае у вас серьезная проблема, потому что ни одна из ваших веб-страниц не проиндексирована.

Примечание.

Не пользуетесь Google Search Console? Подписаться. Это бесплатно. Каждый, кто управляет веб-сайтом и заботится о привлечении трафика от Google, должен использовать Google Search Console. важны.

Вы также можете использовать Search Console, чтобы проверить, проиндексирована ли конкретная страница. Для этого вставьте URL-адрес в инструмент проверки URL-адресов.

Если эта страница проиндексирована, будет написано «URL находится в Google».

Если страница не проиндексирована, вы увидите слова «URL не в Google.”

Как получить индекс в Google

Вы обнаружили, что ваш веб-сайт или веб-страница не проиндексированы в Google? Попробуйте следующее:

1. Перейдите в консоль поиска Google
2. Перейдите к инструменту проверки URL-адресов
3. Вставьте URL-адрес, который Google должен проиндексировать, в строку поиска.
4. Подождите, пока Google проверит URL-адрес.
5. Нажмите кнопку «Запросить индексирование».

Этот процесс является хорошей практикой при публикации нового сообщения или страницы. Вы фактически сообщаете Google, что добавили что-то новое на свой сайт и что они должны это изучить.

Однако запрос индексации вряд ли решит основные проблемы, мешающие Google индексировать старые страницы. В этом случае следуйте приведенному ниже контрольному списку, чтобы диагностировать и устранить проблему.

Вот несколько быстрых ссылок на каждую тактику — на случай, если вы уже попробовали:

1. Удалите блоки сканирования в файле robots.txt
2. Удалите мошеннические теги noindex
3. Включите страницу в вашу карту сайта
4. Удалите мошеннические канонические теги
5. Убедитесь, что страница не потеряна.
6. Исправьте внутренние ссылки nofollow.
7. Добавьте «мощные» внутренние ссылки
8. Убедитесь, что страница ценная и уникальная
9. Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет» )
10. Создавайте качественные обратные ссылки

1) Удалите блоки сканирования в ваших роботах.txt файл

Google не индексирует весь ваш сайт? Это может быть связано с блокировкой сканирования в файле robots.txt.

Чтобы проверить наличие этой проблемы, перейдите по адресу yourdomain.com/robots.txt .

Найдите любой из этих двух фрагментов кода:

 User-agent: Googlebot
Disallow: / 

 Агент пользователя: *
Disallow: / 

Обе они сообщают роботу Googlebot, что им не разрешено сканировать какие-либо страницы вашего сайта. Чтобы решить проблему, удалите их.Это , что просто.

Блок сканирования в robots.txt также может быть причиной, если Google не индексирует одну веб-страницу. Чтобы проверить, так ли это, вставьте URL-адрес в инструмент проверки URL-адресов в Google Search Console. Щелкните блок «Покрытие», чтобы получить более подробную информацию, затем найдите «Сканирование разрешено? Нет: заблокировано файлом robots.txt ».

Это означает, что страница заблокирована в robots.txt.

В таком случае еще раз проверьте файл robots.txt на наличие каких-либо запрещающих правил, относящихся к странице или соответствующему подразделу.

При необходимости удалите.

2) Удалите ложные теги noindex

Google не будет индексировать страницы, если вы им запретите. Это полезно для сохранения конфиденциальности некоторых веб-страниц. Это можно сделать двумя способами:

Метод 1: метатег

Страницы с любым из этих метатегов в разделе не будут проиндексированы Google:

Это метатег роботов, который сообщает поисковым системам, могут ли они индексировать страницу.

Примечание.

Ключевой частью является значение «noindex». Если вы это видите, значит для страницы задано значение noindex.

Чтобы найти все страницы с метатегом noindex на вашем сайте, запустите сканирование с помощью Ahrefs Site Audit. Перейдите к отчету Индексируемость . Ищите предупреждения «Страница Noindex».

Щелкните, чтобы увидеть все затронутые страницы. Удалите метатег noindex со всех страниц, которым он не принадлежит.

Метод 2: X ‑ Robots-Tag

Сканеры также учитывают заголовок HTTP-ответа X ‑ Robots-Tag.Вы можете реализовать это, используя язык сценариев на стороне сервера, такой как PHP, или в файле .htaccess, или изменив конфигурацию сервера.

Инструмент проверки URL в Search Console сообщает, заблокирован ли Google сканирование страницы из-за этого заголовка. Просто введите свой URL и найдите «Индексирование разрешено? Нет: «noindex» обнаружен в http-заголовке «X ‑ Robots-Tag»

Если вы хотите проверить наличие этой проблемы на своем сайте, запустите сканирование в инструменте аудита сайта Ahrefs, затем используйте «Информация о роботах в HTTP-заголовке. »В проводнике страниц:

Попросите разработчика исключить страницы, которые вы хотите проиндексировать, из возврата этого заголовка.

Рекомендуемая литература: Спецификации метатега роботов и HTTP-заголовка X ‑ Robots-Tag

3) Включите страницу в карту сайта

Карта сайта сообщает Google, какие страницы на вашем сайте важны, а какие нет т. Это также может дать некоторые рекомендации о том, как часто их следует сканировать повторно.

Google должен иметь возможность находить страницы на вашем веб-сайте независимо от того, есть ли они в вашей карте сайта, но по-прежнему рекомендуется включать их.В конце концов, нет смысла усложнять жизнь Google.

Чтобы проверить, есть ли страница в вашей карте сайта, используйте инструмент проверки URL в Search Console. Если вы видите ошибку «URL не в Google» и «Sitemap: N / A», значит, его нет в вашей карте сайта или он не проиндексирован.

Не используете Search Console? Перейдите по URL-адресу карты сайта — обычно yourdomain.com/sitemap.xml — и выполните поиск страницы.

Или, если вы хотите найти все просканируемые и индексируемые страницы, которых нет в вашей карте сайта, запустите сканирование в Ahrefs Site Audit.Перейдите к Page Explorer и примените эти фильтры:

Эти страницы должны быть в вашей карте сайта, поэтому добавьте их. После этого сообщите Google, что вы обновили карту сайта, выполнив ping по этому URL:

http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml

Replace эту последнюю часть с URL-адресом вашей карты сайта. Вы должны увидеть что-то вроде этого:

Это должно ускорить индексацию страницы Google.

4) Удалите ложные канонические теги

Канонический тег сообщает Google, какая версия страницы является предпочтительной.Выглядит это примерно так:

Большинство страниц либо не имеют канонического тега, либо так называемого канонического тега, ссылающегося на себя. Это говорит Google сама страница является предпочтительной и, вероятно, единственной версией. Другими словами, вы хотите, чтобы эта страница была проиндексирована.

Но если на вашей странице есть ложный канонический тег, то он может сообщать Google о предпочтительной версии этой страницы, которая не существует. В этом случае ваша страница не будет проиндексирована.

Чтобы проверить каноничность, воспользуйтесь инструментом Google для проверки URL. Вы увидите предупреждение «Альтернативная страница с каноническим тегом», если канонический тег указывает на другую страницу.

Если этого не должно быть, но вы хотите проиндексировать страницу, удалите канонический тег.

ВАЖНО

Канонические теги не всегда плохи. У большинства страниц с этими тегами есть причина. Если вы видите, что ваша страница имеет канонический набор, проверьте каноническую страницу. Если это действительно предпочтительная версия страницы и нет необходимости также индексировать данную страницу, то канонический тег должен остаться.

Если вы хотите быстро найти ложные канонические теги на всем сайте, запустите сканирование с помощью инструмента аудита сайта Ahrefs. Перейдите в проводник страниц. Используйте следующие настройки:

Это ищет страницы в вашей карте сайта с несамодвижущимися каноническими тегами. Поскольку вы почти наверняка захотите проиндексировать страницы в карте сайта, вам следует дополнительно изучить, возвращает ли этот фильтр какие-либо результаты.

Весьма вероятно, что у этих страниц либо неверный канонический файл, либо их вообще не должно быть в вашей карте сайта.

5) Убедитесь, что страница не «осиротевшая»

Сиротские страницы — это те страницы, на которые не указывают внутренние ссылки.

Поскольку Google обнаруживает новое содержание, сканируя Интернет, они не могут обнаружить потерянные страницы с помощью этого процесса. Посетители веб-сайта тоже не смогут их найти.

Чтобы проверить наличие лишних страниц, просканируйте свой сайт с помощью Ahrefs Site Audit. Затем проверьте отчет Links на наличие ошибок «Сиротская страница (нет входящих внутренних ссылок)»:

Здесь показаны все страницы, которые одновременно индексируются и присутствуют в вашей карте сайта, но не имеют внутренних ссылок, указывающих на них.

ВАЖНО

Этот процесс работает только в том случае, если верны два условия:

1. Все страницы, которые вы хотите проиндексировать, находятся в ваших картах сайта
2. Вы установили флажок, чтобы использовать страницы в ваших картах сайта в качестве отправных точек для сканирования при настройке. проект в Ahrefs Site Audit.

Не уверены, что все страницы, которые вы хотите проиндексировать, есть в вашей карте сайта? Попробуйте следующее:

1. Загрузите полный список страниц вашего сайта (через вашу CMS)
2. Просканируйте ваш сайт (используя такой инструмент, как Ahrefs Site Audit)
3. Сделайте перекрестные ссылки на два списка URL-адресов

Любые URL-адреса не обнаружены во время сканирования, являются потерянными страницами.

Вы можете исправить потерянные страницы одним из двух способов:

1. Если страница не важна , удалите ее и удалите из карты сайта.
2. Если страница важна , включите ее во внутреннюю структуру ссылок вашего веб-сайта.

6) Исправить внутренние ссылки nofollow

Ссылки Nofollow — это ссылки с тегом rel = «nofollow». Они предотвращают передачу PageRank на целевой URL. Google также не сканирует ссылки nofollow.

Вот что Google говорит по этому поводу:

По сути, с использованием nofollow заставляет нас отбрасывать целевые ссылки из нашего общего графа сети. Однако целевые страницы могут по-прежнему отображаться в нашем индексе, если другие сайты ссылаются на них без использования nofollow или если URL-адреса отправлены в Google в файле Sitemap.

Короче говоря, вы должны убедиться, что следуют все внутренние ссылки на индексируемые страницы.

Для этого используйте инструмент Ahrefs Site Audit для сканирования вашего сайта.Проверьте отчет Links на предмет индексируемых страниц с ошибками «Страница имеет только входящие внутренние ссылки nofollow»:

Удалите тег nofollow из этих внутренних ссылок, предполагая, что вы хотите, чтобы Google проиндексировал страницу. Если нет, либо удалите страницу, либо не индексируйте ее.

Рекомендуемая литература: Что такое ссылка Nofollow? Все, что вам нужно знать (без жаргона!)

7) Добавьте «мощные» внутренние ссылки

Google обнаруживает новый контент, сканируя ваш веб-сайт.Если вы не укажете внутреннюю ссылку на рассматриваемую страницу, они не смогут ее найти.

Одно из простых решений этой проблемы — добавить на страницу несколько внутренних ссылок. Вы можете сделать это с любой другой веб-страницы, которую Google может сканировать и индексировать. Однако, если вы хотите, чтобы Google проиндексировал страницу как можно быстрее, имеет смысл сделать это с одной из ваших наиболее «мощных» страниц.

Почему? Потому что Google, вероятно, будет повторно сканировать такие страницы быстрее, чем менее важные страницы.

Для этого перейдите в раздел «Сайт» Ahrefs «, введите свой домен и перейдите в отчет Best by links .

Здесь показаны все страницы вашего веб-сайта, отсортированные по рейтингу URL (UR). Другими словами, сначала отображаются наиболее авторитетные страницы.

Просмотрите этот список и найдите соответствующие страницы, с которых можно добавить внутренние ссылки на рассматриваемую страницу.

Например, если бы мы хотели добавить внутреннюю ссылку на наше руководство по размещению гостевых сообщений, наше руководство по созданию ссылок, вероятно, предложило бы подходящее место для этого. Так получилось, что эта страница является 11-й по значимости страницей в нашем блоге:

Google увидит эту ссылку и перейдет по ней в следующий раз при повторном сканировании страницы.

pro tip

Вставьте страницу, с которой вы добавили внутреннюю ссылку, в инструмент проверки URL-адресов Google. Нажмите кнопку «Запросить индексирование», чтобы сообщить Google, что что-то на странице изменилось и что они должны повторно сканировать это как можно скорее. Это может ускорить процесс обнаружения внутренней ссылки и, следовательно, страницы, которую вы хотите проиндексировать.

8) Убедитесь, что страница ценная и уникальная

Google вряд ли проиндексирует некачественные страницы, потому что они не представляют ценности для пользователей.Вот что сказал об индексировании в 2018 году Джон Мюллер из Google:

Мы никогда не индексируем все известные URL, это нормально. Я бы сфокусировался на том, чтобы сделать сайт потрясающим и вдохновляющим, тогда все обычно получается лучше.

— 🍌 John 🍌 (@JohnMu) 3 января 2018 г.

Он подразумевает, что если вы хотите, чтобы Google проиндексировал ваш веб-сайт или веб-страницу, это должно быть «потрясающим и вдохновляющим».

Если вы исключили технические проблемы из-за отсутствия индексации, то причиной может быть отсутствие ценности.По этой причине стоит просмотреть страницу свежим взглядом и спросить себя: действительно ли эта страница ценна? Сможет ли пользователь найти ценность на этой странице, если щелкнет по ней в результатах поиска?

Если ответ на любой из этих вопросов отрицательный, то вам необходимо улучшить свой контент.

Вы можете найти больше потенциально некачественных страниц, которые не проиндексированы, с помощью инструмента аудита сайта Ahrefs и профилировщика URL. Для этого перейдите в Page Explorer в Ahrefs Site Audit и используйте следующие настройки:

Это вернет «тонкие» страницы, которые можно индексировать и которые в настоящее время не получают органического трафика.Другими словами, есть большая вероятность, что они не проиндексированы.

Экспортируйте отчет, затем вставьте все URL-адреса в URL Profiler и запустите проверку индексации Google.

ВАЖНО

Рекомендуется использовать прокси, если вы делаете это для большого количества страниц (т. Е. Более 100). В противном случае вы рискуете, что ваш IP-адрес будет забанен Google. Если вы не можете этого сделать, другой альтернативой является поиск в Google «бесплатной массовой проверки индексации Google». Есть несколько таких инструментов, но большинство из них ограничено <25 страницами за раз.

Проверьте все не проиндексированные страницы на предмет проблем с качеством. При необходимости улучшите, а затем запросите переиндексацию в Google Search Console.

Вы также должны стремиться исправить проблемы с дублирующимся контентом. Google вряд ли проиндексирует повторяющиеся или почти повторяющиеся страницы. Используйте отчет Дублированное содержимое в Аудите сайта, чтобы проверить наличие этих проблем.

9) Удалите некачественные страницы (для оптимизации «краулингового бюджета»)

Наличие на вашем сайте слишком большого количества некачественных страниц приводит только к потере краулингового бюджета.

Вот что Google говорит по этому поводу:

Потеря ресурсов сервера на [малоценных страницах] приведет к истощению активности сканирования со страниц, которые действительно имеют ценность, что может вызвать значительную задержку в обнаружении отличного содержания на сайте. .

Думайте об этом как об учителе, оценивающем эссе, одно из которых ваше. Если им предстоит оценить десять эссе, они довольно быстро доберутся до вашего. Если у них будет сотня, им потребуется немного больше времени. Если у них тысячи, их рабочая нагрузка слишком высока, и они, возможно, никогда не дойдут до оценки вашего эссе.

Google заявляет, что «сканирование бюджета […] — это не то, о чем должно беспокоиться большинство издателей», и что «если на сайте меньше нескольких тысяч URL-адресов, в большинстве случаев он будет сканироваться эффективно».

Тем не менее, удаление некачественных страниц с вашего веб-сайта никогда не бывает плохим. Это может только положительно повлиять на краулинговый бюджет.

Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

10) Создавайте качественные обратные ссылки

Обратные ссылки говорят Google, что веб-страница важна.В конце концов, если кто-то на него ссылается, значит, он должен иметь какую-то ценность. Это страницы, которые Google хочет проиндексировать.

Для полной прозрачности Google индексирует не только веб-страницы с обратными ссылками. Есть много (миллиарды) проиндексированных страниц без обратных ссылок. Однако, поскольку Google считает страницы с качественными ссылками более важными, они, скорее всего, будут сканировать — и повторно сканировать — такие страницы быстрее, чем те, у которых нет. Это приводит к более быстрой индексации.

У нас есть много ресурсов для создания качественных обратных ссылок в блоге.

Взгляните на несколько руководств ниже.

Индексирование ≠ ранжирование

Индексирование вашего веб-сайта или веб-страницы в Google не означает рейтинга или трафика.

Это разные вещи.

Индексирование означает, что Google знает о вашем веб-сайте. Это не значит, что они будут ранжировать его по каким-либо релевантным и стоящим запросам.

Вот где приходит SEO — искусство оптимизации ваших веб-страниц для ранжирования по конкретным запросам.

Короче говоря, SEO включает:

• Поиск того, что ищут ваши клиенты;
• Создание контента по этим темам;
• Оптимизация этих страниц под ваши целевые ключевые слова;
• Создание обратных ссылок;
• Регулярно переиздайте контент, чтобы он оставался «вечнозеленым».”

Вот видео, которое поможет вам начать работу с SEO:

… и некоторые статьи:

Заключительные мысли

Есть только две возможные причины, по которым Google не индексирует ваш веб-сайт или веб-страницу:

1. Технические проблемы мешают им сделать это
2. Они считают ваш сайт или страницу некачественными и бесполезными для своих пользователей.

Вполне возможно, что существуют обе эти проблемы.Однако я бы сказал, что технические проблемы встречаются гораздо чаще. Технические проблемы также могут привести к автоматическому созданию индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.

Тем не менее, выполнение приведенного выше контрольного списка должно решить проблему индексации в девяти случаях из десяти.

Просто помните, что индексирование ≠ ранжирование. SEO по-прежнему жизненно важен, если вы хотите ранжироваться по любым полезным поисковым запросам и привлекать постоянный поток органического трафика.

Как заставить Google мгновенно индексировать ваш новый веб-сайт

Хотите, чтобы на ваш сайт было больше обычного поискового трафика?

Готов поспорить, что да, мы все делаем!

Органический поисковый трафик имеет решающее значение для развития вашего веб-сайта и бизнеса.

Согласно некоторым исследованиям, около 53% трафика вашего сайта можно отнести к обычному поиску.

Но статистика не имеет большого значения, если ваш сайт вообще не отображается в результатах поиска.

Как вы индексируете свой новый сайт или блог в Google, Bing и других поисковых системах?

Что ж, у вас есть два варианта.

Вы можете использовать «черепаховый» подход — просто сядьте и подождите, пока это произойдет естественным образом, но это может занять недели или месяцы.

(Поверьте, я бывал там раньше — не весело.)

Или вы можете сделать это сейчас, давая вам больше времени и энергии для увеличения коэффициента конверсии, улучшения вашего социального присутствия — и, конечно же, написания и продвижения отличного и полезного контента.

Не знаю, как вы, но я бы предпочел, чтобы мои сайты были проиндексированы как можно быстрее, потому что это дает мне больше времени для расширения моей аудитории.

Именно благодаря этим стратегиям я увеличил количество посетителей этого блога до 600 000 в месяц так же быстро, как и я!

Хотите сделать то же самое?

Не сдавайтесь, потому что в этом пошаговом руководстве я рассказываю обо всем, что узнал о SEO и о том, как быстро проиндексировать ваш сайт!

Я расскажу, как заставить Google быстро проиндексировать наш веб-сайт, что приведет к увеличению органического поискового трафика и повышению рейтинга.

Приступим!

Зачем вам нужен Google для индексации вашего сайта?

Во-первых, очевидный ответ.

Если вы хотите, чтобы ваш сайт вообще отображался в результатах поиска, его необходимо проиндексировать.

Однако вы не хотите, чтобы ваш сайт индексировался только один раз. Вы хотите, чтобы поисковые системы продолжали переиндексировать ваш сайт.

Поисковые системы, такие как Google, не обновляются автоматически.

Они полагаются на пауков — маленькие кусочки компьютерного кода, которые каждая поисковая система отправляет, чтобы «сканировать» сеть (отсюда и «паук»).

Вам нужна эффективная частая скорость сканирования.

Работа паука — искать новые материалы в сети и обновлять уже проиндексированную версию вашего сайта. Этим «новым материалом» может быть новая страница на существующем сайте, изменение существующей страницы или совершенно новый сайт или блог.

Как только паук находит новый сайт или страницу, ему необходимо выяснить, о чем этот новый сайт или страница.

Еще на Диком Диком Западе ранней сети пауки поисковых машин были далеко не такими умными, как сегодня.Вы можете заставить паука проиндексировать и ранжировать вашу страницу, основываясь только на том, сколько раз конкретная поисковая фраза («ключевое слово») появлялась на странице.

Для сегодняшнего успеха контента нельзя полагаться на эти старые стратегии поисковой оптимизации.

Ключевое слово даже не обязательно должно быть в теле страницы. Многие люди оценивали торговую марку своего крупнейшего конкурента, просто вставляя десятки вариантов этой торговой марки в метатеги страницы!

К счастью для пользователей поиска Google и этичных владельцев веб-сайтов, те времена давно прошли.

Сегодня за наполнение ключевыми словами и метатегами вы будете наказаны, а не вознаграждены. А мета-теги ключевых слов на самом деле вообще не являются частью алгоритма (хотя все же есть веские причины их использовать).

Если вы не будете осторожны, ваш сайт может вообще исключить из индекса — это означает, что ваш сайт вообще не будет ранжироваться ни по одному ключевому слову.

В наши дни Google больше заботится об общем опыте пользователей на вашем сайте и о намерениях пользователей, стоящих за поиском — i.д., хочет ли пользователь что-то купить (коммерческое намерение) или чему-то научиться (информационное намерение)?

Они даже сделали Page Experience фактором ранжирования.

Не поймите меня неправильно — ключевые слова по-прежнему имеют значение. По словам Брайана Дина из Backlinko, важны и другие факторы — всего до 200. К ним относятся такие вещи, как качественные входящие ссылки, социальные сигналы (хотя и не напрямую) и действительный код на всех ваших страницах.

Ничего из этого не будет иметь значения, если пауки не смогут определить поисковые системы, где находятся ваши страницы, то есть они не будут отображаться в результатах поиска.

Вот почему индексирование веб-сайтов так важно.

Проще говоря, индексирование — это способ паука собирать и обрабатывать все данные со страниц и сайтов во время их обхода по сети.

Частое индексирование улучшает результаты поиска.

Паук отмечает новые документы и изменения, которые затем добавляются в поисковый индекс, поддерживаемый Google. Эти страницы добавляются только в том случае, если они содержат качественный контент и не вызывают никаких тревог из-за таких сомнительных действий, как наполнение ключевыми словами или создание кучи ссылок из источников с сомнительной репутацией.

Когда паук видит изменение на вашем веб-сайте, он обрабатывает как контент (текст) на странице, так и те места на странице, где размещены условия поиска. Он также анализирует теги заголовков, метатеги и атрибуты alt для изображений.

Затем этот паук добавляет или «индексирует» этот контент в Google.

Вкратце об индексировании. Это важный инструмент для веб-мастеров.

Когда поисковый пользователь приходит в поисках информации, вводя ключевые слова для поиска, алгоритм Google начинает работать.Затем алгоритм решает, где оценить страницу по сравнению со всеми другими страницами, связанными с этими ключевыми словами.

Частота индексации вашего сайта может повлиять на вашу эффективность в результатах поиска. Вы хотите, чтобы весь ваш последний контент всегда был доступен для тех, кто ищет, и для пауков Google.

Это краткая и несколько упрощенная версия того, как Google находит, анализирует и индексирует новые сайты, подобные вашему.

Многие другие поисковые системы, такие как Bing или Yahoo, следуют аналогичным процедурам, хотя могут быть различия в специфике, поскольку каждая имеет свой собственный алгоритм.

Какие факторы индексации имеют значение?

Вам нужен эффективный индекс для вашего веб-сайта.

Это означает, что вы хотите, чтобы пауки поисковых систем как можно быстрее находили ваш новый контент после того, как вы нажали кнопку «Опубликовать».

Вы можете проверить, как часто Google сканирует ваши страницы, войдя в Search Console.

Еще не настроили Google Search Console? Перейдите к шагу 2, чтобы узнать, как настроить свой веб-сайт.

В Search Console щелкните свой веб-сайт.Затем нажмите «Настройки»> «Статистика сканирования»> «Открыть отчет». Вы увидите следующие графики:

Первый график показывает, как часто Google сканирует ваш сайт.

График «Запросы сканирования» показывает, как часто Google сканирует мой сайт каждый день.

Как показывает практика, чем больше ползать, тем лучше.

Однако в некоторых случаях чрезмерное сканирование может перегрузить ресурсы сервера. Обычно это результат неправильной конфигурации сервера, а не проблемы с пауками Google.

Это очень редко, поэтому вам, вероятно, не стоит об этом беспокоиться. Google позволяет вам изменять скорость сканирования (только вниз, а не вверх), если это происходит с вами.

Итак, как мне увеличить скорость сканирования?

В последнее время я много публикую и обновляю старый контент, поэтому Google стремится получать все мои обновления и изменения как можно быстрее. Он учится чаще проверять меня.

Я также перешел на новый веб-хостинг в апреле, который намного быстрее, чем мой старый.

Чем быстрее загружается ваш сайт, тем быстрее Google может его проиндексировать!

Google хочет рекомендовать своим пользователям лучшие веб-сайты. Он ищет сайты, которые удобны для пользователей. Хотя это включает в себя множество факторов, очень важны качественный контент и скорость загрузки сайта.

Проще говоря:

Более быстрый сайт = лучший пользовательский опыт.

Лучший пользовательский опыт = более высокий рейтинг в результатах поиска.

Гораздо важнее, чем то, как часто Google индексирует ваш сайт, сколько страниц он индексирует.Вы хотите, чтобы как можно больше страниц вашего сайта было проиндексировано.

(Не волнуйтесь, ваша карта сайта позаботится об этом, о чем я подробно расскажу в шаге 7.)

Но сначала давайте начнем с самого начала. Следующие 18 шагов проведут вас через все, что вам нужно знать об индексировании вашего сайта.

Вам не обязательно делать все 18 шагов, чтобы иметь хорошо проиндексированный веб-сайт, но если вам интересно, как повысить рейтинг в Google, это единственное руководство, которое вам когда-либо понадобится!

Шаг 1. Мой сайт уже проиндексирован?

Если вы не создаете новый сайт, он, вероятно, уже проиндексирован.

Если вы не уверены, вот как это узнать.

Самый простой способ проверить это — выполнить поиск site: yourdomain.com в Google. Если Google знает, что ваш сайт существует и уже просканировал его, вы увидите список результатов, аналогичный тому, что был для NeilPatel.com на снимке экрана ниже:

Если Google еще не нашел ваш сайт, вы не получите никаких результатов, например:

Если ваш сайт уже проиндексирован, это хорошо, но, вероятно, его можно улучшить.

Остальные шаги в этом руководстве помогут вам убедиться, что ваш сайт проиндексирован в полной мере.

Шаг 2. Установка и настройка Google Analytics и Search Console

Если вы еще не знакомы с этими бесплатными инструментами Google, вот краткое описание.

Google Analytics: Измеряет статистику вашего веб-сайта, такую ​​как посетители, время, проведенное на сайте, какие страницы они просматривали, откуда они и т. Д.

Консоль поиска Google (ранее известная как Инструменты Google для веб-мастеров): Она позволяет отслеживать различные аспекты вашего веб-сайта, такие как время последнего сканирования, любые ошибки индексации, проблемы с безопасностью и т. Д.

Search Console также позволяет вам управлять некоторыми ключевыми аспектами вашего появления в результатах поиска и вручную отправлять карты сайта — все это я расскажу позже в этой статье.

Но сначала давайте приступим.

Если у вас уже есть Google Analytics и Search Console, нажмите здесь, чтобы перейти к Шагу 3: Создание стратегии контент-маркетинга.

Чтобы настроить Google Analytics, нажмите здесь и войдите в свою учетную запись Google.

Это может быть ваш @gmail.com или ваш адрес электронной почты @ mydomain.com, если вы используете сервис Google G Suite for Business.

Затем нажмите «Зарегистрироваться».

Введите имя и URL-адрес своего веб-сайта, затем нажмите «Получить идентификатор отслеживания» внизу страницы.

Вы увидите такую ​​страницу. Не паникуйте!

Есть несколько способов установить Google Analytics на свой веб-сайт.

Настройка Google Analytics

Если вы используете WordPress или другую систему управления контентом, которая запрашивает ваш идентификатор отслеживания Google Analytics, вам просто нужен номер в самом верху.В моем случае это UA-98962030-1.

Это не мой настоящий идентификатор отслеживания! Просто говорю, не размещайте это в Интернете! 😉

Плагин Google Analytics от MonsterInsights для WordPress очень прост в настройке.

Просто скачайте его, загрузите плагин в WordPress, активируйте его, и вы увидите этот экран.

Нажмите синюю кнопку «Аутентифицировать», и она проведет вас через все остальное.

Для настройки плагина у вас должен быть уже создан профиль Analytics, что мы и сделали на предыдущем шаге.

Если вы не используете WordPress или хотите добавить код Google Analytics вручную, вот как это сделать.

Вам необходимо поместить этот код (в красном поле) на каждую страницу вашего веб-сайта.

Самый простой способ сделать это — создать один файл с кодом в нем, а затем создать строку кода на каждой странице вашего веб-сайта, которая будет загружать этот файл.

Кусок торта, правда?

Не волнуйтесь, вот как это сделать!

Для этого шага вам необходимо иметь доступ к файлам вашего веб-сайта на сервере вашей хостинговой компании.Обычно это делается через FTP.

Откройте свой FTP-клиент (FileZilla — отличный, бесплатный) и войдите на свой сервер. Если у вас нет этой информации, вы можете создать учетную запись FTP в cPanel своего веб-хостинга или просто обратиться к своему веб-хостеру, чтобы попросить их предоставить информацию.

Ваша регистрационная информация должна выглядеть примерно так:

После подключения вы увидите список подобных файлов и папок.

Откройте новый текстовый файл (для этого подойдут Блокнот для Windows или TextEdit для Mac).Убедитесь, что для него установлено значение «Только обычный текст».

В TextEdit вы нажимаете «Формат» -> «Сделать обычный текст», чтобы сделать это.

Это действительно важно, потому что текстовые процессоры, такие как Word, могут добавлять в код форматирование, которое может испортить код на вашем сайте. При работе с кодом всегда используйте обычный текст .

Когда у вас будет обычный текстовый документ, вставьте код Google Analytics. В итоге вы получите:

Сохраните файл как analyticstracking.php. Убедитесь, что у него есть расширение.php, а не .txt.

Если ваш текстовый редактор по какой-то причине сохранил его с именем «analyticstracking.php.txt», просто переименуйте файл на своем компьютере в «analyticstracking.php».

Загрузите этот файл в корневой каталог через FTP (первая папка вашего веб-сайта).

Вам нужно добавить одну строку кода для каждого шаблона страницы, который у вас есть. Это «вызывает» только что созданный файл и обеспечивает отслеживание каждой страницы вашего веб-сайта, использующей этот шаблон, в Google Analytics.

Для этого загрузите все файлы шаблонов PHP для своего веб-сайта и отредактируйте их.

Если у вас есть один с именем header.php, который загружается на каждой странице, вам нужно сделать это только один раз!

Загрузите header.php.

Затем откройте загруженный файл в текстовом редакторе.

Найдите тег и начало, например:

Вставьте одну строку кода сразу после тега.

Скопируйте этот код:

И вставьте сюда:

Сохраните файл header.php и повторно загрузите его на свой веб-сайт.

Готово!

Если у вас нет файла header.php, вам нужно повторить этот процесс для каждого шаблона страницы php, который есть на вашем веб-сайте, например index.php, blog.php и т. Д.

Если вы используете WordPress, вы определенно в выигрыше. Все, что вам нужно сделать, это установить плагин.

Хорошо, нужно настроить еще кое-что, и мы перейдем к шагу 3.

Настройка консоли поиска Google

Теперь, когда мы настроили Google Analytics, пора добавить наш веб-сайт в Google Search Console (ранее известный как Google Webmaster Tools).

Щелкните здесь, чтобы перейти в Search Console. Войдите в свою учетную запись Google.

Вы увидите этот экран:

Нажмите «Начать сейчас».

Затем вам нужно будет подтвердить, что вы являетесь владельцем этого домена. Есть несколько способов сделать это.

По умолчанию он может показать вам вариант подтверждения через ваш веб-хостинг.

Щелкните раскрывающееся меню, чтобы найти поставщика доменного имени.

Если вашего нет в списке, вы можете нажать «Другое» (внизу).

Search Console затем попросит вас создать запись TXT, что потребует изменения конфигурации вашего домена.

Это немного над головой? Не волнуйтесь, у меня есть способ попроще!

Если вы все же хотите добавить запись TXT, вот как это сделать.

Щелкните «Альтернативные методы» вверху.

Есть два простых способа подтвердить свой домен: с помощью Google Analytics или с помощью загрузки файла HTML.

Я расскажу о них обоих.

Чтобы подтвердить с помощью Google Analytics, просто выберите его и нажмите «Подтвердить».

Google проверит вашу учетную запись Google Analytics, чтобы убедиться, что вы являетесь тем, кем себя называете, и если это так, вы увидите сообщение об успешном завершении.Убедитесь, что вы используете тот же аккаунт Google с Search Console, что и с Google Analytics.

Процесс загрузки файлов HTML по-прежнему довольно прост.

Щелкните, чтобы загрузить файл на свой компьютер на шаге 1, затем снова откройте программу FTP. Загрузите HTML-файл Google в свой корневой каталог.

Затем перейдите по URL-адресу, который Google дал вам, чтобы убедиться, что файл там. В моем случае это https://neilpatel.com/googlefba739b2a6dd0306.html.

Если вы загрузили его правильно, вы увидите имя файла в окне браузера.

Вернитесь в Search Console и нажмите «Подтвердить» внизу.

Вот и все!

Не забудьте оставить HTML-файл на вашем сервере. Это гарантирует, что ваш сайт будет оставаться подтвержденным в Search Console.

Есть еще две действительно важные вещи, которые вам нужно сделать сейчас:

• Добавьте обе версии своего домена neilpatel.com и www.neilpatel.com.
• Установите предпочтительный домен.

Зачем вам это нужно, спросите вы?

Это может вызвать ошибки сканирования, которых мы пытаемся избежать!

Добавить другую версию вашего URL-адреса просто — повторите тот же процесс, который я только что объяснил.В приведенном выше примере я подтвердил свой домен neilpatel.com. Поэтому я бы пошел в Search Console и проделал те же шаги, но вместо этого использовал бы neilpatel.com.

После добавления в Search Console и «yourdomain.com», и «www.yourdomain.com», вам необходимо установить предпочтительный домен.

Для этого нажмите на свой веб-сайт в Search Console.

В правом верхнем углу щелкните значок шестеренки и выберите Параметры сайта.

Выберите, хотите ли вы, чтобы ваши URL отображались с префиксом www.»Или без.

Я собираюсь показать вам все удивительные вещи, которые вы можете делать с помощью Search Console, позже в этой статье, так что держите эту вкладку открытой!

Но теперь нам нужно вернуться к основам маркетинга и поговорить о создании стратегии SEO для вашего контента.

Шаг 3. Создание стратегии контент-маркетинга

В ваших интересах иметь письменную стратегию контент-маркетинга, ориентированную на результаты поиска.

Но не верьте мне на слово.

От Института контент-маркетинга:

«Те, у кого есть задокументированная стратегия контент-маркетинга:

• С гораздо большей вероятностью считают себя эффективными в контент-маркетинге
• Чувствуют себя значительно менее сложными во всех аспектах контент-маркетинга
• Считают себя более эффективными в использовании всех тактик контент-маркетинга и каналов социальных сетей
• Способны оправдать расходы более высокий процент маркетингового бюджета на контент-маркетинг »

Все это абсолютно верно.Что касается меня, я чувствую себя намного лучше, когда у меня есть письменный план действий, на который я могу ссылаться и отслеживать свой успех.

Мои блоги и многочисленные предприятия не росли бы так быстро, как они, без письменного плана.

Помимо того, что вы сосредотачиваетесь на своих целях, документированная стратегия содержания также помогает вам индексировать страницы вашего сайта, создавая новые страницы содержания.

Согласно отчету HubSpot «Not Another State of Marketing Report 2020», 60% контент-маркетологов заявили, что контент очень важен или чрезвычайно важен для их общей стратегии.

Одно исследование показало, что у компаний, использующих контент-маркетинг, коэффициент конверсии в шесть раз выше.

Делать все возможное, чтобы публиковать ценный, интересный и полезный контент, а затем делать все возможное, чтобы ваши потенциальные клиенты видели его.

Вот пример.

Когда я создаю и публикую на своем сайте профессиональную инфографику, и она публикуется на другой веб-странице со ссылкой на мою страницу, я получаю «кредит» контент-маркетинга за оба сообщения.

Поскольку это инфографика, у меня больше шансов привлечь аудиторию на обоих сайтах.

Инфографика

имеет один из самых высоких показателей вовлеченности читателей. Доказано, что большинство людей тратят больше времени на просмотр инфографики, чем на чтение текста на странице.

Но вы все это читаете, верно ?!

Инфографика распространяется в социальных сетях примерно в 3 раза чаще, чем любым другим типом контента.

Когда вы разрабатываете свою стратегию контент-маркетинга, блоггинг обязательно должен быть в списке.

Но вам также необходимо учитывать контент, который вы будете публиковать на других веб-сайтах. Это не только помогает увеличить ваш трафик, но также помогает повысить скорость индексации и получение входящих ссылок.

Вот несколько примеров внешнего контента, который можно использовать в вашем плане:

• Гостевые посты на других сайтах в вашей нише
• Пресс-релизы, отправленные на сайты, которые публикуют такой контент
• Статьи на сайтах высококачественных каталогов статей (Примечание: будьте осторожны здесь — подавляющее большинство каталогов статей , а не высокое качество и может навредить вашему бренду, репутации и поисковой оптимизации.)
• Некоторые авторитетные каталоги — это Medium и HubPages.
• Видео, размещенные на Vimeo или на вашем канале YouTube

Конечно, любой контент , на котором вы размещаете свое имя или бренд, должен быть высокого качества и опубликован на авторитетном сайте с хорошей репутацией.

В противном случае вы нарушите цель поисковой оптимизации и нанесете ущерб своему трафику и бренду.

Контент, опубликованный на сайтах со спамом и имеющий обратную ссылку на ваш сайт, подсказывает результатам поиска Google, что ваш сайт также является спамом.

Примерами сайтов с хорошей репутацией, на которых можно публиковать гостевые сообщения, могут быть Forbes, Entrepreneur, Smashing Magazine и т. Д. Это хорошо известные веб-сайты с репутацией качественного контента, а это именно то, что вы хотите ассоциировать со своим брендом.

Не очень хорошие места для публикации? Сайты, полные некачественных красных флажков: загроможденные рекламой, множеством грамматических или орфографических ошибок или неизвестные в той отрасли, на которую вы ориентируетесь.

Я не хочу называть здесь никаких имен, но вашего здравого смысла должно хватить, чтобы сказать вам, что такое сайт, рассылающий спам.Например, сайт с именем neilsbestmarketingadvice101.tumblr.com, вероятно, мало что вам даст, верно?

Хорошо продуманный план контент-маркетинга поможет вам избежать безумной спешки по публикации большего количества контента. Это ставит вас на место водителя поисковой оптимизации, поэтому вы можете сосредоточиться на привлечении потенциальных клиентов и повышении коэффициента конверсии.

Создание стратегии письменного контента не должно быть трудным.

Вот фреймворк, который я использую для своего:

• Каковы ваши цели? Укажите цели SMART и способы измерения своего прогресса (т.е., метрики).
• Кто ваша целевая аудитория? Профили или личности клиентов важны для понимания вашей аудитории и того, что они хотят / в чем они нуждаются.
• Какие типы контента вы будете создавать? Вы должны быть уверены, что доставляете контент, который хочет видеть ваша целевая аудитория.
• Где это будет опубликовано? Конечно, вы будете размещать свой собственный контент на своем веб-сайте, но вы также можете обратиться к другим сайтам или использовать такие платформы, как YouTube, LinkedIn и Slideshare.
• Как часто вы будете публиковать свой контент? Гораздо лучше последовательно выпускать одну хорошо написанную и качественную статью в неделю, чем публиковать каждый день в течение недели, а затем ничего не публиковать в течение месяца. Последовательность — ключ к успеху.
• Какие системы вы выберете для публикации своего контента? Системы — это в основном повторяемые процедуры и шаги для выполнения сложной задачи. Они помогут вам сэкономить время и быстрее писать контент, чтобы вы могли не отставать от графика.Все, что помогает вам публиковать контент за меньшее время, не жертвуя качеством, улучшит вашу прибыль.
• Какие инструменты вы будете использовать? Укажите инструменты и технологии ведения блогов / контента, которые вы будете использовать, и то, как они вписываются в вашу систему.

После того, как вы задокументируете свой план контент-маркетинга, вам станет проще публиковать качественный контент по согласованному графику. Это поможет быстрее проиндексировать новые веб-страницы вашего сайта.

Шаг 4. Начните вести блог

Зачем нужен блог?

Это просто: блоги — это трудолюбивые SEO-машины.Контент блога сканируется и индексируется быстрее, чем статические страницы.

Блоги также привлекают больше трафика. Компании, которые ведут блог, регулярно привлекают на свои сайты на 55% больше посетителей, чем те, которые этого не делают.

Блоги подходят для любого бизнеса, отрасли или ниши, а также почти для всех бизнес-моделей — даже для сайтов B2C и электронной коммерции.

Не бойтесь вести блог.

Да, это требует постоянных усилий. Вы должны регулярно писать (или передавать на аутсорсинг) качественные и подробные сообщения в блоге.

Награды, как я выяснил, того стоят.

Если у вас есть сайт электронной торговли, ведение блога не должно быть очень сложным или трудным.

Например, когда вы создаете страницу нового продукта, напишите и опубликуйте в блоге сообщение о новом продукте. Добавьте качественные изображения товара и ссылку на страницу товара. Это помогает быстрее проиндексировать страницу продукта поисковыми системами.

Еще одна отличная стратегия ведения блога для электронной коммерции — писать пост каждый раз, когда покупатель задает вам вопрос.

Для более ориентированной на продажи стратегии поделитесь ссылкой на этот пост в блоге с другими блоггерами и влиятельными лицами, чтобы известить о них. Возможно, они захотят разместить ваш продукт в своих блогах, которые, опять же, являются отличным источником ссылок и трафика и положительно повлияют на вашу скорость сканирования.

Шаг 5. Используйте внутренние ссылки на своем веб-сайте

Внутренние ссылки, то есть ссылки на страницы вашего собственного веб-сайта, — еще один отличный способ быстро проиндексироваться и повысить свою позицию в обычных результатах поиска.

Одним из очевидных источников внутренних ссылок является навигация по вашему сайту.

Важно структурировать навигацию по веб-сайту так, чтобы она была понятна Google.

Ваша навигация должна следовать предсказуемому потоку, например, Домашняя страница -> Категория -> Дополнительная страница.

Очевидно, что все элементы должны быть связаны. Итак, если вы веб-дизайнер, ваша навигация может выглядеть так.

Домашняя страница -> Услуги веб-дизайна -> Дизайн WordPress

Видите, как все это связано и имеет смысл?

Еще одним ключевым фактором является правильная структура ваших URL-адресов.Эмпирическое правило Google — сделать их максимально простыми и понятными.

Так что, если это имеет смысл для вас, человека, это должно иметь смысл и для Google.

Еще один отличный способ ссылаться на ваш контент — это сообщения в блогах.

Люди обычно связывают фразы в своих блогах с соответствующими темами, например, если бы я хотел предложить вам дополнительную информацию о структурировании URL-адресов.

Или я мог бы создать такую ​​строку:

Связано: Имеет ли значение структура URL-адреса? Ответ, управляемый данными

Создает ссылки, которые заставляют пауков Google возвращаться и сканировать эти страницы снова.Кроме того, это положительно улучшает пользовательский опыт. Ваши читатели оценят дальнейшие ресурсы.

Не забывайте всегда помнить об удобстве использования. Это идет рука об руку с SEO. У Google есть все эти правила и способы работы, потому что он пытается предоставить своим пользователям наилучшие результаты и дать им ответы, которые они ищут.

Вы должны сосредоточиться на одном и том же!

Шаг 6. Продвигайте публикацию вашего контента в социальных сетях

Естественно, побуждать людей делиться вашим контентом в социальных сетях — это хорошо.Совершенно уверен, что мне не нужно убеждать вас в этом!

Он знакомит с вашим контентом новых людей, привлекает их на ваш сайт, и это тот контент, который люди хотят видеть больше всего.

Но публикация ваших постов в социальных сетях также имеет преимущества для SEO, поскольку создает обратные ссылки на ваш контент.

Что, если вы внимательно … говорит паукам Google проиндексировать ваш сайт

бонусных балла, если вы уже догадались.

Сейчас ведутся споры о том, насколько ссылки в социальных сетях влияют на ранжирование в обычном поиске.

Google высказал неоднозначные мнения по этому поводу, заявив, что сначала в 2015 году они вообще не учитывали публикации в социальных сетях для ранжирования в органическом поиске, а затем заявили, что они сделали это.

«Да, мы используем это как сигнал. Он используется как сигнал в нашем органическом рейтинге и рейтинге новостей. Мы также используем его, чтобы сделать наши новости универсальными, отмечая, сколько людей поделились статьей ».

Мэтт Каттс, бывший известный Google, сказал несколько лет назад:

Я снял видео еще в мае 2010 года, где сказал, что мы не использовали «социальные сети» в качестве сигнала, и в то время мы не использовали это как сигнал, но сейчас мы снимаем это на пленку в декабре. 2010, и мы используем это как сигнал.

Bing, с другой стороны, очень четко дал понять, как он использует ссылки социальных сетей в рейтинге результатов поиска, известные как «социальные сигналы».

Многие маркетологи считают, что социальные сигналы являются важным фактором ранжирования, и я один из них.

Обмен в соцсетях помог мне значительно расширить мой блог. Когда я основал NeilPatel.com, я начал с нуля и быстро увеличил свою аудиторию до 60 000 читателей в месяц за 2 месяца.

Сейчас у меня в среднем более 20 миллионов посещений в месяц.

Я приписываю большую часть своего успеха социальному обмену и положительному росту SEO, который я получил благодаря социальным сигналам, ссылкам и повышенной скорости индексации страниц.

В любом случае социальный обмен имеет много других преимуществ для вашего веб-сайта, так что просто сделайте это!

Шаг 7. Добавьте плагин Sitemap, чтобы Google индексировал ваш сайт

Во-первых, давайте поговорим о том, что такое карта сайта.

Вы, несомненно, видели слово «карта сайта» раньше, но, возможно, вы никогда не знали, что именно оно означает и как оно соотносится с поисковой оптимизацией.

Карта сайта — это файл, который сообщает Google о файлах на вашем веб-сайте, в том числе о том, как они соотносятся друг с другом. Это упрощает сканирование и индексирование вашего сайта Google.

Карта сайта — это в основном список (в формате XML) всех страниц вашего сайта . Его основная функция — сообщать поисковым системам, когда что-то изменилось — будь то новая веб-страница или изменения на определенной странице, — а также то, как часто поисковая система должна проверять наличие изменений.

Влияют ли карты сайта на ваш поисковый рейтинг? Могут, но ненамного.

Они действительно помогают вашему сайту быстрее индексироваться с более эффективной скоростью сканирования.

В современном мире поиска существует множество мифов о поисковой оптимизации, которых следует опасаться. Но одно остается неизменным: при прочих равных, отличный контент поднимется наверх, как сливки.

Карты сайта

помогают сканировать и индексировать ваш контент, чтобы он мог быстрее подняться на вершину поисковой выдачи, согласно блогу Google для веб-мастеров.

По словам Google, «отправка файла Sitemap помогает убедиться, что Google знает об URL-адресах на вашем сайте.”

Это гарантия, что ваш сайт будет немедленно проиндексирован? Нет. Но это определенно эффективный инструмент для веб-мастеров, который помогает в этом процессе.

Кейси Генри задался вопросом, насколько карты сайта повлияют на скорость сканирования и индексирование, поэтому он решил провести небольшой эксперимент.

Кейси поговорил с одним из своих клиентов, который вел довольно популярный блог, используя как WordPress, так и плагин Google XML Sitemaps Generator для WordPress (подробнее об этом ниже).

С разрешения клиента Кейси установил скрипт отслеживания, который отслеживал действия робота Googlebot на сайте.Он также отслеживал, когда бот обращался к карте сайта, когда она была отправлена, и каждую страницу, которая была просканирована. Эти данные хранились в базе данных вместе с отметкой времени, IP-адресом и пользовательским агентом.

Клиент просто продолжил свой обычный график публикации (около двух или трех сообщений в неделю).

Кейси назвал результаты своего эксперимента не чем иным, как «поразительными» с точки зрения поисковой оптимизации.

Но судите сами: когда карта сайта не была отправлена, Google потребовалось в среднем 1375 минут, чтобы найти, просканировать и проиндексировать новый контент.

Когда была отправлена ​​карта сайта? Это среднее значение упало до 14 минут.

Как часто вы должны сообщать Google, чтобы он проверял наличие изменений, отправляя новую карту сайта? Не существует твердого правила.

Однако некоторые виды контента требуют более частого сканирования и индексации.

Например, если вы добавляете новые продукты на сайт электронной торговли, и у каждого из них есть собственная страница продукта, вам нужно, чтобы Google часто проверял их, увеличивая скорость сканирования.То же самое верно и для сайтов, которые регулярно публикуют горячие или свежие новости, которые постоянно конкурируют в запросах поисковой оптимизации.

Но есть гораздо более простой способ создать и отправить карту сайта. Если вы используете WordPress, просто установите и используйте плагин Google XML Sitemaps.

Его настройки позволяют указать плагину, как часто карта сайта должна создаваться, обновляться и отправляться в поисковые системы. Он также может автоматизировать процесс для вас, так что всякий раз, когда вы публикуете новую страницу, карта сайта обновляется и отправляется.

Другие инструменты карты сайта, которые вы можете использовать, включают Генератор XML-карт сайта, онлайн-инструмент, который должен работать для любого типа веб-сайтов.

Получив карту сайта, вы хотите отправить ее в Google Search Console, о чем мы поговорим дальше.

Шаг 8. Отправьте файл Sitemap в Search Console

Очень важно, чтобы ваша карта сайта была актуальной для Google Search Console. Я люблю заходить раз в 2 недели или, по крайней мере, ежемесячно, и обновлять его.

Еще не зарегистрированы в Google Search Console? Вернитесь к шагу 2, чтобы узнать, как это сделать.

Щелкните URL-адрес, чтобы перейти на панель управления для этого сайта. Слева в разделе «Индекс» нажмите «Карты сайта». Вы увидите уже отправленные в Google карты сайта, а также добавите новую карту сайта.

Для следующего шага вам понадобится URL-адрес вашей карты сайта. Если вы используете плагин для WordPress, эта информация будет доступна в его настройках.

Обычно это ваш домен.ru / sitemap.xml.

Как я упоминал выше, вы также можете использовать веб-сайт, такой как XML-Sitemaps.com, для его создания. Для этого просто введите свой URL и выберите периодичность изменения.

Частота изменения просто говорит Google, как часто он должен индексировать ваш сайт. Это всего лишь предложение Google, и паук должен определить, когда он вернется, чтобы снова проиндексировать ваш сайт.

Как только он предоставит вам файл sitemap.xml, загрузите его на свой веб-сайт через FTP.

Получив URL-адрес карты сайта, введите его в Google Search Console.

После отправки вы увидите это внизу страницы.

Когда Google завершит его индексирование, столбец «Обработано» изменится с «Ожидание» на дату, когда он был проиндексирован.

Как видите, только 294 из 473 моих веб-страниц были проиндексированы! Будем надеяться, что за это время паук подберет их больше. Однако не беспокойтесь, если вы увидите похожую статистику — некоторые из этих страниц, вероятно, вы и не хотите индексировать (подробности см. В шаге 17!).

Возьмите за привычку отправлять новую карту сайта не реже одного раза в месяц.

Вы также можете использовать Инструменты Bing для веб-мастеров, чтобы сделать то же самое с Bing. Хорошо бы охватить все ваши базы, тем более что Bing — вторая по популярности поисковая система после Google!

Шаг 9. Создайте каналы социальных сетей

Есть ли у вас профили в социальных сетях для вашего сайта или блога? Если нет, то сейчас самое время.

Почему? Потому что, как мы узнали на шаге 6, один из компонентов поисковой оптимизации — это внимание к социальным сигналам.

Эти сигналы могут побудить поисковые системы сканировать и индексировать ваш новый сайт.

Более того, социальные сигналы помогут вам повысить рейтинг ваших страниц в результатах поиска.

К настоящему времени очевидно, что надежный план маркетинга в социальных сетях помогает SEO. Но социальные профили на вашем веб-сайте также дают вам другое место для добавления ссылок на ваш сайт или блог.

профилей Twitter, страниц Facebook, профилей LinkedIn или страниц компаний, профилей Pinterest, каналов YouTube и особенно профилей или страниц Google+ — все это легко создать и является идеальным местом для добавления ссылок, указывающих на ваш веб-сайт.

Если вы не хотите создавать новые профили на социальных сайтах для своего нового сайта или блога, вы также можете просто добавить ссылку нового сайта к своим существующим профилям, чтобы увеличить скорость сканирования.

Однако я настоятельно рекомендую создавать новые профили для проектов. Помимо того, что он хорош для SEO, он отлично подходит для брендинга.

Это, вероятно, само собой разумеется, но если вы создаете эти каналы в социальных сетях, будьте готовы также регулярно обновлять их, добавляя новый контент.

Шаг 10. Используйте robots.txt

Если вы не являетесь опытным программистом или разработчиком, возможно, вы видели файл с именем robots.txt в файлах своего домена и задавались вопросом, что это такое и для чего он нужен.

Часть «что это такое» очень проста. Это простой текстовый файл, который должен находиться в корневом каталоге вашего домена. Если вы используете WordPress, он будет находиться в корневом каталоге вашей установки WordPress.

Часть «что он делает» немного сложнее.По сути, robots.txt — это файл, который дает строгие инструкции для роботов поисковых систем о том, какие страницы они могут сканировать и индексировать — и от каких страниц следует держаться подальше.

Когда поисковые роботы находят этот файл в новом домене, они читают содержащиеся в нем инструкции, прежде чем делать что-либо еще.

Если они не находят файл robots.txt, поисковые роботы предполагают, что вы хотите просканировать и проиндексировать каждую страницу.

Теперь вы можете спросить: «С какой стати мне нужно, чтобы поисковые системы , а не , индексировали страницу на моем сайте?» Это хороший вопрос!

Короче говоря, это потому, что не каждую страницу, существующую на вашем сайте, следует считать отдельной страницей для целей поиска.(Подробнее об этом позже!)

Ваш первый шаг — убедиться, что на вашем новом сайте есть файл robots.txt. Вы можете сделать это либо по FTP, либо щелкнув свой файловый менеджер через CPanel (или аналогичный, если ваша хостинговая компания не использует CPanel).

Если его там нет, вы можете легко создать его с помощью текстового редактора, такого как Блокнот.

Примечание: Очень важно использовать только текстовый редактор, а не что-то вроде Word или WordPad, которые могут вставлять в ваш документ невидимые коды, которые действительно все испортят.

WordPress-блоггеры могут оптимизировать свои файлы robots.txt с помощью надежного плагина WordPress, такого как плагин Yoast для SEO.

Формат файла robots.txt довольно прост. В первой строке обычно указывается пользовательский агент, который представляет собой просто имя поискового бота — например, Googlebot или Bingbot. Вы также можете использовать звездочку (*) в качестве идентификатора подстановочного знака для всех ботов. Этот тип плагина WordPress — эффективный инструмент для веб-мастеров.

Далее идет строка разрешающих или запрещающих команд.Они сообщают поисковым системам, какие части они должны сканировать и индексировать («Разрешить»), а какие — игнорировать («Запрещать»).

Эти правила гарантируют, что только те страницы, которые вы хотите проиндексировать, попадут в результаты поиска.

Итак, напомним: функция robots.txt заключается в том, чтобы сообщать поисковым системам, что делать с контентом / страницами вашего сайта. Но помогает ли это проиндексировать ваш сайт?

Суровый Агравал из ShoutDreams Media говорит:

Да.

Он смог проиндексировать сайты в течение 24 часов, используя комбинацию стратегий, включая роботов.txt и методы SEO на странице.

При этом важно быть очень осторожным при редактировании файла robots.txt, потому что легко ошибиться, если вы не знаете, что делаете.

Неправильно настроенный файл может скрыть весь ваш сайт от поисковых систем. Это полная противоположность тому, что вы хотите! Вы должны понимать, как правильно редактировать файл robots.txt, чтобы не снизить скорость сканирования.

Вы можете нанять опытного разработчика, который позаботится об этой работе, и оставить его в покое, если вам не нравится риск навредить вашему SEO.

Если вы действительно хотите попробовать это самостоятельно, вы можете использовать инструмент Google robots.txt, чтобы убедиться, что ваш файл правильно закодирован.

Шаг 11. Индексируйте свой сайт с помощью других поисковых систем

Вы также можете воспользоваться прямым подходом и отправить URL своего сайта в поисковые системы.

Прежде чем вы это сделаете, вы должны знать, что существует множество разногласий по поводу ручной отправки URL сайта как метода индексации сайта.

Некоторые блоггеры полагают, что это как минимум ненужно, если не вредно.

В большинстве случаев, если ваш сайт работает дольше недели, поисковые системы его уже нашли. Отправлять вручную бессмысленно, а платить компаниям за вас — это кража.

Ручная отправка в поисковую систему также может быть вредной, когда вы размещаете свой сайт на сайтах бесплатной отправки, которые предлагают разместить ваш сайт в нескольких поисковых системах. Эти ссылки могут быть некачественными и отрицательно сказаться на вашем SEO.

Видите все эти случайные каталоги и веб-сайты, куда будет отправлен ваш сайт?

Если эти сайты рассматриваются Google как спам, наличие с них ссылок на ваш сайт повредит вашему SEO-рейтингу.Google накажет вас за «привязанность» к этим сайтам.

Поскольку есть и другие методы, которые работают эффективно, большинство блоггеров и владельцев сайтов игнорируют этот шаг.

С другой стороны, это не займет много времени и не повредит вашему SEO, если вы просто отправляете данные в Google, Bing, Yahoo или другие очень уважаемые веб-сайты.

Чтобы отправить URL-адрес вашего сайта в Google, просто попросите Google повторно просканировать ваши URL-адреса с помощью обновления карты сайта или используйте инструмент проверки URL-адресов.

Примечание: раньше Google позволял вам напрямую отправлять URL-адреса для индексации, но теперь этого не делает.

Шаг 12. Поделитесь своим контентом на агрегаторах

Агрегаторы контента — это веб-сайты, которые действуют как поисковая система для контента, отправленного пользователями.

Это означает, что люди отправляют свой контент на эти сайты, а затем посетители могут искать и находить контент от людей со всего мира. Это огромные сети с доступным для поиска контентом.

Хорошо известные примеры — Reddit и Medium.

Размещение вашего контента на агрегаторах — отличный источник ссылок и новых контактов, как и социальные сети.

Некоторые другие агрегаторы, на которых вы можете поделиться своим контентом:

Medium — также отличное место для публикации вашего контента. Для получения более подробной информации ознакомьтесь с моим полным руководством по увеличению посещаемости вашего веб-сайта с помощью Medium.

Шаг 13: Делитесь ссылкой на свой веб-сайт везде

Еще один простой способ получить ссылки на ваш новый сайт или блог — это обновления вашего собственного социального статуса.

Конечно, эти ссылки будут nofollow, но они все равно будут учитываться для целей оповещения об индексировании, поскольку мы знаем, что Google и Bing, по крайней мере, отслеживают социальные сигналы с веб-страниц.

Старая поговорка «ваша сеть — это ваш собственный капитал» также применима здесь. Если вы только начинаете, вашими первыми клиентами могут стать члены семьи, друзей или знакомых, поэтому не стесняйтесь делиться своим новым сайтом в своих личных аккаунтах в социальных сетях.

Если вы используете Pinterest, выберите высококачественное изображение или снимок экрана со своего нового сайта.

Добавьте URL-адрес и оптимизированное описание (т.е. убедитесь, что вы используете подходящие ключевые слова для своего сайта) и закрепите его либо на существующей доске, либо на новой, которую вы создаете для своего сайта.

Мне нравится, как Whole Foods использует Pinterest для взаимодействия со своей целевой аудиторией (например, гурманами и любителями натуральных рецептов). У них есть доски для каждой темы, включая текущие праздники и сезонные тенденции.

Если вы на YouTube, проявите творческий подход! Запишите короткий видеоролик, представляющий ваш сайт и подчеркивающий его особенности и преимущества. Затем добавьте URL-адрес в описание видео.

Social Media Examiner предлагает поместить ваш URL в первую строку описания.

Я также рекомендую использовать правильные ключевые слова в заголовке и описании.

Если у вас есть существующий список рассылки из другой компании, относящейся к той же нише, что и ваш новый сайт, вы можете разослать по всему списку рассылку, представляя ваш новый сайт и включая ссылку.

Джон Морроу, известный Copyblogger, сделал это со своим новым сайтом Unstoppable.me. Он составил список адресов электронной почты тысяч людей из своих многочисленных предприятий и успешно использовал его для привлечения трафика на свое новое предприятие.

Когда он опубликовал свой первый пост, он разослал электронное письмо своим подписчикам с других своих веб-сайтов, чтобы сообщить им о своем новом сайте.

Он также использовал раздел биографии на своем сайте SmartBlogger, чтобы привлечь внимание к своему новому блогу.

Его первая публикация на Unstoppable.me собрала более 60 000 репостов в Facebook и 3 000 репостов в Twitter всего за первый месяц.

Наконец, не забывайте о своей личной учетной записи электронной почты. Добавьте свой новый URL-адрес и имя сайта в подпись электронной почты.Это просто, но работает.

Шаг 14. Настройка RSS-канала

Что такое RSS?

RSS — это автоматический канал содержания вашего веб-сайта, который обновляется, когда вы публикуете новое сообщение в блоге. Это расшифровывается как Really Simple Syndication или Rich Site Summary, и он подходит как пользователям, так и владельцам сайтов.

Как это влияет на индексирование и сканирование?

Что ж, прежде чем мы перейдем к этому, давайте проясним одну вещь: многие думают, что RSS мертв.

Число пользователей неуклонно снижается с тех пор, как Google убил Google Reader в 2013 году.Я думаю, что RSS развивается, а не умирает.

RSS обычно помогает увеличить читаемость и коэффициент конверсии, но он также может помочь проиндексировать ваши страницы .

Для пользователей RSS-каналы предоставляют гораздо более простой способ получить большой объем контента за более короткий промежуток времени.

Пользователи могут подписаться на ваш RSS-канал в своей любимой программе для чтения RSS и автоматически получать ваши новые сообщения. Популярные программы чтения RSS — Feedly и Feeder.

Как владелец сайта, вы получаете мгновенное распространение нового контента и возможность для читателей подписаться на вас, не отказываясь от своего адреса электронной почты, что не нравится некоторым людям.

Хотя вы по-прежнему хотите сосредоточить большую часть своих усилий на создании списка рассылки, предложение подписки на RSS-канал улучшает пользовательский опыт, предоставляя людям, заботящимся о конфиденциальности, еще один вариант подписки на вас.

Рассматривая RSS-канал, вы должны следовать нескольким рекомендациям:

• Решите, хотите ли вы показывать полное содержание сообщения или отрывки. Если вы пишете длинный контент (более 2000 слов), вам, скорее всего, следует выбрать только отрывки в своем RSS-канале.
• Убедитесь, что ваш канал включает изображения , иначе ваши подписчики могут упустить ценную инфографику или другую графику, необходимую для понимания сообщения.

Настройка RSS-канала с помощью Feedburner (собственный инструмент Google для управления RSS) помогает уведомить Google о том, что у вас есть новое сообщение в блоге или страница, готовая к сканированию и индексированию.

Чтобы создать RSS-канал для своего сайта, перейдите на Feedburner. Войдите в свой аккаунт Google.

Введите свой URL-адрес в поле и нажмите Далее.

Дайте своему каналу заголовок и URL-адрес Feedburner (это будет публичный адрес вашего RSS-канала).

После этого вы увидите сообщение об успешном использовании нового URL-адреса Feedburner. Чтобы заставить людей подписаться на него, просто укажите ссылку на этот URL.

Например, у вас может быть кнопка на вашем веб-сайте с надписью «Подписаться через RSS» и ссылкой на этот URL.

Шаг 15. Разместите свой веб-сайт в каталогах

Вы, вероятно, уже знаете, что размещение вашего нового URL в каталогах блогов может помочь вашему сайту «быть найденным» новыми потенциальными пользователями.Разве я не говорил тебе не делать этого несколько шагов назад?

Дело в том, что ваш веб-сайт можно проиндексировать быстрее, если вы все сделаете правильно.

Давным-давно бесплатные каталоги блогов засоряли цифровой ландшафт. Существовали буквально сотни — если не тысячи — этих сайтов, и большинство из них практически не представляли никакой ценности для читателей блогов.

Проблема качества стала настолько серьезной, что в 2012 году Google удалил многие бесплатные каталоги сайтов из своего индекса, правильно понизив рейтинг веб-страниц с небольшой ценностью контента.

Moz изучил проблему, проанализировав 2678 каталогов, и пришел к заключению, что «из 2678 каталогов только 94 были забанены — не так уж и плохо.

Однако было еще 417 дополнительных каталогов, которые избежали блокировки, но были наказаны ».

Так что же ответ?

Если вы собираетесь отправлять в каталоги, убедитесь, что вы отправляете только в авторитетные каталоги с достойным рейтингом.

Списки лучших каталогов, составленные отраслевыми и авторитетными блогами, могут помочь вам отделить хорошее от плохого, но убедитесь, что список, который вы используете, актуален.

Например, этот от Harsh Agrawal был обновлен совсем недавно, в 2019 году.

Другие варианты, которые вы, возможно, захотите изучить, — это TopRank, на котором есть огромный список сайтов, на которые вы можете отправить свой RSS-канал и блог; Technorati, который является одним из лучших каталогов блогов; и — после того, как вы опубликовали приличное количество высококачественного контента — субдомен Alltop для вашей ниши или отрасли.

Отправка на высококачественные сайты с приличными рейтингами авторитета домена может не только открыть ваш контент для совершенно новой аудитории, но также предоставить входящие ссылки, которые могут подтолкнуть поисковые системы к сканированию и индексации вашего сайта.

Самый простой способ разместить свой сайт сразу в нескольких каталогах — воспользоваться бесплатным сервисом Ping O Matic.

Ping O Matic уведомляет каталоги о том, что ваш веб-сайт изменился и что они должны его проиндексировать. Это займет около 30 секунд, и вот как это сделать.

Введите название вашего блога, URL-адрес домашней страницы и URL-адрес RSS (если он у вас есть), как это. В разделе Services to Ping выберите каталоги, которые подходят для вашего сайта:

Нажмите «Отправить пинг», и все готово.

Шаг 16. Часто проверяйте ошибки сканирования Google

Этот шаг действительно важен для поддержания частоты индексирования. Я люблю проверять свои веб-сайты на наличие ошибок сканирования хотя бы раз в месяц.

Чтобы проверить наличие ошибок сканирования, откройте Search Console.

Слева нажмите «Настройки»> «Статистика сканирования»> «Открыть отчет».

На странице статистики сканирования вы можете узнать, как часто Google индексирует ваш веб-сайт, и это определенно то, за чем нужно следить.

Например, если мои результаты растут, это означает, что Google теперь индексирует меня чаще — это хорошо. Но если ваш график имеет тенденцию к снижению, это может быть признаком того, что вам нужно опубликовать больше контента или отправить новую карту сайта.

Затем посмотрите в разделе «Индекс» и нажмите «Покрытие».

На этом экране отображаются все ошибки, с которыми робот Googlebot столкнулся при сканировании вашего сайта, например ошибки 404.

Вот то, что вам следует отслеживать хотя бы раз в месяц:

• Ошибки сканирования
• Среднее время ответа
• Статистика сканирования

Еще один замечательный инструмент, которым можно воспользоваться, — это тестер структурированных данных.Google использует структурированные данные, чтобы лучше понять, о чем ваш сайт.

Структурированные данные в основном означают, что вы предоставляете Google релевантную информацию, чтобы помочь ответить на вопросы пользователей.

Вот пример. Я искал концерты рядом со мной.

Этот веб-сайт использовал структурированные данные, чтобы сообщить Google, что эти списки будут полезны для меня, и они отображаются под обычным заголовком и описанием страницы SEO.

Так как вы это тоже получили?

Он довольно продвинутый, так что это может быть еще один элемент, который вы захотите передать на аутсорсинг разработчику.

Вы можете увидеть все варианты структурированных данных в галерее поиска Google.

У Google также есть упрощенный инструмент, который помогает людям, не являющимся разработчиками, добавлять структурированные данные на свои сайты. Перейдите в Помощник по разметке структурированных данных и введите информацию о своем веб-сайте.

Затем вам просто нужно выделить элемент на веб-странице, который вы хотите преобразовать в структурированные данные.

Из всплывающего меню вы можете добавить такие атрибуты, как Автор, Дата публикации, Изображение, URL, Текст статьи и т. Д.

Если вы внедрили структурированные данные, вы можете использовать инструмент тестирования для их проверки.

Опять же, это довольно сложный процесс, поэтому, если вы не разработчик, вероятно, лучше всего нанять профессионала, который позаботится об этом за вас.

Шаг 17. Убедитесь, что страницы, которые не следует индексировать, не соответствуют действительности

Есть некоторые страницы, которые вы не хотите, чтобы Google или другие поисковые системы индексировали. Вот страницы, которые вы не хотите показывать в поиске:

Страницы с благодарностями: Обычно это страницы, на которые кто-то попадает после подписки на ваш список рассылки или загрузки электронной книги.Вы же не хотите, чтобы люди проходили мимо очереди и сразу переходили к товарам! Если эти страницы будут проиндексированы, вы потеряете потенциальных клиентов, заполнивших форму.

Дублированное содержание: Если какие-либо страницы вашего сайта имеют повторяющееся содержание или немного отличаются друг от друга, например, страница, для которой вы проводите A / B-тест, вы не хотите, чтобы это индексировалось.

Скажем, например, у вас есть две страницы с одинаковым содержанием на вашем сайте. Возможно, это связано с тем, что вы проводите сплит-тестирование визуальных элементов своего дизайна, но содержание двух страниц совершенно одинаково.

Дублированный контент, как вы, наверное, знаете, потенциально может стать проблемой для SEO. Итак, одно из решений — использовать файл robots.txt, чтобы поисковые системы игнорировали один из них.

Вот как сделать так, чтобы страницы, которые вы хотите исключить, не индексировались.

Вариант 1. В вашем файле robots.txt

Помните тот файл robots.txt, который мы создали на шаге 10? Вы можете добавить в него директивы, чтобы поисковые системы не индексировали файл или весь каталог. Это может быть удобно, если вы хотите, чтобы целый раздел вашего сайта оставался неиндексированным.

Чтобы добавить это, откройте файл robots.txt.

См. Шаг 10, чтобы узнать, как это сделать, если вам нужно напомнить.

Чтобы заблокировать индексирование страницы, введите этот код в файл robots.txt.

Запретить: / nameoffolder /

Блокирует все в этой папке. В качестве альтернативы вы можете просто заблокировать один файл.

Запретить: /folder/filename.html

Сохраните его, повторно загрузите на свой сервер и все. Для получения дополнительной информации о robots.txt, посетите robotstxt.org.

Вариант 2. Используйте ссылки nofollow или noindex

Этот вариант очень прост. Когда вы создаете ссылку на своем сайте, просто добавьте тег nofollow или noindex к ссылке .

Во-первых, давайте рассмотрим, что они означают.

Nofollow: Указывает Google не сканировать ссылки на этой странице.

Это означает, что если я перейду на ваш сайт с neilpatel.com и использую ссылку nofollow, ни один из моих ссылок (или авторитет домена) не будет передан вам.

Noindex: Указывает Google не индексировать страницу, даже если паук ее видит. Он не будет добавлен в результаты поиска.

Вы можете использовать оба одновременно.

Вот пример.

Если вы делаете ссылку на специальную целевую страницу мероприятия, которое проводите только для VIP-персон, и не хотите, чтобы эта страница отображалась в результатах поиска, вы должны указать ссылку на нее с помощью тега noindex.

Это будет выглядеть так: Посмотрите мой супер крутое событие .

Даже если люди будут искать в Google «супер крутое мероприятие Нейла», эта страница не появится.

(Вы, однако, получите много вариантов концертов, посвященных памяти Нила Даймонда.)

Чаще всего вам понадобится тег noindex. Обычно вы хотите использовать nofollow только для партнерских ссылок, ссылок, за создание которых вам кто-то заплатил, или для которых вы получаете комиссию. Это потому, что вы не хотите «продавать ссылки».

Когда вы добавляете nofollow, он сообщает Google не передавать полномочия вашего домена этим источникам.По сути, он защищает Интернет от повреждений, когда дело доходит до ссылок.

Если вы хотите, чтобы вся страница была исключена из результатов поиска из всех источников, вместо того, чтобы просто включать теги nofollow или noindex в свои ссылки, выполните следующие действия.

Сначала откройте HTML-код страницы.

Если вы используете CMS (систему управления контентом), такую ​​как WordPress, вы можете отредактировать этот файл с помощью Yoast, чтобы добавить тег noindex.

Если у вас нет такой CMS, как WordPress, вы можете загрузить страницу, которую нужно отредактировать, через FTP.

Не знаете, как использовать FTP? Вернитесь к шагу 2, где я это объясню!

Нажмите на страницу, которую хотите исключить из результатов поиска, и загрузите ее.

Откройте его в текстовом редакторе. Блокнот для Windows или TextEdit на Mac отлично подходят для этого. Найдите тег, например:

Прямо перед этим тегом вы хотите вставить ОДИН из следующих фрагментов кода.

Если вы хотите, чтобы страница была исключена из результатов поиска, но по-прежнему переходила по ссылкам на странице, используйте:

Если вы хотите, чтобы страница включалась в результаты поиска, но чтобы Google не переходил по ссылкам на странице, используйте:

И, если вы хотите, чтобы страница была исключена из поиска И чтобы Google не переходил по ссылкам, используйте:

Как это:

Шаг 18. Составьте план обновления старого содержимого

Итак, что мы узнали об индексировании?

Каждый раз, когда вы обновляете свой веб-сайт, Google хочет сканировать его чаще.

Отличный способ заработать на этом — составить план регулярного обновления старого контента.

Именно этим я сейчас и занимаюсь с этим мега-сообщением!

Этот пост был первоначально опубликован в 2015 году, и я стараюсь обновлять его по крайней мере каждые несколько месяцев или, когда происходят серьезные изменения в Google, чтобы поддерживать его в актуальном состоянии.

Информация быстро устаревает, особенно в быстро меняющемся мире маркетинга. Каждый месяц я составляю список своих старых постов и выбираю несколько, чтобы обновить их свежей информацией и советами.Редактируя хотя бы несколько постов в месяц, я гарантирую, что мой контент останется актуальным и полезным.

Для наилучшего влияния на скорость индексации старайтесь обновлять свой веб-сайт не реже трех раз в неделю. Этими тремя вещами могут быть публикация одного нового сообщения в блоге и обновление содержимого двух старых сообщений.

Обновление по крайней мере три раза в неделю говорит Google, что лучше проверять у вас почаще, чтобы убедиться, что на нем установлена ​​последняя версия вашего сайта.

Вся эта индексация и новая информация означает, что обновление ваших старых сообщений может увеличить ваш органический поисковый трафик на 111%!

Вот несколько простых способов обновить старый контент.

Проверьте устаревшие факты или термины: Например, в этом сообщении упоминались инструменты Google для веб-мастеров, которые теперь называются Search Console.

Ссылка на свежие источники информации: Если вы написали сообщение о SEO в 2013 году и использовали в своем сообщении данные того же года, тогда это нормально, но не в 2017 году. Обновите свои точки и вспомогательную информацию, чтобы они были свежими.

Неработающие ссылки / новые ссылки: Проверьте неработающие ссылки и исправьте их, или при необходимости измените любые ссылки в вашем сообщении на более качественные источники.Например, я могу перенаправить старые ссылки на свежий, новый контент на моем собственном сайте.

Ссылка на другой ваш контент: Включите ссылки на новые сообщения или соответствующий контент, который вы опубликовали после исходного сообщения. Большинство блогеров делают это так:

Связанный: SEO мертв?

Обновите свои точки зрения: Это важно. Просмотрите старые сообщения и обновите свои рекомендации до более актуальных, если необходимо. Вещи меняются! То же самое и с решениями, которые вы предлагаете людям.

Часто задаваемые вопросы о сайте индексирования Google

Какие факторы индексации сайта важны?

Скорость сканирования, способность Google и других поисковых систем индексировать и сканировать ваш сайт, а также ошибки, обнаруженные Google (см. Консоль поиска Google)

Как Google индексирует ваш сайт?

Google использует внутренние ссылки и карты сайта для сканирования вашего сайта. Вы можете отправить карту сайта своего сайта в Google Search Console.

Насколько важен контент-маркетинг для индексации вашего сайта Google?

Увеличение посещаемости ваших страниц может помочь им проиндексировать.Создайте стратегию контент-маркетинга и цели для увеличения вашего трафика.

Какие области контентной стратегии важны для моего нового сайта?

Определите свои цели, целевую аудиторию, типы контента, частоту публикации, систему управления контентом и инструменты, которые вы будете использовать для публикации и продвижения контента.

Google Индексируйте ваш сайт Заключение

Надеюсь, вам понравилось это подробное руководство по индексации вашего сайта!

Я знаю, что это очень важно. Я и половины этого не знал, когда начал вести блог.

В моем первом блоге я установил Google Analytics, и все!

Конечно, тогда у нас не было такого количества возможностей для улучшения нашего SEO-рейтинга или индексации, и это не управлялось сложным алгоритмом, как сейчас.

Вот почему я написал это руководство. При запуске нового веб-сайта так важно изучить SEO и индексацию, особенно в условиях всей конкуренции.

Можно занять место на первой странице и «победить больших парней», но для этого требуется много работы и исследований.

Лучший совет, который у меня есть:

Продолжайте учиться и будьте в курсе новостей отрасли. Все меняется так быстро, особенно когда дело касается поисковых систем.

Изучите SEO и перепроверьте любой новый предложенный метод с помощью собственного независимого исследования, прежде чем пробовать его.

Убедитесь, что вы часто обновляете свой сайт — не только с новым содержанием, но и с обновлением старых сообщений. Это заставляет Google возвращаться, чтобы часто сканировать ваш сайт, и сохраняет эти сообщения актуальными для новых посетителей.

Затем составьте план цифрового маркетинга.

Запишите свой план контент-маркетинга, включая то, как вы будете отслеживать индексирование, аналитику и как вы будете обновлять старую информацию на своем сайте. Для меня не было бы возможности расти так быстро, как я, без письменного плана.

Наконец, получите профессиональную помощь в области SEO, если она вам нужна. Не у всех владельцев бизнеса есть время, чтобы оставаться на вершине маркетинга, тем более, что он так быстро меняется. Профессионал часто может получить результаты намного быстрее — и в конечном итоге сэкономить ваши деньги.

Какие тактики сканирования и индексирования вы пробовали? Каковы были ваши результаты?

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

• SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
• Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
• Paid Media — эффективные платные стратегии с четкой окупаемостью инвестиций.

Заказать звонок

Как узнать, сканируются ли и индексируются ли URL-адреса ваших сайтов Google

Это сообщение в блоге на двух (больших) страницах — действующем и промежуточном сайтах:

Часть 1: Как проверить, проиндексировал ли Google ваш действующий сайт

Часть 2: Как проверить, проиндексировал ли Google ваш промежуточный / тестовый сайт

---

Часть 1:

Как узнать, проиндексировал ли Google мой действующий сайт?

Есть два простых способа узнать:

Использование сайта: оператор запроса

Найдите свой домен в Google следующим образом: site: organicdigital.co

Если ваш сайт проиндексирован, вы увидите список страниц:

Если результаты не возвращаются, у вас могут быть проблемы:

Примечание: на крупных сайтах, хотя вы увидите приблизительное количество проиндексированных страниц, на самом деле вы сможете увидеть только около 300 из них в поисковой выдаче.

Проверьте раздел покрытия в Google Search Console

У каждого веб-сайта должна быть учетная запись GSC, это, на мой взгляд, лучший инструмент, который может использовать владелец сайта или оптимизатор поисковых систем, и который предоставляет обширную информацию об органической видимости и эффективности вашего сайта.Если у вас его нет, перейдите на официальную страницу GSC, если у вас есть, перейдите в раздел Покрытие, где вы можете увидеть разбивку по:

• Ошибки, обнаруженные при сканировании страниц
• Страницы, которые заблокированы
• Действительные проиндексированные страницы
• Исключенные страницы

Если на вашем сайте есть проблемы, они будут отмечены как «ошибка» или «исключены» — и вы сможете найти причины, по которым они не включаются в поиск, например:

• Альтернативная страница с правильным каноническим тегом
• Просканировано — в настоящее время не проиндексировано
• Дубликат без выбранного пользователем канонического тега
• Исключено тегом noindex
• Аномалия сканирования
• Не найдено (404)

Если страницы вашего сайта не отображается в «действительном» разделе, то у вас могут быть проблемы.

Используйте функцию проверки URL в GSC

Если одни страницы проиндексированы, а другие нет, то вы также можете использовать инструмент проверки URL, чтобы узнать, может ли Google сканировать и проиндексировать определенную страницу или есть ли другие проблемы, препятствующие ее появлению в поиске — это в в верхнем меню и позволит вам проверять по одному URL за раз:

Если ваша страница проиндексирована, она будет содержать следующую информацию:

Если нет, вы получите этот статус, который показывает, когда Google пытался сканировать страницу, и некоторое представление о том, почему она не проиндексирована:

Почему Google не сканирует и не индексирует мои страницы?

Обычно страницу нельзя просканировать или проиндексировать по двум причинам.Это особенно часто встречается, когда новый сайт был запущен или перенесен, а настройки из среды разработки были перенесены.

Директива о запрещении использования robots.txt

Здесь сайт, каталог или страница блокируются от сканирования файлом robots.txt.

На каждом сайте должен быть файл robots.txt, который используется для указания поисковым системам, какие разделы вашего сайта должны и не должны сканироваться.

Если он у вас есть, вы найдете его в корневом каталоге под именем robots.txt

https://organicdigital.co/robots.txt

Директивы, предотвращающие сканирование сайта, каталога или страницы, будут следующими:

  Запрещено: /
Запретить: / каталог /
Запретить: /specific_page.html
  

Вы также можете использовать Screaming Frog, чтобы попытаться просканировать ваш сайт. Если это невозможно, вы увидите следующие данные сканирования:

Есть много веских причин для блокировки поисковых систем с помощью этой директивы, но если вы видите что-то похожее на приведенное выше, вам необходимо изменить их, чтобы разрешить сканирование вашего сайта.

Как изменить файл Robots.txt вручную

Если у вас есть доступ к FTP или у вас есть разработчик, вы можете вручную изменить файл robots.txt, чтобы удалить все директивы, которые блокируют сканирование вашего сайта.

Обычно это делает следующая команда:

  Агент пользователя: *
Разрешать: /
  

Как изменить файл Robots.txt в WordPress

Если у вас установлен плагин Yoast, вы можете редактировать файл напрямую через Tools -> File Editor Section — перейдите по этой ссылке, чтобы узнать, как это сделать.

Как изменить файл Robots.txt в Magento

Перейдите к содержанию C -> Дизайн -> Конфигурация , щелкните в соответствующем представлении магазина и отредактируйте «Роботы поисковых систем»

Для метатега роботов установлено значение Noindex и / или Nofollow

Помимо файла robots.txt, вы также можете проверить метатег robots в исходном коде вашего сайта и убедиться, что он не препятствует сканированию поисковыми системами.

Если вы проверяете свой исходный код, если вы не видите метатег robots, или он установлен на «index» или «index, follow» — тогда проблема не в этом.Однако, если вы видите, что там написано «noindex», это означает, что ваша страница может быть просканирована, но не будет проиндексирована:

Опять же, вы можете использовать Screaming Frog, чтобы проверить статус ваших тегов роботов на вашем сайте. Если для вашего тега установлено значение noindex, nofollow не выйдет за пределы главной страницы:

Если для него просто установлено значение noindex, весь сайт все еще можно сканировать, но не индексировать:

Как вручную изменить файл метатегов роботов

Опять же, откройте страницу / шаблон вашего сайта напрямую и замените / добавьте следующий тег:

Как изменить метатег роботов в WordPress

Есть два способа сделать это — если проблема касается всего сайта, перейдите в «Настройки » -> «Чтение » и убедитесь, что флажок «Не разрешать поисковым системам индексировать этот сайт» не отмечен:

Я могу ошибаться, но я думаю, что единственный способ настроить определенную страницу или сообщение на index или noindex, если вы используете Yoast, поэтому перейдите на страницу / сообщение и проверьте следующий параметр внизу страницы:

Как изменить метатег роботов в Magento

Как и раньше, перейдите в раздел Content -> Design -> Configuration , щелкните в соответствующем представлении магазина и внесите поправки в раскрывающийся вариант «Роботы по умолчанию»:

Мой сайт / страницы могут сканироваться и индексироваться Google — что дальше?

Как только вы убедитесь, что файл robots.txt и метатег robots верны, вы снова можете использовать инструмент Inspect URL, чтобы проверить свою страницу и запросить, чтобы Google сканировал и индексировал вашу страницу:

У меня также есть учетная запись для веб-мастеров Bing!

А ты? Я думал, что я единственный. Хорошо, вы можете делать почти все то же, что написано в этой статье, в Bing Webmaster Tools, как и в GSC, поэтому проверьте URL-адрес и индексирование запроса:

Я сделал все это, а мой сайт / страницы все еще не проиндексированы!

В этом случае вам нужно глубже изучить конфигурацию и функциональность вашего веб-сайта, чтобы определить, какие еще могут быть проблемы.Я могу помочь вам, если вы заполните контактную форму ниже.

---

Часть 2:

Как: проверить, проиндексирован ли ваш промежуточный сайт в Google

В жизни можно быть уверенным только в трех вещах: смерть, налоги и индексирование вашего тестового сайта Google.

Очень редко вы сталкиваетесь с запуском нового сайта без того, чтобы в какой-то момент понять, что промежуточный сервер оставлен открытым для ботов, которые могут сканировать и индексировать.

Это не обязательно конец света, если поисковая система были проиндексированы тестовый сайт, так как это довольно легко решить, но если вы долгосрочное использование тестовой среды для разработки новых функций наряду с живым сайта, то вам необходимо как можно раньше убедиться, что он правильно защищен, чтобы избегать проблем с дублированным контентом и гарантировать, что люди в реальной жизни не будут посещать и взаимодействовать (т.е. попробуй что нибудь купить).

Раньше я разработчик и, вероятно, сам неоднократно допускал эти ошибки, но тогда у меня не было SEO, который был занозой в моей заднице, все время указывая на эти вещи (тогда старая школьная брошюра пришла … веб-дизайнеры, которые не понимали ограничений таблиц и встроенного CSS, где мне было больно).

Все следующие методы являются испытанными и испытанными. что я использовал для выявления этих проблем в дикой природе, хотя для защиты личности моих клиентов и их разработчиков, я самоотверженно решил создать несколько тестовых сайтов, использующих контент моего собственного сайта, чтобы проиллюстрировать, что нужно сделать, это такие:

тест.organicdigital.co
alitis.co.uk

Хотя к тому времени, как вы это прочтете, я последую своему совету и уберу их, мне нужна вся доступная видимость, последнее, что мне нужно, — это проиндексированные тестовые сайты, содержащие мне обратно.

1)

Свойство домена Google Search Console (GSC)

Одна из замечательных особенностей нового GSC заключается в том, что вы можете настроить свойства домена, которые дают вам ключевую информацию обо всех поддоменах, связанных с вашим веб-сайтом — как по HTTP, так и по HTTPS.Чтобы настроить это, просто выберите параметр домена при добавлении свойства (вам также необходимо выполнить потенциально не столь простую задачу добавления записи TXT в DNS вашего домена):

Существует целый ряд причин, по которым свойство домена полезно, в данном случае это потому, что если у вас есть тестовый сайт, настроенный на поддомене, и он производит впечатление и количество кликов в поиске, вы можете определить это в разделе «Производительность », Отфильтровав или упорядочив страницы:

Кроме того, вам следует также проверить раздел «покрытие» — в в некоторых случаях Google проиндексирует ваш контент:

В других случаях они обнаружат, что у вас дублировать контент на месте и любезно воздерживаться от индексации, в этом случае вы найдет его в разделе «Дублировать, Google выбрал другой канонический чем пользователь »:

Даже если это так, вы все равно должны стремиться к тому, чтобы он не ползет вперед.

2)

Проверьте результаты выдачи Google с помощью группы ссылок

Если у вас нет доступа к свойствам домена GSC или нет доступа в GSC (если нет, почему бы и нет?), то вы можете проверить поисковую выдачу, чтобы увидеть, есть ли какие-либо тестовые URL-адреса попали в индекс.

Это также удобный метод при продвижении к новому бизнесу, Что может быть лучше для привлечения потенциального клиента, чем сделать его внутренним или внешняя команда разработчиков выглядит так, будто играет в кости со смертью видимости в поисковой сети позволив этому случиться в первую очередь, и что вы здесь, чтобы спасти день.

Шаги следующие:

i) установить ссылку Расширение Clump Google Chrome, которое позволяет копировать и вставлять несколько URL-адресов. со страницы в более полезное место, например, в Excel.

ii) Измените настройки группы ссылок следующим образом:

Самое важное, на что следует обратить внимание, — это действие «скопировано в буфер обмена». — последнее, что вам нужно здесь, — это открыть до сотни URL-адресов на однажды.

iii) Перейдите в свой любимый (или местный) TLD Google, нажмите «Настройки», которые вы должен увидеть в правом нижнем углу страницы, и выберите «Настройки поиска», где вы можете установить для «результатов на страницу» значение 100.

iv) Вернитесь на главную страницу Google и используйте запрос «site:». оператор и добавьте свой домен. если ты используйте www или аналогичный, удалите это — команда будет иметь следующий вид:

site: organicdigital.co

Вам будет представлен образец до 300 URL-адресов. в настоящее время индексируется Google по всем поддоменам. Хотя вы можете вручную просмотреть каждый результат для обнаружения мошеннических сайтов:

Я считаю, что гораздо быстрее и проще щелкнуть правой кнопкой мыши и перетащить все путь к низу страницы.Ты будет знать, работает ли Link Clump, поскольку вы увидите следующее, обозначают, что ссылки выбираются и копируются:

Повторите это для результатов поиска 2 и 3, если они доступны, и URL-адреса вставляются в Excel, используйте сортировку по алфавиту, чтобы легко идентифицировать проиндексированные контент во всех соответствующих поддоменах.

3)

Поиск текста, уникального для вашего сайта

Приведенные выше методы работают, если ваш тестовый сайт размещен на поддомен в том же домене, что и ваш действующий веб-сайт.Однако, если ваш тестовый сайт находится в другом месте, например test.webdevcompany.com, то они не будут работать. В этом случае этот или следующие методы мог бы.

Найдите контент, который, по вашему мнению, является уникальным для вашего веб-сайта — в моем случае я использовал строку: «Повысьте естественную видимость и посещаемость вашего веб-сайта» — а затем выполните поиск в кавычках. Если тестовый сайт, содержащий этот контент, был проиндексирован, этот поиск должен выявить его:

Как видите, появляются домашние страницы на основном сайте, тестовом субдомене и отдельном тестовом домене.Вы также можете случайно обнаружить конкурента, который скопировал ваш контент. Кто-то воспримет это как комплимент, кто-то выдаст DMCA — решать вам, но меньше всего вам нужно, чтобы кто-то превзошел вас по вашей собственной копии.

4)

Обход сайта с помощью Screaming Frog

Полагаю, вы занимаетесь SEO и поэтому используете Screaming Frog. Если какой-либо из этих ответов отрицательный, то хорошо, что вы так далеко попали в эту статью (позвольте мне предположить, что вы разработчик, который упал и хочет прикрыть свою задницу, прежде чем кто-либо узнает?).

Если у вас его нет, скачайте здесь.

В основных настройках отметьте «Сканировать все субдомены». Вы также можете установить флажок «Follow Internal‘ nofollow ’» поскольку в некоторых тестовых средах это может быть.

После завершения сканирования просмотрите список, чтобы увидеть, есть ли есть любые внутренние ссылки на тестовые сайты. Я недавно наткнулся на это, когда появился новый сайт Drupal, но со всеми внутренними ссылками в сообщениях блога, указывающими на поддомен бета-версии:

Затем вы можете щелкнуть каждый тестовый URL-адрес и щелкнуть InLinks на внизу, чтобы найти оскорбительную внутреннюю ссылку с действующего сайта на тестовый.В этом случае я изменил ссылку «Связаться с нами» в карте сайта, чтобы указать на тестовый URL:

После обнаружения исправьте и переползайте, пока они не исчезнут. внутренние ссылки, ведущие посетителей в другое место. Если вы используете WordPress, используйте плагин поиска / замены, чтобы найти все тестовые URL-адреса и замените их действующим.

5)

Проверьте имена хостов Google Analytics

Если на вашем тестовом сайте используется тот же аккаунт Google Analytics, код отслеживания установлен как ваш действующий сайт, вы сможете обнаружить это в GA, если вы перейдете в такой раздел, как «Поведение» -> «Контент сайта» -> «Все Страницы »и выберите« Имя хоста »в качестве дополнительного параметра:

Кроме того, вы также можете дополнительно отфильтровать данные с помощью исключение из отчета всех посещений основного домена, в результате чего все другие экземпляры в списке.В Помимо тестовых сайтов, вы также можете обнаружить, что спам GA запускается на 3 ^rd сайт партии:

У использования одного и того же идентификатора отслеживания GA есть свои плюсы и минусы. работает как в реальной, так и в тестовой среде, но лично я не вижу причина иметь отдельные учетные записи и вместо этого создавать несколько представлений в ваша единственная учетная запись. Для действующего сайта настроить фильтр, чтобы включить трафик только к действующему имени хоста, и наоборот для тестового сайта.

Как удалить и предотвратить индексирование тестового сайта

Итак, вы обнаружили свой тестовый сайт в индексе с помощью одного описанных выше методов, или вы хотите убедиться, что этого не происходит в первое место.Следующее поможет с этим:

1) Удалить URL через GSC

Если ваш сайт проиндексирован, генерирует ли он трафик или нет, лучше удалить его. Делать для этого вы можете использовать раздел «Удалить URL-адреса» из «старого» GSC.

Обратите внимание, это не будет работать на уровне свойств домена, так как эти не обслуживаются в старом GSC. Чтобы для этого вам необходимо настроить свойство для отдельного теста домен.

После настройки «Перейти к старой версии» и перейти в «Индекс Google». -> «Удалить URL-адреса».Отсюда выберите «Временно Hide »и введите одинарную косую черту в качестве URL-адреса, который вы хотите заблокировать. отправить весь сайт на удаление:

Это приведет к удалению вашего сайта из поисковой выдачи на 90 дней, в Чтобы гарантировать, что он не вернется, необходимо предпринять дальнейшие шаги. Достаточно одного из следующих выполняться независимо от того, можете ли вы Удалить через GSC)

2) Установите тег роботов на noindex на тестовом сайте

Попросите своих разработчиков убедиться, что при работе в тестовом домене каждая страница на сайте генерирует тег noindex для роботов:

Если ваш сайт — WordPress, вы можете установить это через «Настройки» -> «Чтение» и выбрав «Запретить поисковым системам индексировать этот сайт»:

Какой бы код или настройки вы не использовали для предотвращения тестирования сайта от индексации, вы должны убедиться, что он не переносится на действующий сайт при появлении новых контент или функциональность становятся живыми. Настройки тестового сайта — одни из самых распространенных и надежных. способы испортить видимость вашего действующего сайта.

3) Защитите свой тестовый сайт паролем

Через веб-панель управления или через сервер, пароль защитить каталог, в котором находится ваш тестовый сайт. Есть множество способов сделать это — лучший ставка заключается в том, чтобы попросить вашу хостинговую компанию или разработчиков настроить это, или там есть много хороших ресурсов, которые покажут вам, как это сделать, например:

https: // one-docs.com / tools / basic-auth

После блокировки вы должны увидеть окно предупреждения при попытке доступ к тестовой площадке:

https://alitis.co.uk/

Это предотвратит сканирование и индексирование поисковыми системами сайт.

4) Удалить сайт и вернуть статус страницы 410

Если вам больше не нужен тестовый участок, вы можете просто удалите это. Когда поисковые системы пытаются Посетите страницы, если они дольше живут, они увидят, что страницы удалены. По умолчанию неработающая страница возвращает статус 404 («Не найдено») — хотя это приведет к деиндексации сайта со временем, он займет некоторое время, так как будут последующие посещения, чтобы увидеть, вернулась ли сломанная страница.

Вместо этого установите статус 410 («Ушел навсегда»), который вернет следующее сообщение:

Чтобы сделать это во всем домене, удалите сайт и оставьте файл .htaccess на месте с помощью следующей команды:

  Перенаправление 410/ 

Это обеспечит деиндексирование сайта в первый раз. запроса (или, по крайней мере, быстрее, чем 404)

5) Заблокировать через robots.txt

Вы можете заблокировать сканирование сайта, реализовав следующие команды в файле robots.txt файл:

  Агент пользователя: *
Disallow: /  

Это предотвратит сканирование сайта ботами. Примечание: если ваш тестовый сайт в настоящее время проиндексирован, и вы пошли по пути добавления тегов noindex на сайт, не добавляйте команду robots.txt до тех пор, пока все страницы не будут деиндексированы. Если вы добавите это до того, как все страницы будут деиндексированы, это предотвратит их сканирование и обнаружение тега роботов, поэтому страницы останутся проиндексированными.

И все — я надеюсь, что вам будет достаточно, чтобы найти, деиндексировать и предотвратить повторное сканирование вашего теста.

Но помни

Я не могу не подчеркнуть этого достаточно — если вы решите реализовать метатеги robots или robots.txt, которые запрещают сканирование всем ботам и индексируя свой тестовый сайт, убедитесь, что когда вы запускаете тестовый сайт, что вы делаете не переносите эти конфигурации на действующий сайт, так как вы рискуете потерять свой органическая видимость в целом.

И мы все там были, да?

10 шагов для проверки индексируемости вашего веб-сайта

Все маркетологи должны обеспечить индексацию своих веб-сайтов, чтобы привлечь больше пользователей и трафика на свои веб-сайты, чтобы обеспечить более высокие коэффициенты конверсии.Эта статья поможет вам обеспечить индексацию вашего сайта.

Важным условием успеха вашего онлайн-бизнеса является то, что ваш веб-сайт должен быть виден пользователям в поисковой выдаче, то есть он должен индексироваться Google. Есть много способов проверить, индексируется ли ваш сайт. Ryte может помочь — вы можете использовать Ryte в качестве пошагового руководства, чтобы найти любые факторы, препятствующие индексации вашего сайта. После того, как вы проверите эти шаги и внесете все необходимые исправления, ничто не будет препятствовать успешной индексации вашего веб-сайта, что приведет к увеличению трафика и конверсий.

Шаг 1. Проверьте свои страницы на наличие тегов Noindex

Это ошибка, которая может случиться даже с самыми опытными специалистами по поисковой оптимизации: вы могли случайно вставить метатег «noindex, follow» на свои подстраницы или забыть удалить его. Этот тег используется, чтобы гарантировать, что URL-адрес не будет проиндексирован поисковыми системами, и вставляется в область веб-страницы следующим образом:

Этот тег может быть полезным способом избежать дублирования контента, а также может использоваться, например, перед переносом домена для тестирования веб-сайта перед фактическим запуском.(Хотя, когда ваш сайт будет запущен, тег Noindex, конечно, должен быть удален.)

С помощью Ryte Website Success вы можете несколькими щелчками мыши проверить, какие страницы индексируются. Щелкните в разделе «Индексируемость» отчета «Что индексируется?»

Рисунок 1: Проверьте свою индексируемость с помощью Ryte

Шаг 2. Проверьте файл Robots.txt

Использование роботов. txt, вы можете активно управлять сканированием и индексированием своего веб-сайта, давая роботу Google конкретные инструкции относительно того, какие каталоги и URL-адреса следует сканировать.

Однако при настройке файла вы могли случайно исключить важные каталоги из сканирования или заблокировать целые страницы. Это не мешает напрямую индексировать ваши URL-адреса, поскольку робот Googlebot может находить, сканировать и индексировать их с помощью обратных ссылок с других веб-сайтов. Однако из-за неисправного файла robots.txt робот Google не сможет выполнить достаточный поиск во всех областях вашего веб-сайта при регулярном сканировании. Прочтите эту статью, чтобы узнать о других ошибках, которые могут быть допущены при настройке robots.txt файл.

Вам следует проверить файл robots.txt на наличие ошибок, особенно после внесения изменений. Ryte может вам здесь помочь: нажмите на отчет «Robots. Txt» в разделе «Индексируемость». Затем Ryte Website Success предоставит вам список всех URL-адресов, исключенных из сканирования. С помощью Ryte вы также можете отслеживать свой файл robots.txt, чтобы отслеживать любые изменения.

Рисунок 2: Проверьте свой robots.txt с помощью Ryte

Шаг 3. Проверьте файл .htaccess на наличие ошибок.

Ваш.Файл .htaccess также может препятствовать отображению вашей страницы в результатах поиска и рассматривать сканирование как несанкционированный доступ. .Htaccess — это управляющий файл, хранящийся в каталоге сервера Apache.

Помимо прочего, операторы веб-сайтов используют их для следующих действий:

• Переписывание URL
• Перенаправление старого URL-адреса на новый URL-адрес
• Перенаправление на www-версию страницы

Конкретные правила можно определить в файле. htaccess.Однако для того, чтобы эти правила выполнялись сервером, файл всегда должен называться точно так же в следующих случаях:

Перенаправление или перезапись URL:

RewriteEngine на

Требуется перезапись:

RewriteBase /

Определите правило, которое должен выполнять сервер:

RewriteEngine на
RewriteBase /
RewriteRule seitea.html seiteb.html [R = 301]

Конечно, возможно, что файл был назван неправильно и поэтому не может перезаписывать или перенаправлять URL-адреса.В результате ни пользователи, ни поисковые системы не смогут получить доступ к страницам, и, следовательно, они не будут сканироваться или индексироваться.

Шаг 4. Проверьте свои канонические теги

Канонический тег помогает Google найти исходный URL-адрес для нескольких URL-адресов с одинаковым содержанием, чтобы можно было проиндексировать правильный URL-адрес. Канонический тег ссылается на HTML-тег со ссылкой на исходную страницу, «канонический» URL.

При установке канонических тегов могут возникать многочисленные ошибки, вызывающие проблемы с индексацией.

• Тег Canonical относится к относительному боковому пути
• Канонический тег относится к URL-адресу, который находится в теге Noindex
.
• Страница с разбивкой на страницы относится к первой странице разбиения на страницы каноническим тегом.
• Тег Canonical относится к URL без косой черты в конце

Как проверить теги Canonical с помощью Ryte:

Ryte имеет собственный отчет для канонических тегов в области «Индексируемость». После нажатия на «Канонические» и «Использовать» вы быстро получите обзор возможных проблем с реализованными каноническими тегами.

Рисунок 3: Проверка канонических тегов с помощью Ryte

Шаг 5. Отслеживайте доступность сервера и сообщения об ошибках состояния

Другая причина, по которой веб-сайт или URL не могут быть проиндексированы, может быть связана с отказом сервера. Это делает технически невозможным доступ к странице.

Серверы

также играют важную роль в поисковой оптимизации по многим причинам. Для хорошего рейтинга вам нужен быстрый и эффективный сервер. Если он медленный, время загрузки вашего веб-сайта будет задерживаться, что не нравится пользователям, что приведет к высокому показателю отказов и низкому среднему времени на странице.Google классифицирует эти KPI как отрицательные для пользовательского опыта, что, конечно, отрицательно сказывается на SEO.

С помощью Ryte Website Success вы можете регулярно проверять свой сервер; Мониторинг сервера функций информирует вас о сбоях и тайм-аутах, чтобы вы могли действовать быстро.

Рисунок 4: Мониторинг сервера с помощью Ryte

Совет. Регулярно проверяйте коды состояния HTTP вашего сайта, чтобы убедиться, что переадресация 301 работает правильно или существуют коды состояния 404.Страницы с этим статусом не отслеживаются потенциальными читателями и поисковыми роботами. Ссылки на такие страницы называются «мертвыми ссылками».

Шаг 6. Найдите потерянные страницы

Когда вы реструктурируете свой веб-сайт или добавляете новые категории, эти новые страницы могут не иметь внутренних ссылок. Кроме того, если эти новые URL-адреса не указаны в sitemap.xml и не связаны с внешними источниками, существует высокий риск того, что эти страницы не будут проиндексированы. Поэтому старайтесь любой ценой избегать появления потерянных страниц.

Рисунок 5: Поиск страниц без входящих ссылок

Ryte Website Success быстро покажет вам потерянные страницы. Для этого нажмите на отчет «Страницы без входящих ссылок» в разделе «Ссылки».

Шаг 7. Поиск кражи контента — внешний дубликат контента

Внешний дублированный контент означает, что внешняя интернет-страница берет контент с вашей страницы. Хотя теперь Google стал лучше определять, что является «оригинальным», вполне возможно, что страница с вашим содержанием может получить более высокий рейтинг, чем вы, или, в крайних случаях, вообще помешать вашему содержанию индексироваться.

Предотвратить кражу контента поможет следующий совет:

При публикации вашего контента попросите ссылку на первоисточник. Заранее указывая условия передачи этих текстовых элементов, вы избегаете внешнего дублирования контента. Издатели могут использовать специальное уведомление, такое как «исходный текст на www.yourpage.com», или установить канонический тег для URL-адреса, по которому вы изначально опубликовали контент.

Чтобы найти внешний дублированный контент, вы можете просто скопировать некоторые соответствующие текстовые строки со своей страницы и ввести их в поиск Google.Если несколько результатов с одинаковым содержанием появляются без ссылки на вашу страницу, очевидно, что это кража контента.

Шаг 8: Определите внутренние ссылки Nofollow

Если вы пометите свои внутренние ссылки атрибутом rel = «nofollow», робот Googlebot не будет переходить по ссылке, и вы будете препятствовать правильному сканированию вашего веб-сайта, как если бы вы не позволяли роботу Googlebot переходить по ссылке, это может не сможет проникнуть в более глубокие области страницы. Поэтому некоторые URL-адреса больше не будут сканироваться, а это означает, что вероятность их индексации снижается.

Если вы работаете с внутренними ссылками nofollow, вы можете уточнить у Ryte, где их найти. Затем мы рекомендуем вам удалить атрибут nofollow. Если вы действительно хотите исключить URL из индексации, лучше подойдет тег noindex в сочетании с атрибутом follow.

Шаг 9. Проверьте свой XML-файл Sitemap

При создании карты сайта возможно, что карта сайта может содержать не все URL-адреса для индексации. Это создает ту же проблему, что и потерянные страницы, потому что нет ссылок на соответствующие URL-адреса.В этом случае велик риск не индексации.

Ryte Website Success может помочь вам в этом. В разделе «Успешность веб-сайта» в области «Карта сайта» перейдите к отчету «Коды состояния файлов». Там вам будут показаны все URL-адреса карты сайта, которые либо не найдены на сервере, либо перенаправлены.

Рисунок 6: Проверьте свой sitemap.xml на наличие ошибок с помощью Ryte

Вы также можете проверить свою карту сайта на наличие ошибок с помощью Google Search Console — предупреждение указывает на возможные проблемы с индексированием.

Шаг 10. Регулярно проверяйте, не были ли взломаны ваши страницы

Google стремится предоставить своим пользователям максимально возможное качество результатов поиска. Нарезанные страницы сильно ограничивают это качество. Обязательно ищите подсказки в Google Search Console. Если ваш сайт стал жертвой взлома, пора сохранять спокойствие. Первым шагом будет изменение паролей для доступа к бэкэнду, если это возможно.

Во избежание взлома вам следует регулярно менять пароли и максимально ограничивать количество пользователей паролей.Кроме того, важно всегда устанавливать все предлагаемые обновления. Google предоставляет дополнительную информацию и советы относительно взлома в центральном блоге веб-мастеров.

Заключение

Может быть множество причин, по которым ваш веб-сайт или отдельные URL-адреса не индексируются. С помощью Ryte вы можете легко находить и устранять ошибки, что приводит к лучшей индексации вашего веб-сайта, что приведет к лучшему ранжированию и большему успеху веб-сайта.

Контрольный список для индексирования

	Площадь	Действие
1	Noindex-теги	Проверьте свои URL-адреса на наличие тега без индекса.Если этот тег не является абсолютно необходимым, измените его на «index, follow».
2	Robots.txt	Проверьте файл robots.txt и убедитесь, что важные каталоги исключены из сканирования.
3	.htaccess	Проверьте этот файл на наличие неправильных перенаправлений или синтаксических ошибок.
4	Канонические теги	Убедитесь, что эти теги правильно ссылаются на канонический URL.
5	Доступность сервера и регистрация кода состояния	Отслеживайте доступность вашего сервера и проверяйте коды состояния ваших URL-адресов.
6	Орфанные страницы	Найдите страницы без входящих ссылок и создайте внутренние ссылки.
7	Кража содержимого	Проверьте, используют ли ваш контент внешние веб-сайты. Создавайте канонические теги и избегайте относительных URL.
8	Внутренние ссылки nofollow	Найдите на своем сайте теги nofollow и удалите их. Альтернативными вариантами являются теги canonical- или noindex-теги.
9	XML-карта сайта	Проверьте, содержит ли ваша карта сайта все URL-адреса, которые нужно проиндексировать, и проверьте коды состояния URL-адресов.
10	Взлом	Обратите внимание на предупреждения о взломанных страницах в Google Search Console и, например, измените свои данные для входа.

Проверьте индексируемость своего сайта с помощью Ryte FREE

Начать сейчас! .