Индексация в яндексе: Структура сайта — Вебмастер. Справка

Структура сайта — Вебмастер. Справка

Основой интернета являются ссылки, по которым можно переходить со страницы на другую страницу, с сайта на другой сайт. Работа поискового робота Яндекса основана на переходах по ссылкам и анализе этих ссылок. Если на вашем сайте есть документы, на которые не ссылаются другие страницы, робот Яндекса никогда не узнает про их существование, и они не будут учитываться при поиске. Поэтому важно следить за тем, как страницы вашего сайта связаны друг с другом. Вот несколько советов по организации структуры сайта:

1. Поддерживайте четкую ссылочную структуру на сайте. Каждый документ должен относиться к своему разделу. Следите, чтобы на каждый документ можно было попасть по обычной ссылке, обозначающейся в HTML-коде страницы тегом <A>: <a href=…>…</a>. Вообще говоря, время, которое необходимо роботу Яндекса, чтобы проиндексировать какую-либо внутреннюю страницу сайта, зависит, в том числе, от глубины вложенности этой страницы. Поэтому чем глубже страница, тем больше времени может пройти до включения ее в индекс.

   При создании ссылок между документами сайта нужно учитывать еще один момент. Часто входной точкой на ваш сайт является именно главная страница. Ведь людям гораздо проще запомнить название (имя домена) сайта, но не конкретную внутреннюю страницу, URL которой может быть довольно замысловатым. Организация навигации по сайту должна позволять пользователю быстро сориентироваться в его структуре и легко находить нужные документы, чтобы не возникало ситуации, когда, не найдя нужной информации, разочарованный посетитель покидает сайт.

2. Используйте карту сайта. Для крупных проектов, содержащих множество страниц, рекомендуется использовать Sitemap (карту сайта). Это поможет поисковому роботу проиндексировать и проанализировать документы вашего сайта.

3. Ограничивайте индексирование служебной информации. Многочисленные страницы-дубликаты, результаты поиска по сайту, статистика посещений и тому подобные страницы могут тратить ресурсы робота и мешать индексированию основного содержимого сайта. Такие страницы не имеют ценности для поисковой системы, так как пользователям в выдаче они не предоставляют какой-то уникальной информации. Рекомендуем запрещать индексирование таких страниц в файле robots.txt. Если их не исключить из индексирования, то может получиться так, что регулярно добавляющиеся или обновляющиеся технические страницы будут хорошо индексироваться, а факт обновления важной информации на основных страницах сайта для робота останется незамеченным.

4. Каждая страница должна иметь уникальный адрес (URL). Желательно, чтобы вид URL давал представление о том, что содержится на соответствующей странице. Использование транслитерации в адресах страниц также позволит роботу понять, о чем может быть страница. Например, один только URL http://download.yandex.ru/company/experience/Baitin_Korrekciya%20gramotnosti.pdf дает поисковому роботу множество информации о документе: его можно скачать; формат, скорее всего, PDF; документ, вероятно, релевантен запросу «коррекция грамотности» и так далее.

5. Делайте ссылки на другие разделы сайта текстовыми, чтобы предоставить роботу больше информации о материалах, которые в них размещены.

6. Проверяйте корректность symlink-ов, чтобы при движении по сайту у страниц не получался бесконечно растущий URL. Страницы, у которых в пути содержится много повторений одного и того же токена, например, example.com/vasya/vasya/vasya/vasya/ могут не индексироваться.

Совет.

• Запрещайте индексирование не предназначенных для пользователей страниц в файле robots.txt.

• Используйте одинаковую кодировку для страниц сайта и кириллических адресов в его структуре, так как встретив ссылку href=»/корзина» на странице с кодировкой, например, UTF-8 робот сохранит ее именно в этой кодировке, а значит она должна быть доступна по адресу «/%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0».

К следующему разделу

Если страницы доступны для робота, отправлены на переобход, но не появляются в поиске больше двух недель, заполните форму ниже:

Ссылки — Вебмастер.

Справка

Ссылки — важнейшая составляющая интернета. Они связывают между собой страницы всемирной паутины и являются тропинками, по которым ходят пользователи. Поэтому очень важно уделить внимание ссылкам, которыми ваш сайт связан с другими ресурсами.

Примечание. Следите не только за ссылками на другие сайты, но и за ссылками, при помощи которых ссылаются на ваш сайт — их можно посмотреть в Яндекс Вебмастере. Не все ссылки одинаково полезны. Подробнее см. в разделе Внешние ссылки.

1. Партнерские ссылки. Если на других сайтах стоят ссылки на ваш сайт, проследите за тем, чтобы их текст содержал адекватное описание вашего сайта, а не просто URL. Попросите партнеров изменить эти ссылки так, чтобы они несли больше смысла, чем слова «тут», «здесь», «там», «этот сайт» и т. п.

2. Ссылки, которые используют интернет-СМИ. Если онлайн-СМИ используют информацию с вашего сайта, будет полезно иметь в тексте ссылку с подходящей ключевой фразой.

3. Справочники или отраслевые каталоги. В интернете есть ограниченное количество каталогов, в которых стоит разместить ссылку на свой сайт. Существует также огромное количество немодерируемых спам-каталогов, размещение ссылок в которых может негативно повлиять на развитие вашего сайта. Рекомендуем выбирать каталог или справочник, ориентируясь на следующие признаки:

   • Модератор проверяет размещаемую информацию.

   • Навигация удобна для пользователя.

   • Среди контента каталога есть ссылки на авторитетные в соответствующей области сайты, сайты компаний-лидеров в своей отрасли.

   • Названия и описания сайтов не содержат грамматических ошибок, удобны для восприятия и использования.

   • На страницах каталога нет рекламы, мешающей восприятию основного содержимого.

4. Уделите внимание ссылкам, которые могут размещать пользователи на вашем сайте. Если у вас есть разделы, в которых можно оставлять свои сообщения (например, комментарии к записям, форум, обсуждение материалов), внимательно следите за исходящими ссылками. Все ссылки, по возможности, должны модерироваться владельцем сайта. Вероятность того, что на вашем сайте оставят спам-запись, к сожалению, достаточно велика. Поисковая система Яндекс не учитывает спамерские ссылки на сайты, однако репутация вашего сайта может пострадать, если не контролировать размещаемые на его страницах записи.

   Если вы не уверены в качестве ссылок, оставляемых пользователями на вашем сайте, рекомендуем добавлять к ним атрибут rel=»ugc».

   Кроме этого, можно дополнительно сообщить поисковой системе о ссылках, используемых в рекламных целях: рекламные места или партнерские программы с другими сайтами. Для этого испольуйте атрибут rel=»sponsored».

   Также вы можете закрыть индексирование ссылок с помощью атрибута rel=»nofollow». Можно комбинировать значения атрибутов, например: rel=»nofollow,sponsored» или rel=»nofollow sponsored». Подробно

   Если на вашем форуме много спам-сообщений, вы можете закрыть его от индексирования. Рекомендуем также защитить сайт от спам-роботов при помощи системы CAPTCHA.

5. Платные ссылки, ссылочные биржи. Яндекс ценит ссылки, которые ставятся для того, чтобы помочь посетителям сайта. Те же ссылки, которые появляются на сайтах за определенную плату (особенно когда они размещаются с использованием ссылочных бирж и предназначены для поисковых систем, а не посетителей сайта), мешают Яндексу корректно определять степень доверия к сайтам и их релевантность запросам пользователей. Подробнее о SEO-ссылках.

К следующему разделу

Написать в службу поддержки

Может ли категория noindex запретить индексацию других страниц на Яндексе?

спросил 6 лет, 6 месяцев назад

Изменено 6 лет, 3 месяца назад

Просмотрено 95 раз

На моем веб-сайте я помещаю noindex на страницы своих категорий, но не на страницы под ним. Несмотря на то, что прошло две недели, единственная проиндексированная страница — это моя домашняя страница, которая не входит ни в одну из категорий.

Когда я смотрю на yandex webmasters, в разделе индексация>статистика>исключенные страницы я вижу как www.example.com/category , так и www.example.com/category/. Интересно, означает ли www.example.com/category/ (косая черта в конце) «Я не индексирую никакие страницы под ним», а

www.example.com/category означает, что я не индексирую категорию.

• поисковая-индексация
• noindex
• yandex
• yandex-webmaster-tools

1

страницы индексируются, если:

• их нет noindex ,
• у них есть входящие ссылки (внутренние и/или внешние),
• входящие ссылки на них не являются nofollow .
• бот имеет непрерывный URL-адрес от точки входа до страницы, которая должна быть проиндексирована, например: URL-адрес входа ссылается на url1 (нет nofollow ) -> url1 ссылается на url2 (нет nofollow ) -> url2 ссылки на url должны быть проиндексированы (нет nofollow ) -> url, который должен быть проиндексирован ( )

0

Бот не может понять, какой каталог является каталогом, а какой нет, из-за множества конфигураций на стороне сервера, позволяющих использовать конечную косую черту или нет, по желанию веб-мастера.

Ваша категория и категория/оба будут обрабатываться одинаково, потому что, когда вы открываете страницу категории, она может быть перенаправлена ​​в категорию или наоборот, если нет, то ваш тег noindex все равно будет отображаться на этих страницах, поэтому yandex не будет индексировать это. Они просто просматривают все веб-страницы независимо от того, правильно вы установили перенаправление или нет, если они увидят тег noindex на этих страницах, они не будут его индексировать.

Другие ваши страницы, такие как category/page.html, будут проиндексированы yandex, потому что на этой странице нет мета-тега noindex.

Метатеги применяются только на уровне страницы, они не применяются ко всем подстраницам каталога.

Зарегистрируйтесь или войдите в систему

Зарегистрируйтесь с помощью Google

Зарегистрироваться через Facebook

Зарегистрируйтесь, используя адрес электронной почты и пароль

Опубликовать как гость

Электронная почта

Требуется, но не отображается

Опубликовать как гость

Электронная почта

Требуется, но не отображается

Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания, политикой конфиденциальности и политикой использования файлов cookie

Какие поисковые системы индексируют содержимое Javascript?

Это эксперименты, чтобы увидеть, какие поисковые роботы правильно индексируют содержимое Javascript. Мы тестируем Google, Bing (и Yahoo), Yandex и Baidu.

Введение

В продолжение наших предыдущих экспериментов и с целью проверки технических концепций нашей платформы персонализации Unless.com, вот результаты серии экспериментов, чтобы увидеть, что будет индексироваться, а что нет, если Javascript используется для вставки контента на вашу страницу.

Летом 2018 года мы тестировали Google, Bing (и Yahoo), Яндекс и Baidu.

Метод эксперимента

Каждый эксперимент состоит из предложения с уникальной строкой, которая вводится Javascript с использованием нескольких различных методов. После индексации поисковыми ботами вы можете использовать эту строку, чтобы проверить, отображаются ли связанные результаты поиска или нет, просто выполнив поисковый запрос в каждой поисковой системе, что подтверждает возможности индексирования Javascript каждой из них.

Мы провели эксперимент несколько недель, и вот результаты. Вы также можете скачать исходный код, чтобы повторить его самостоятельно.

Внедрение до загрузки DOM

Этот эксперимент синхронно записывает строку в элемент DIV с помощью Javascript. Чтобы тест прошел успешно, следующий контент должен быть проиндексирован.

Помогите механизмам найти динамически внедряемый контент, и это доказательство: WrPekZCDMg

Результаты

Гугл

Бинг

Яндекс

Байду

Внедрение после загрузки DOM

После загрузки DOM этот эксперимент записывает строку в элемент DIV с помощью Javascript. Чтобы тест прошел успешно, следующий контент должен быть проиндексирован.

Механизмы справки находят содержимое Javascript, которое вводится после загрузки DOM, и это является доказательством: 0ieQgguBQp

Результаты

Google

Бинг

Яндекс

Байду

Асинхронная инъекция

По истечении времени в 1000 миллисекунд эксперимент записывает строку в элемент DIV. Чтобы тест прошел успешно, следующий контент должен быть проиндексирован.

Асинхронно внедряемый контент можно найти в результатах поиска, и это доказательство: 7Cw6GVRR7p

Результаты

Google

Бинг

Яндекс

Байду

Внедрение после httpRequest

Этот эксперимент загружает файл JSON, а затем функция обратного вызова вставляет DIV со строкой, используя свои данные. Чтобы тест прошел успешно, следующий контент должен быть проиндексирован.

Даже с помощью httpRequest() вы можете получить содержимое. Помогите двигателям найти его. Доказательство: Jgv0PGmZRL

Результаты

Google

Бинг

Яндекс

Байду

Внедрение метаэлементов

Синхронно метаописание было заменено другим, содержащим уникальную строку. Чтобы тест прошел успешно, следующий контент должен быть проиндексирован и отображаться как описание в поисковой выдаче. Сравните уникальную строку. Примечание: следующий эксперимент может отменить этот.

Индексируют ли поисковые системы метаэлементы, внедренные Javascript? Посмотрите на 5ZW1D7Fmvk для доказательства

Результаты

Google

Бинг

Яндекс

Байду

Внедрение метаэлементов, асинхронное

С помощью функции тайм-аута метаописание было заменено новым, содержащим уникальную строку. Чтобы тест прошел успешно, следующий контент должен быть проиндексирован и отображаться как описание в поисковой выдаче. Сравните уникальную строку. Если этот эксперимент окажется удачным, предыдущий тоже сработает.

Индексируют ли поисковые системы метаэлементы, асинхронно внедряемые Javascript? Посмотрите на GMuPPfM0lw доказательство

.

Результаты

Google

Бинг

Яндекс

Байду

Бонус: внедрение варианта Unless

Этот эксперимент загружает вариант Unless, содержащий уникальную строку. Мы предпочитаем, чтобы следующий контент не индексировался — т.к. варианты Unless не должны показываться поисковым ботам. Давайте посмотрим.

Если поисковые системы проиндексируют вариации, вы увидите GFgfT64FKk в поисковой выдаче.

Результаты

Google

Бинг

Яндекс

Байду

Заключение

Google

Google показывает лучшие результаты в сканировании и индексировании динамического контента.