Сколько существует сайт – Узнать возраст сайта онлайн

Содержание

Как узнать дату создания сайта

Если необходимо выяснить, как давно в Интернете находится тот или иной сайт, то можно использовать несколько различных способов. Рассмотрим их на примере известного поисковика Yandex.

Как узнать, когда создан сайт - whois-сервисы

Можно воспользоваться информацией, предоставляемой специальными сервисами. Сайты Whois Service выдают информацию не только о дате его создания, но и о владельце, месте размещения хостинга и т.п.

Одним из популярных сайтов, к которым можно обратиться, - Domaintools.

Интерфейс его прост до предела. Необходимо в единственном поле Whois Lookup ввести адрес нашего подопытного – www.yandex.ru. После нажатия на кнопку «Search» сервер выдает результаты.

whois

В строке Dates указана информация о создании домена – Created on 1997-09-23. Дата записана в американской системе «год-месяц-число», нам привычнее европейское представление - 23.09.1997.

Есть и другие сайты, которые могут дать подобную информацию – как англоязычные, так и русскоязычные:

  • whois.net
  • dnsstuff.com
  • whois-service.ru
  • wwhois.ru/whois.php

Виртуальный хостинг сайтов для популярных CMS:

Как проверить, когда был создан сайт по дате на нем?

Некоторые сайты сами указывают момент начала своей работы. Традиционно дата размещается на странице в нижнем колонтитуле, называемом еще подвал или футер (footer).

На главной странице Yandex такой информации нет, но попробуем найти эту информацию в разделе «About». Так и есть, все тот же 1997 год.

футер

Не всегда эта надпись соответствует дате регистрации. На некоторых динамично обновляемых сайтах она может просто фиксировать текущий год, означая, что копирайт относится к информации, которая отображена на странице именно в этот момент времени.

Определяем дату по содержанию сайта.

Если в нижнем колонтитуле сайта у значка копирайта указан текущий год, то можно попытаться найти самые первые записи, появившиеся на нем. Попробуем уточнить дату создания Yandex Блогов. В футере копирайт указывает на 2013-2016 годы. Проверим. Для этого зайдем в раздел «Архив» и, воспользовавшись календарем, найдем самую старую запись.

Неожиданно оказывается, что это 28 января 2005 года.

дата в записи

Копирайт же указывает на другую дату. Почему так произошло? Оказывается, до 2012 года включительно Яндекс пользовался услугами дизайн-студии Артемия Лебедева и на страницах стоял ее копирайт. А с 2013 года дизайном сервисов начала заниматься собственная команда портала и копирайт Яндекса занял свое законное место на странице.

VPS SSD хостинг - выбор профессионалов. Только сертифицированное серверное оборудование!

Ответ на запрос браузера

Дату последнего изменения страницы можно узнать от сервисов, которые предоставляют ответ сервера на запрос.

Обратившись, например, к https://2ip.ru/server-response/, получаем пакет информации от yandex.ru. Интересующая нас информация находится после пункта Last-Modified.

last-modified

В ответе указывается время по Гринвичу (Greenwich Mean Time), которое меньше московского на три часа.

Как узнать дату создания сайта онлайн?

Для проверки даты создания сайта можно использовать порталы, дающие его комплексный анализ, например, cy-pr.com. Кроме этой информации на нем можно получить подробный отчет о статистике сайта в поисковиках, его посещаемости, количестве обратных ссылок, географии его посетителей и многом другом.

В форму на странице требуется ввести адрес сайта и нажать кнопку «Анализ».

cy-pr

В строке Дата регистрации указана уже знакомая нам дата создания Яндекса – 23 сентября 1997 года. Другие порталы, которые предоставляют подобную информацию:

  • spyonweb.com
  • seolik.ru
  • e.megaindex.ru
  • sbup.com

Интернет-архив

Можно попытаться узнать дату создания сайта, обратившись в интернет-архив.

Да, несмотря на некоторую абсурдность названия, существует портал archive.org, занимающийся благородным делом – созданием копий сайтов (snapshot) в различные моменты времени. Проверим, когда в его поле зрения попал Яндекс.

Вводим в поле для поиска адрес Яндекса и нажимаем «BrowseHistory».

В верхней части экрана видна линейка времени, на которой отображены даты создания копий сайта. Ниже расположен календарь, где вокруг дат размещены цветные круги, пропорциональные количеству копий, сделанных в этот день. Выбираем самый ранний, 1998 год.

вебархив

Видно, что копии делались только дважды – 6 и 12 декабря.

дата

Двойным кликом на отмеченных датах можно открыть сайт в том виде, как он выглядел на этот момент. Нетрудно убедиться, что «тот» Яндекс с современным имеет мало общего.

яндекс в 1998

Как узнать дату создания страницы сайта?

Если страница сайта содержит какую-либо обновляемую информацию, например, новости, то дату ее создания можно определить по дате самой последней записи. На главной странице Yandex хорошо видно, когда она была сформирована именно в этом виде, 15 октября в 11 часов 42 минуты:

дата на странице

Вот так выглядит дата создания страницы в блоге Яндекса:

дата создания страницы

Видно, что последняя запись была сделана 7 октября в 11:10, что и является моментом создания этой страницы.

Если страница содержит какие-либо формы для комментариев, то дату ее создания можно определить по дате самого первого комментария, например:

дата в комментарии

Конечно, первый комментарий может появиться не сразу после создания страницы, но уж никак не раньше. То есть мы можем быть уверены, что страница создана ранее этой даты.

Таким методом легко определить дату начала работы форума. Необходимо найти самые первые комментарии или сообщения от администраторов о правилах форума. Обычно они являются самыми первыми записями и точно отражают дату начала работы форума.

первая запись

Или, если доступны данные о зарегистрированных пользователях, посмотреть дату первой регистрации.

дата создания пользователя

Каждый из этих методов проверки не занимает много времени. Можно воспользоваться одним из них, а можно совместить несколько вариантов.

www.ipipe.ru

Как узнать дату создания сайта

Здравствуйте, уважаемые читатели! Бывают такие ситуации, когда позарез нужно выяснить, как давно в Интернете работает тот или иной сайт. Причины для этого могут быть абсолютно разными, но способы достижения цели всегда одни и те же. В данной статье мы расскажем вам о том, как узнать дату создания сайта. Пользуйтесь предложенными способами на здоровье.

Дата создания сайта

С какого момента считается возраст?

Первое, о чём нужно сказать: определять мы будем дату РЕГИСТРАЦИИ ДОМЕНА. Число, месяц и год, когда было зарегистрировано доменное имя, и будут считаться днём рождения веб-сайта.

Конечно, не факт, что он начал свою работу сразу же – между регистрацией домена и запуском ресурса в работу могли пройти дни, месяцы и даже годы. Кроме того, на этом доменном имени ранее мог располагаться совершенно другой сайт или простая заглушка. Не всегда есть возможность точно проверить это, но всё же некоторые пути для этого есть. Читайте далее и всё узнаете.

Способы определения возраста

Для выяснения даты создания вы можете пойти несколькими путями. Для большей достоверности лучше использовать их все. Начнём по порядку – от самого простого.

Спросить у владельца

Говорят, что язык до Киева доведёт. В более широком смысле эта фраза означает следующее: если вас что-то интересует – спросите об этом, и, быть может, вы получите ответ. Всё просто.

Вопрос владельцу сайта

Поэтому если вы хотите получить ответ из первых рук, то просто напишите администратору сайта, задав прямой вопрос: «Сколько работает ваш ресурс?». Естественно, предсказываем ответ: «А зачем вам это нужно?». Так что заранее лучше придумать и причину, по которой вас это интересует. Например, проводите опрос, изучаете рынок, хотите предложить услуги по продвижению и т.д. Или заявите прямо – простое любопытство.

Подозреваю, что мало кто воспользуется данным способом ввиду природной скромности, поэтому переходим далее.

Посмотреть на сайте

Откройте главную страницу любого ресурса и переместитесь в самый низ (так называемый подвал). Обычно там ставится знак копирайта и указывается период, в течение которого сайт функционирует.

Выглядит это примерно так: Название веб-ресурса © 2010 – 2016.

В данном примере мы понимаем, что начало работы — это 2010 год. Правда точный день (число и месяц) таким образом узнать нельзя.

Сервис проверки истории домена

Используем один из самых популярных онлайн сервисов – Whois History. Здесь можно посмотреть полную историю доменного имени, начиная с самого первого дня его регистрации. Введите имя в соответствующее поле и нажмите «Найти».

История домена

Переместитесь в самый низ результатов и обратите внимание на строчку «created». Это и будет датой регистрации.

Если в истории вы увидите, что в какой-то промежуток времени домен был свободен, то, скорее всего, до этого времени на нём располагался совсем другой сайт. Поэтому отсчёт даты создания того веб-сайта, который вы проверяете, начинается с того момента, когда доменное имя было зарегистрировано вновь.

Дата регистрации домена

Есть более простой сервис – Whois Service, где вы можете увидеть дату самой последней регистрации.

Как узнать, с какого дня начал работать сайт?

Как уже говорилось выше, дата регистрации домена не всегда совпадает с датой создания сайта. Доменному имени может быть уже 3 года, а ресурс, расположенный на нём, заработал всего 2 месяца назад. Как это определить?

Один из способов был описан выше – смотрите на копирайт в подвале главной страницы. Другой способ – воспользоваться веб-архивом. Что это такое?

Веб-архив – это ресурс, сохраняющий копии страниц других сайтов в определённый момент времени. Вы можете узнать, как выглядела та или иная веб-страница несколько месяцев или несколько лет назад.

Зайдите на веб-архив, введите нужный адрес и нажмите «Browse History».

Веб-архив

Вы увидите даты, за которые доступен просмотр копии. Выберите самую раннюю, нажмите на неё и посмотрите, как выглядел сайт. Сопоставьте эту информацию с той, которую вы получили при просмотре копирайта и проверке истории, и делайте выводы.

Удачи вам! По всем вопросам пишите в комментариях к статье!

P.S. О том, что необходимо для создания сайта с нуля, читайте ЗДЕСЬ.

С уважением, Сергей Чесноков

on-www.ru

SiteSpy.Ru :: Анализ сайта, проверка тИЦ и PR

Загружается! Дождитесь окончания сбора данных.

Зачем проводить анализ сайтов?

Для того, чтобы сделать работу сайта максимально эффективной, обязательно нужно периодически проводить его анализ. Это позволит вам обзавестись всей необходимой информацией, которая потребуется для оптимизации и последующего развития сайта. Благодаря анализу становится возможным выявление всевозможных ошибок и слабых мест ресурса, а также предотвращение появления новых. Проведя анализ вы получите все необходимые данные касательно вашего сайта. Без предварительного анализа не рекомендуется вносить на сайт какие-либо серьезные изменения, поскольку это может привести к неизвестным последствием. Поэтому, специалисты рекомендуют сначала сделать все проверки, выявить сильные и слабые стороны, а уже потом разрабатывать схему действий по оптимизации сайта.

Какие данные можно получить с помощью проверки домена?

  • Выполнив несложную проверку вашего домена, можно будет просмотреть такую информацию:
  • Показатель тИЦ Яндекса;
  • Числится ли ваш ресурс в Яндекс-каталоге;
  • Сколько страничек сайта уже находится в индексе основных поисковых систем;
  • Сколько раз упоминался ваш домен;
  • Исчерпывающий перечень ссылающихся страниц.
  • Помимо этого, есть возможность посмотреть и основные данные о сайте, такие как его возраст, хостинг-провайдер и IP адрес.

Можно ли анализировать чужие сайты?

Также вы можете получить нужные данные и о других доменах. Всю информацию, которая является доступной вы сможете просмотреть, а также есть возможность узнать какой класс веб-сервера используется, какая на нем операционная система и система управления сайтом. Кроме того, можно просмотреть данные WhoIS, а также заголовок ответа сервера. Данная информация может пригодится вам и для детального изучения своих ресурсов.

Насколько часто нужно делать анализ сайта?

Сразу стоит отметить, что информация, которую вы получите в ходе такого анализа является основной, соответственно изменяется она не слишком часто, поэтому каждый день проводить повторную проверку данных не нужно. Но и полное исключение такого анализа делать нельзя. Профессионалы советуют делать анализ сайта примерно раз в месяц. Такая периодичность позволит вам увидеть все произошедшие изменения и исключить всевозможные погрешности в подборке статистических данных.

Можно ли сделать SEO анализ сайта?

С помощью нашего сервиса вы можете также проанализировать и контент, которым наполнен ваш ресурс. Благодаря этому вы сможете просмотреть список заголовков на вашем сайте, а также узнаете сколько внешних ссылок на него ведут. Помимо этого, такой анализ позволит вам вывить наиболее конкурирующие с вами сайты. Соответственно, далее вы сможете сделать проверку и этих конкурентов, чтобы обнаружить все их плюсы и минусы по сравнению с вашим сайтом, а затем разработать планы необходимых изменений для улучшения эффективности работы сайта.

sitespy.ru

Как узнать дату создания сайта: несколько способов

Загрузка ... Загрузка ...

дата создания сайта

Да уж, вспоминаю как меня обманули когда я был новичком и купил себе молодой и перспективный сайт, как мне показалось. Купил на бирже б/у-шных сайтов и он оказался старым, заброшенным прежним хозяином, перекупленным и впаренным мне как лоху. Домен-дроп оказался, но об этом чуть ниже. Будет продолжение этой грустной истории и еще одна история — вообще жесть.

Привет дорогой посетитель, сегодня поговорим о возрасте. Чтобы узнать наш возраст, достаточно посмотреть в паспорт, а как узнать дату создания сайта? Вот моему блогу уже почти 4 года и раньше он выглядел как и большинство  - ужасно. Вот посмотрите какой он был.

Я уже рассказывал как и где я покупаю готовые сайты и там даже показывал на видео. Создавая с нуля или покупая на бирже б/у сайтов, многие начинающие разработчики ориентируются на примеры, которые уже в топе поисковой выдачи. Мерилом успеха является и время существования того или иного проекта, а понимание этой информации помогает выстроить контентную стратегию, наглядно продемонстрирует вам возможности и динамику развития сайта.

Содержание статьи

•Как же узнать?
•На что влияет возраст
•Способы узнать

Лимит времени: 0

Информация

Попробуйте в этом тесте угадать год создание знаменитых сайтов, таких как vk.com или youtube.com:

Вы уже проходили тест ранее. Вы не можете запустить его снова.

Тест загружается...

Вы должны войти или зарегистрироваться для того, чтобы начать тест.

Вы должны закончить следующие тесты, чтобы начать этот:

Время вышло

Вы набрали 0 из 0 баллов (0)

Ваш результат был записан в таблицу лидеров
  1. С ответом
  2. С отметкой о просмотре
максимум из 90 баллов
МестоИмяЗаписаноБаллыРезультат
Таблица загружается
Нет данных

Как же узнать возраст сайта и для кого это нужно

Первое, что необходимо знать — это то, что под «возрастом сайта» чаще всего подразумевают время регистрации доменного имени. В этом и кроется главный подводный камень. Если, скажем, владелец перенес сайт с другого домена по тем или иным причинам, выявить реальный возраст сайта будет невозможно. Даже если вам нужны данные об интересующем ресурсе, не попадитесь на эту уловку.

В первую очередь узнать срок существования WEB-сайта может быть просто интересно. Во-вторых, зная возраст ресурса прямого конкурента можно эффективно продвигать собственный продукт. На что это влияет? На бюджет SEO, на срок реализации вашей стратегии. Когда вы серфите в интернете, также может потребоваться подтверждение актуальности предоставленной информации. Например, подготавливаясь к экзамену, или находясь в поиске поставщиков, партнеров вы попадаете на информационный материал, и не всегда понятно, когда он был создан, поскольку попросту не установлен календарь публикации материала.

Сколько тебе лет?

На что влияет

В основном на ранжирование в поисковых системах, как в сторону улучшения, так и в строну ухудшения этих показателей. Считается, что чем старше сайт, тем выше он будет в списке выдачи поисковой системы. Однако не стоит расслабляться, поисковики также используют алгоритмы вывода из оборота устаревшей информации, присваивают «мусорный» уровень сайтам, которые заброшены или не обновляются. «Зрелым» считаются сайты от 8 месяцев своего существования, и лояльность поисковых систем к таким ресурсам резко увеличивается, по отношению к новым интернет-сервисам. Именно этот факт руководит разработчиками, которые стремятся купить уже готовый продукт, а не вкладывать деньги и силы в раскрутку нового ресурса.

Это в принципе понятно, чем старше сайт тем круче. Но вот как было у меня: Я купил годовалый сайт по форекс тематике, а он оказался старым заброшенным дропом. Дроп — это когда владелец сайта не продлевает его и он перестает существовать, но в поисковиках осталась о нем память, на него ведут старые ссылки и т. д. То есть если вы сейчас зарегистрируете новыое доменное имя, а оно окажется когда то заброшенным — это же не есть гуд? Смотрите: возраст нового сайта будет пять дней, а ссылки на него будут идти трех годовалой давности. Не подозрительно?

Ну это ладно, я его забросил потом и выкинул. А вот моя коллега зарегистрировала себе новый домен, а он оказался бывшим порно сайтом. Представляете? порно-нычка. Он сразу оказался под АГС и она его долго очищала от этого пятна и только недавно Яндекс снял с нее этот фильтр. О том как я выводил свой сайт из под АГС читайте с картинками тут.

Способы узнать правду

  • Проще всего посмотреть на дату публикации материала, если такая имеется или пролистать в самый низ страницы, где обычно пишется год создания сайта. Конечно, вы не застрахованы от ошибки или обмана, однако в большинстве случаев таких действий хватит, чтобы ориентироваться.
  • Воспользоваться специальными сервисами Whois Service. Это сайты, которые после введения адреса домена предоставят не только информацию о дате регистрации домена, но и подскажут кто владелец, его контактные данные, физическое место расположения хостинга.

Давайте посмотрим на примере моего сайта.

whois сервис

Дополнительный перечень сервисов:

  • whois.domaintools.com
  • whois.net
  • dnsstuff.com

Информация о дате регистрации домена не является секретной, и по большому счету, не может быть использована для нанесения вреда владельцу ресурса. Если же вы планируете сделать свой сайт, запустить новый интернет-проект, начните с полноценного сбора информации о ваших прямых конкурентах в том или ином сегменте. Это сэкономит вам время, сориентирует в показателях успеха и поможет выстроить стратегию победы.

Информация о возрасте сайта пригодиться вам, когда будете анализировать конкурентов. Чем старше ресурс, тем больше ему доверяют поисковики – немалый плюс, при прочих параметрах. Когда я покупаю сайты на бирже Telderi, то обязательно смотрю на этот момент. Об этом у меня есть очень интересная статья.

Но как быть с самим сайтом, что на нем было несколько лет назад? Whois покажет только возраст домена. Тут на помощь приходит вэб-архив, в котором периодичеси делаются снимки всех сайтов в интернете, если доступ к ним не закрыл вебмастер – что довольно редко. Прямо сейчас вы можете посмотреть какой была биржа биржа ADVEGO 5 лет назад. Заходите сюда. Вписываете имя интересующего сайта и смотрите его историю.

пример на адвего

выбираем год

И вот как это было

Как начиналось Адвего

Как видите не особо изменилась эта биржа за 7 лет, в плане оформления или идеи. Посмотрите на другие сайты в интернете. Если найдете что-то интересное пишите в комменты. А пока до связи.

copirayter.ru

Как узнать, когда создан сайт. Как посмотреть дату создания

Как узнать когда создан сайт

От автора: Приветствую вас, уважаемый читатель. Сегодня я расскажу вам о том, как узнать когда создан сайт. Я думаю, это полезная информация, которая вам может пригодиться.

Сервисы анализа сайта

Итак, для этого стоит воспользоваться любым сервисом, который анализирует домен на различные показатели. Среди прочего, там можно узнать и точную дату регистрации домена.

http://sprinthost.ru/whois.html — это страница от хостинга sprinthost, на которой можно подобрать домен, то есть проверить занятность. Соответственно, просто введите сюда адрес нужного ресурса и получите информацию о нем. Сервис показывает дату регистрации домена, а также дату, до которой он продлен.

Как узнать когда создан сайт

http://pr-cy.ru/a/ — замечательный анализатор, в котором вы можете узнать не только, когда создан сайт, но и о различных показателях – количестве страниц в индексе, ТИЦ, PR, AlexaRank и т.д. Все это очень полезно с точки зрения наблюдения за тем, развивается ли ресурс в правильном направлении.

Как узнать когда создан сайт

JavaScript. Быстрый старт

Изучите основы JavaScript на практическом примере по созданию веб-приложения

Узнать подробнее

Как узнать когда создан сайт

Собственно, подобных сервисов очень много и приводить их не вижу смысла, любой вам покажет соответствующую информацию. Введите в поисковик – “whois” и вы найдете массу таких сервисов. Стоит отметить, что в футере иногда можно увидеть год создания проекта, но точной даты вы там не найдете.

Зачем узнавать дату создания

Самый простой ответ – просто интересно. Иногда в сети вы можете натыкаться на разные проекты и вас может заинтересовать, сколько они существуют в сети и за какое время смогли выйти на свой текущий уровень. Как правило же, определение возраста является одним из факторов при оценке конкурентов. Раз уж мы заговорили об этом, давайте рассмотрим, как это влияет на поисковую выдачу.

Как возраст веб-ресурса влияет на выдачу

То, что старые ресурсы имеют преимущество над молодыми – это давно доказанный факт. Но насколько это серьезный фактор? Можно сказать, что достаточно серьезный. Дело в том, что все проекты, которые существуют всего от 1 до 12 месяцев, могут находиться под действием специального фильтра, который будет мешать им занимать высокие позиции по конкурентным высокочастотным и среднечастотным запросам.

Это сделано для того, чтобы не дать слишком молодым сайтам быстро пробраться в топ. Дело в том, что отношение к таким веб-ресурсам у поисковиков на первых порах подозрительное. Так и должно быть, это позволяет отсеивать различные спамерские сайты, созданные только с целью быстрого заработка.

Старый, авторитетный домен получает небольшое преимущество, потому что к нему больше доверия. Если сайт существует долго, это значит, что он живет по правилам поисковых систем, на нем размещается полезная информация и создатели веб-ресурса не прибегают к различным накруткам: покупке тысяч ссылок на сайт, накрутке посетителей и т.д. Все это сегодня очень строго карается Яндексом и Гуглом.

В основном фактор возраста имеет значение для молодых сайтов. Так, разница между 3 месяцами и 1 годом может быть очень значительной, тогда как разницы между двумя годами и шестью уже практически не будет – оба сайта будут в достаточной мере проверенными и авторитетными.

Я думаю, теперь у вас не возникнет вопроса, как посмотреть дату создания сайта, все предельно просто и это делается с помощью любого анализатора.

Как узнать когда создан сайт

Хотите узнать, что необходимо для создания сайта?

Посмотрите видео и узнайте пошаговый план по созданию сайта с нуля!

Смотреть видео

webformyself.com

Как узнать возраст сайта?

Вы без проблем можете узнать возраст сайта, возраст домена. Для этого есть ряд сервисов, о которых мы сейчас поговорим. Рассмотрим сервисы Whois и интересный сайт для получения данных о возрасте домена.

1. Prlog.ru — комплексная информация о сайте и домене.

Зайдите на сайт prlog.ru, в поле «Анализ сайта» впишите интересующий вас домен и нажмите на кнопку «Анализ».

Далее смотрим в левую область страницы и видим информацию о домене и сайте:

Ну вот, теперь все ясно — сайту 1 год. Данные не слишком точные, хотите получить информацию вплоть до даты регистрации домена? Читайте ниже тогда.

2. Сервис whois — вся информация о домене.

Таких сервисов довольно много, вот примеры:

  • whois-service.ru
  • nic.ru/whois/
  • whois.net
  • reg.ru/whois/

И все они позволяют получить информацию о возрасте домена сайта.

Зайдите на один из выше перечисленных сайтов, введите в строку имя интересующего вас домена и нажмите enter. Вам выведется примерно такая информация:

Domain Name:MAXTOP.ORG
Domain ID: D167248978-LROR
Creation Date: 2012-12-01T19:48:09Z
Updated Date: 2013-12-13T00:20:18Z
Registry Expiry Date: 2014-12-01T19:48:09Z
Sponsoring Registrar:Registrar of Domain Names REG.RU LLC (R1943-LROR)
Sponsoring Registrar IANA ID: 1606

Теперь все понятно, домен был зарегистрирован 1 декабря 2012 года и оплачен до 1 декабря 2014 года. Регистратор доменных имен — Reg.ru или их партнерская компания (в моем случае это 2domains.ru).

Вот таким нехитрым способом вы всегда можете узнать возраст сайта. Хотя точнее сказать домена, ведь сайт мог быть на другом домене иногда, а иногда домен пылится без дела пару лет, а потом только на нем уже начинает работать сайт. Вещи это несколько разные — возраст сайта и возраст домена, помните об этом.

Поделитесь этой записью с друзьями, буду благодарен!

maxtop.org

Как мы просканировали весь интернет и что мы узнали / Habr

Сколько сайтов вы используете ежедневно? Пару социальных сетей, поисковик, несколько любимых издательств, около 5 рабочих сервисов. Пожалуй, вряд ли наберется более 20 сайтов.

А задумывались ли вы сколько сайтов в интернете и что с ними происходит?

Периодически попадаются статьи с исследованиями, построенными на выборке разных топ 1М сайтов. Но мне всегда было интересно, можно ли пробежаться по всем доменам интернета, не строя аналитику на очень малой выборке.

Впервые я задался этим вопросом больше года назад. Мы начали разработку краулера для вебсайтов и нужно было его тестировать на больших объемах. Взяв ядро краулера, я впервые пробежался по доменам рунета — это 5.5 млн доменов, а после и по всем 213 млн. доменов (осень 2017 года).

За прошедшее время было вложено немало сил и средств в разработку, алгоритмы стали получше, я решил вернуться к анализу интернета и собрать еще больше данных.

Цель этого сбора информации — получить достоверную выборку в первую очередь по рабочим хостам, редиректам, заголовкам server и x-powered-by.

Методика сбора


Само приложение написано на Go, используются собственные реализации для работы с dns и http клиент. В качестве очереди redis, бд — mysql.

Исходно есть только голый домен, вида example.com. Анализ состоит из нескольких этапов:

  1. проверить доступность http://example.com, http://www.example.com, https://example.com, https://www.example.com
  2. если хоть к какому то варианту удалось подключиться, то:
    — анализируем /robots.txt
    — проверяем наличие /sitemap.xml

Каждый день появляется и удаляется около 100 тыс доменов. Очевидно, что сделать одномоментный слепок состояния сети практически невозможно, но нужно делать это максимально быстро.

Мы развернули дополнительный кластер серверов краулера, что позволило достичь средней скорости 2 тыс доменов в секунду. Таким образом проверка 252 млн доменов заняла примерно полтора дня.

Лирическое отступление

Параллельно с краулингом развивается навык “1001 способ ответить на абузы“. Это просто бич любого более-менее крупного анализа. Стоило немало сил доработать алгоритм, чтобы он не попадал за короткий промежуток на одни и те же ip или не стучался несколько раз на https.


Данные


Самая главная цифра при анализе сети — это количество “живых” доменов. Мы называем домен “живым” на который резолвится IP и хоть одна из версий www/без_www http/https отдает любой код ответа.

Конечно же нельзя забывать про код 418 — чайники: 2227 штук.

Всего было найдено 13.2 млн ip адресов. Стоит отметить, что по некоторым доменам отдается сразу несколько ip адресов, по другим только один, но каждый раз разный.
Таким образом, средняя температура по больнице, в среднем на одном IP находится 16 сайтов.

Картина по статус кодам выглядит следующим образом:

сумма больше общего количества доменов, т.к. каждый хост может отдавать 4 разных статус кода (комбинации www/non www, http/https)

Https


Переход на https является трендом последних лет. Поисковики активно продвигают внедрение защищенного протокола, а Google Chrome скоро начнет помечать http сайты как незащищенные.

Таким образом доля работающих сайтов по https достигла 73% от количества сайтов работающих по http.

Самой большой проблемой перехода является практически неминуемая просадка трафика, т.к. для поисковиков http/https даже на одном домене технически являются разными сайтами. Новые проекты обычно сразу запускаются на https.

www или без www?


Поддомен www возник примерно вместе с самим Интернетом, но даже и сейчас некоторые люди не воспринимают адреса без www.

При этом 200 код ответа на версию без www отдает 118.6 млн. доменов, а с www — 119.1 млн доменов.

У 4.3 млн доменов не подвязаны ip на версию без www, т.е. вы не зайдете на сайт по example.com. У 3 млн. доменов не подвязаны ip на поддомен www.

Важный момент — это наличие редиректов между версиями. Т.к. если будут в обоих случаях отдаваться 200 коды, то для поисковика это два разных сайта с дублированным контентом. Хочется напомнить, не забывайте настраивать корректные редиректы.
Редиректов с www->без www 32 млн., без www->www 38 млн.

Глядя на эти цифры мне сложно сказать кто победил — www или без www.

Редиректы


В seo кругах бытует мнение, что самым эффективным методом продвижения сайта является простановкой на него редиректов с околотематических сайтов.

35.8 млн доменов редиректят на другие хосты и если сгруппировать их по назначению, видим лидеров:

Традиционно в топе находятся доменные регистраторы и парковки.

Если посмотреть на топ по количеству менее 10000 входящих редиректов, то можно увидеть много знакомых сайтов типа booking.com.

А в топ до 1000 появляются казино и прочие развлекательные сайты.

Server header


Наконец-то добрались до самого интересного!

186 млн доменов отдают не пустой заголовок Header. Это 87% от всех живых доменов, вполне достоверная выборка.

Если сгруппировать просто по значению, то получим:

Лидерами являются 20 серверов, которые в сумме имеют 96%:

Мировой лидер — Apache, серебро у Nginx и замыкает троицу IIS. В сумме эти три сервера хостят 87% мирового интернета.

Страны консерваторы:

Примечательно, что в Рунете картина иная:

Здесь абсолютным лидером является Nginx, apache имеет долю в три раза меньше.

Где еще любят Nginx:

Оставшиеся сервера распределены следующим образом:

X-Powered-By


Заголовок X-Powered-By есть только у 57.3 млн хостов, это примерно 27% от живых доменов.

В сыром виде лидеры:

если обработать данные и отбросить мусор — то php побеждает:

версии PHP:

Лично меня несколько удивляет такая популярность 5.6 и в тоже время радует, что суммарная доля семерок растет.

Также есть один сайт в рунете, который говорит, что работает на php/1.0, но правдивость этой цифры вызывает сомнения.

Cookies


Заключение


Я показал лишь очень малую часть информации, которую удалось найти. Копание в этих данных напоминает рытье в куче мусора с целью найти интересные артефакты.

Не раскрытыми остались темы с блокировкой ботов поисковиков и сервисов аналитики (ahrefs, majestic и другие). На такой выборке немало находится различных сеток саттелитов, как ни пытайся скрыть футпринты, но на тысячах доменов можно увидеть закономерности.

В ближайших планах собрать еще больше данных, в частности по ссылкам, словам, рекламных системам, кодам аналитик и многое другое.

Буду рад услышать ваши комментарии и замечания.

habr.com

Отправить ответ

avatar
  Подписаться  
Уведомление о