Таблицы яндекс: Как создать динамическую таблицу — Yandex Wiki. Справка

И

Количество проведенных игр

В

Выигрыши в основное время

ВО

Выигрыши в овертайме

ВБ

Выигрыши в послематчевых буллитах

ПО

Проигрыши в овертайме

ПБ

Проигрыши в послематчевых буллитах

П

Проигрыши в основное время

Ш

Шайбы

О

Количество набранных очков

<…>Статья 14. Определение результатов и мест команд на Первом этапе Чемпионата

1. Места команд в Дивизионах, Конференциях и Общей таблице Чемпионата определяются по сумме очков, набранных во всех матчах Первого этапа Чемпионата.

2. Для определения текущего и окончательного распределения мест между командами в Дивизионах, в Конференциях и в Общей таблице Чемпионата в случае равенства очков у двух или более команд преимущество получает команда:

2.1. Имеющая большее количество побед в основное время во всех матчах Первого этапа;

2.2. Одержавшая большее количество побед в овертаймах во всех матчах Первого этапа;

2.3. Одержавшая большее количество побед в сериях бросков, определяющих победителя матча, во всех матчах Первого этапа;

2.4. Имеющая лучшую разность заброшенных и пропущенных шайб во всех матчах Первого этапа;

2.5. Имеющая большее количество заброшенных шайб во всех матчах Первого этапа.

Примечание. Указанные выше критерии применяются последовательно;

2.6. При равенстве всех вышеперечисленных показателей распределение мест между командами определяется жребием.

3. В официальных таблицах Конференций команды, занимающие первые места в Дивизионах, располагаются на первом и втором местах в зависимости от количества набранных очков во всех матчах Первого этапа Чемпионата в порядке убывания спортивных результатов.

Таблица символов фирменного шрифта Яндекса

Таблица символов

•        ABCD
  #$%&
  1234

Латиница

Кириллица

Математические

Дополнительная латиница-1

О символе

• Юникод: %unicode%
• Блок: %block%

Применение

• Copy-paste: %copyPaste%
• Windows: %windows%
• HTML: %html%

Основная латиница

0021

0028

0029

002D

002F

003B

003C

003E

003F

0041

0042

0043

0044

0045

0046

0047

0048

0049

004A

004B

004C

004D

004E

004F

0050

0051

0052

0053

0054

0055

0056

0057

0058

0059

005A

005F

0061

0062

0063

0064

0065

0066

0067

0068

0069

006A

006B

006C

006D

006E

006F

0070

0071

0072

0073

0074

0075

0076

0077

0078

0079

007A

007B

007D

Дополнительная латиница-1

00AB

00BB

00D7

Кириллица

0401

0410

0411

0412

0413

0414

0415

0416

0417

0418

0419

041A

041B

041C

041D

041E

041F

0420

0421

0422

0423

0424

0425

0426

0427

0428

0429

042A

042C

042D

042E

042F

0430

0431

0432

0433

0434

0435

0436

0437

0438

0439

043A

043B

043C

043D

043E

043F

0440

0441

0442

0443

0444

0445

0446

0447

0448

0449

044A

044B

044C

044D

044E

044F

0451

Знаки пунктуации

2011

2012

2013

2014

2022

2026

Математические операторы

2248

Геометрические фигуры

25FC

Поддерживаемые языки

• Русский
• Английский
• Болгарский
• Итальянский

Русский

Государев указ: душегубцев да шваль всякую высечь, да калёным железом по щекам этих физиономий съездить!

Болгарский

Жълтата дюля беше щастлива, че пухът, който цъфна, замръзна като гьон

Итальянский

Qualche vago ione tipo zolfo, bromo, sodio

Английский

When we go back to Juarez, Mexico, do we fly over picturesque Arizona?

Заказать дизайн…

Алгоритмы поисковых систем. Сравнительная таблица Яндекс и Google — Статьи

Поисковые системы стремятся отвечать интересам пользователей, помогая людям найти необходимую информацию в интернете. Чтобы в выдаче оказывались результаты, которые отвечают цели запроса, поисковики используют сложные формулы, учитывающие несколько тысяч сигналов. Механизм ранжирования и фильтрации сайтов на основе содержимых страниц называется алгоритмом.

Какие точно параметры учитывают поисковые системы при формировании результатов поиска, известно только создателям алгоритмов. Лишь иногда Яндекс и Google приоткрывают завесу тайны над тем, какие факторы учитываются тем или иным действующим алгоритмом.

Мы подготовили таблицу, в которой можно увидеть, как изменялись алгоритмы в течение времени, а также увидеть сходства и различия самых известных алгоритмов двух главных поисковиков рунета — Яндекса и Google.

В данной таблице перечислены лишь некоторые алгоритмы, о которых известно SEO-специалистам. В действительности их у поисковых систем гораздо больше, и все они оказывают то или иное влияние на результаты поиска. Главное, что необходимо помнить — действие алгоритмов направлено на то, чтобы предотвратить появление в выдаче сайтов с бесполезным контентом, обилием рекламы и использующим «черные» методы продвижения. Соблюдение требований поисковиков и знание основных принципов ранжирования поможет вашим сайтам оставаться «на плаву» и улучшать позиции в выдаче.

Как скопировать кампанию в Яндекс.Директ: 5 способов плюс сравнительная таблица

Часто рекламодателям приходится запускать несколько практически идентичных рекламных кампаний, чтобы протестировать разные стратегии или установить разные ставки для отдельных регионов. Если делать все вручную, на настройку 3 кампаний уйдет 2-3 часа. Чтобы ускорить процесс и справиться за 10-15 минут, воспользуйтесь функцией копирования. Создать новую кампанию на основе старой можно через интерфейс Директа, приложение Директ Коммандер, менеджеров Яндекса, выгрузку файлов XLS и бид-менеджеры. Рассмотрим каждый способ подробнее и сведем их в сравнительную таблицу.

Копируем через интерфейс Яндекс.Директ

Выделите одну или несколько кампаний, которые нужно скопировать, и в открывшемся меню выберите действие «Копировать».

Кампании-копии появятся в списке в течение минуты

Настройки сохранятся, только статистика обнулится и будет собираться заново после запуска. У метода есть недостатки. Скопировать кампании в другой аккаунт не получится. Кроме того, в новую попадут не только активные, но и архивные объявления. Если их слишком много, могут возникнуть сложности с добавление новых, так как в одну кампанию можно добавить до 1000 групп. С другой стороны, архивные объявления могут пригодиться, например, если вы меняете их в зависимости от сезона, и в архиве хранятся нужные, но неактуальные для этого времени объявления.

Копируем через Директ Коммандер

На вкладке «Кампании» выделите те, которые нужно скопировать и нажмите клавиши Ctrl+C (копировать) и Ctrl+V (вставить).

Копии кампаний появятся ниже на той же вкладке

Как и при копировании через интерфейс Яндекс.Директа, настройки кампаний сохраняются, а статистику придется накапливать заново. Архивные группы копируются, но без объявлений, только фразы. Толку от этого мало — чтобы сохранить кампанию, их нужно удалить или создать новые.

Директ Коммандер не копирует архивные объявления, только группы

С агентским доступом можно копировать кампании в пределах одного или между разными аккаунтами. Однако на другой аккаунт не переносятся корректировки ставок по условиям ретаргетинга и уточнения объявлений.

Если у вас клиентский доступ, быстрое копирование доступно только в пределах одного аккаунта. Чтобы перенести кампании на другой, выгрузите их в файл.

Выделите нужные кампании и кликните, чтобы выгрузить их

И загрузите его на нужный аккаунт.

Кликните и выберете нужные файлы из открывшейся папки

Учтите — стратегия, счетчик метрики и метки не сохранятся.

Способ удобен, если нужно скопировать много кампаний. Вы сразу можете приступить к редактированию и внести изменения в несколько кампаний одновременно.

Выгружаем через XLS/XLSX

Зайдите в личный кабинет Директа и в меню «Действия» в левом нижнем углу выберите пункт «Управление кампаниями с помощью XLS/XLSX».

Чтобы скопировать РК, нужно сначала сохранить их на компьютер

На вкладке «Выгрузка в XLS/XLSX» выберите нужную кампанию и формат файла.

Если нужно выгрузить архивные объявления, отметьте соответствующий чекбокс

На вкладке «Загрузка из XLS/XLSX» выберите файл, который выгружали ранее, при необходимости изменив регион. Установите действие «Создать новую кампанию» и нажмите «Продолжить».

При загрузке файла можно установить регион для всех объявлений

Можно копировать кампании на разные аккаунты, но за раз только одну. Поэтому способ не подойдет, если нужно скопировать много кампаний сразу. Стратегия и номер счетчика метрики не переносятся, статистика обнуляется.

Заказываем копии у менеджера

Метод доступен только агентствам. Чтобы им воспользоваться, нужно написать письмо с просьбой скопировать кампании менеджеру Яндекса, который обслуживает ваш аккаунт. Можно скопировать несколько кампаний сразу на разные аккаунты. Сохраняются все параметры, в том числе — накопленный CTR. Если хотите сохранить текущий CTR и цены клика, этот способ для вас. Однако все запросы обрабатываются в порядке очереди в рабочее время, и копии появятся личном кабинете не сразу.

Если нужно скопировать кампании одного клиента, можно воспользоваться формой в интерфейсе Директа.

Откроется форма, в которой нужно указать логин и номера кампаний. В ней можно быстро и удобно отметить нужные объявления.

В форме можно настроить копирование статусов и другие параметры

Копируем через сервисы автоматизации

Рассмотрим на примере сервиса Сеодроид. Кликните по кнопке «Копирование кампании» под нужной кампанией.

В интерфейсе Сеодроида можно скопировать любую кампанию

Укажите название новой кампании и аккаунт, на котором хотите ее создать. Выберите режим и нажмите «Скопировать».

Через Сеодроид можно копировать кампании на разные аккаунты. Ставки, корректировки ставок, CTR и архивные объявления не сохраняются. Зато можно скопировать кампании, даже если у вас нет доступа для редактирования в аккаунт Директа, достаточно доступа на чтение. Другие способы в таком случае будут недоступны.
Если нужно скопировать кампании, чтобы создать отдельные под каждый регион, сделать это через Сеодроид проще всего. Достаточно выбрать нужные регионы и режим копирования «Разные копии на выделенные регионы».

Сравним способы в таблице

У каждого метода есть преимущества и недостатки. Однако они имеют значения только в контексте ваших задач. Выбирать стоит в зависимости от того, возможно ли скопировать кампанию с нужными параметрами в конкретной ситуации. Мы собрали в таблицу все возможности и функции, которые могут понадобиться вам при копировании, и отметили, для каких способов они доступны, а для каких — нет.

Воспользуйтесь таблицей, чтобы узнать, какой метод подойдет вам. Например, если прямому рекламодателю нужно скопировать одну кампанию в пределах своего аккаунта с переносом архивных объявлений, которые могут еще пригодиться, это можно сделать через интерфейс Директа и выгрузку/загрузку файлов XLS. Агентству, которому нужно продублировать 5 кампаний для разных клиентских аккаунтов с сохранением меток, стратегии, ставок и статистики, придется отправлять письмо личному менеджеру. А размножить одну кампанию на несколько регионов можно только через бид-менеджер Сеодроид.

Таблица для транслитерации по версии Яндекса

Примечание: если нужно получить подсветку в яндексе, а воспользуйтесь нашим инструментом для ручной генерации seo url — которые понимает и яндекс и гугл. Ниже представлена только теория.

В Яндексе на данный момент (апрель 2012 года) используется стандарт «Транслитерация имен для загранпаспорта РФ» (Приказ Министерства внутренних дел Российской Федерации от 31 декабря 2003 г. N 1047 г. )

Таблица № 1. Правила транслитерации русских букв латиницей для Яндекса

Таблица № 2. Дифтонги (сочетания гласной буквы и «й»)

Меняем стили таблицы в статистике Яндекс Директа

Если вас не устраивает, как отображается таблицы статистики в Яндекс Директе, то это можно поправить. 

Мне, например, не нравиться большая простыня отчета на страницах статистики в Директе, например по поисковым запросам. Она выходит почти в 2 раза за пределы экрана. Если уменьшать масштаб страницы, то уменьшаются и другие элементы, помимо самой страницы.

Для браузеров есть плагин Stylish, который позволяет менять стили на странице в браузере. Скачать его для хрома можно тут https://chrome.google.com/webstore/detail/stylish-custom-themes-for/fjnbnpbmkenffdnngjfgmeleoegfcffe?hl=ru

В нем можно прописать стили CSS, которые хотите поменять на странице

Для этого кликаем на плагин и выбираем Создать стиль (спрятан за 3 точками)

Появиться новое окно, в котором вводим Названия стиля, свой код и на какой странице он должен применяться:

Применять будем на всех станицах, которые соответствуют регулярному выражению :
 .*direct\.yandex\.ru\/registered\/.*show_stat=1.*

Код стиля:

/* Строка заголовка таблицы */
.b-stat-table_type_mol .b-stat-table__head-col {
    padding: 3px 3px;
}
.b-stat-table__head-col-wrap_sorted_yes {
    padding-left: 5px;
}
.b-stat-table_type_mol .b-stat-table__row-col {
    padding: 3px 3px;
}
.b-stat-table_type_mol .b-stat-table__row-col_type_slices {
    white-space: normal;
}
.b-stat-table__head {
    white-space: normal;
}

/* Столбец с поисковыми запросами */
.b-mol-stat-data__search-query-wrap {
    width: 250px;
}

.b-stat-table_type_mol .b-stat-table__head-col {
    padding: 3px 3px;
}

/* Цвета таблицы */
.b-stat-table__row-col {
    border-bottom: 1px solid #A5A5A5;
}

.b-stat-table_type_mol .b-stat-table__row-col {
    border-left: 1px solid #A5A5A5;
}

Сохраняем. Теперь при включенном плагине на странице статистики будет более компактная таблица:

Если у вас есть свои подобные стили, поделитесь со мной 🙂

Автор: Москалец Андрей • Дата создания: 2019-11-19

Как в Яндекс.Метрике импортировать данные отчетов из таблиц и графиков в Excel

В этой статье мы рассмотрим детально процесс выгрузки данных из отчетов Яндекс.Метрика в отдельный документ с разбивкой данных по дням, неделям и месяцам.

Например, стандартная функция экспорта в Метрике, позволяет выгружать:

1. Данные из графика. Выгружаются в документ параметры и показатели на основе которых формируется график отчета за выбранные период.

2. Данные из таблицы. В документ переносится данные из таблицы отчета по выделенным полям с сохранением показателей и метрик.

Давайте разберем на примере все возможности выгрузки данных в .XLSX и .CSV.

Решения

Предположим, нам нужно выгрузить данные по трафику из поисковых систем Яндекс и Google с разбивкой по месяцам за весь последний год.

Как это реализовать?

Стандартными отчетами в интерфейсе Метрики получить такие данные не получиться.

В табличном отчете вы получите только общие данные за выбранный период, а на графике данные можно увидеть только в сплывающем окошке, при наведении курсора, что не совсем удобно, так как запомнить, а тем более сохранить и перенести значения в отдельный документ не получится.

Именно для таких случаев нужна выгрузка значений из графика и таблицы.

1. Переходим в нужный отчёт и указываем временной интервал;
2. Далее выбираем вывод данных по месяцам;

3. Указываем галочками в таблице ниже требуемые параметры, а напротив ненужных полей — снимаем галочки. В нашем примере отмечаем только поисковые системы Яндекс и Google;

4. Переходим в правый верхний угол отчёта и выбираем  выгрузку Данные графика. Файл сформируется за несколько секунд и будет сохранен на ваш компьютер.

Получаем данные в файле с разбивкой по месяцам. Вот такие значения можно получить в сохраненном нами файле:

Как видите, в столбце Период указаны месяца, а в двух других столбцах количество переходов из каждой поисковой системы.

Однако, Яндекс.Метрика позволяет выгружать данные не только из графика, но и из таблицы.

Выполняем все ранее описанные действия, то теперь выбираем Данные таблицы. Выгрузка такого отчета займет чуть больше времени и будет иметь немного иной вид, дублируя таблицу из отчета с данными группировок.

Важно! Отчёт можно с лёгкостью изменить, поменяв в нем группировки, добавив дополнительные метрики, настроить детализацию по дням или неделям и выгрузить показатели за любой другой период по другим параметрам.

Поздравляю! Теперь с этими данными удобно работать: строить на их основе графики и диаграммы, составлять сводные таблицы и отчёты, добавлять в презентацию и пересылать клиентам!

Остались вопросы?

Мы решили довольно простую задачу, но если у вас остались вопросы, то оставляйте ваши комментарии в форме ниже под этой записью и не забывайте подписываться на новые инструменты и статьи блога!

Читайте дальше:

Вставка таблиц — Яндекс.Wiki. Справка

Используйте динамические таблицы для сортировки значений, определения типов данных для отображения в столбцах и установки необходимых ячеек. Вы можете использовать динамические таблицы как есть или встраивать их в страницы.

Чтобы встроить динамическую таблицу на страницу:

2. Щелкните на боковой панели.

3. Настройте параметры внедрения.

4. Скопируйте код встраивания и вставьте его на страницу.

Динамические таблицы можно редактировать прямо со страницы, если во время встраивания не выбран параметр «Только чтение».Все изменения автоматически применяются к основной таблице и ко всем ее появлению на других страницах.

Строки в динамических таблицах можно быстро отсортировать по столбцам:

1. Щелкните заголовок столбца.

2. Щелкните значок еще раз, чтобы отсортировать строки в обратном порядке.

Сортировка таблиц по нескольким столбцам одновременно

Таблицы можно упорядочивать, используя несколько типов сортировки. Типы сортировки указываются в порядке убывания приоритета.

Чтобы создать новый порядок сортировки:

1. Щелкните на боковой панели.

3. Выберите столбец и порядок сортировки.

Вы можете фильтровать встраиваемые таблицы, чтобы отображались только определенные строки и столбцы. Для этого:

1. Получите код для встраивания и поместите его в текст страницы.

2. Чтобы выбрать столбцы для отображения, добавьте параметр columns к коду вашей таблицы.Чтобы узнать больше об использовании этого параметра, см. Выбор столбцов для отображения.

3. Чтобы отфильтровать строки на основе значений, установленных в определенных ячейках, добавьте параметр filter в код своей таблицы. Дополнительные сведения об использовании этого параметра см. В разделе Настройка фильтров отображения строк.

Чтобы открыть исходную таблицу, которую вы использовали для встраивания:

1. Щелкните в нижней части таблицы.

Документация по Supermetrics | Яндекс.Таблицы прямого хранилища данных

Продукты

• Суперметрики для Google Таблиц
• Суперметрики для Google Data Studio
• Суперметрики для Excel
• Суперметрики для BigQuery
• Суперметрики для DWH и облачного хранилища
• API Supermetrics

Источники данных

• Рекламные данные + Google Analytics
• Adform
• Adobe Analytics
• Adobe Analytics 2.0
• AdRoll
• Ahrefs
• Apple App Store / iTunes общедоступные данные
• Поисковая реклама Apple
• Awin
• Инструменты Bing для веб-мастеров
• CallRail
• Criteo
• Рекламная библиотека Facebook
• Facebook реклама
• Сеть аудитории Facebook
• Facebook Insights
• Публичные данные Facebook
• Google Менеджер рекламы
• Google AdSense
• Google Рекламы
• Гугл Аналитика
• Google Analytics 4
• Google Campaign Manager
• Google Дисплей и Видео 360
• Google Мой бизнес
• Google Search Ads 360
• Консоль поиска Google
• Google Trends
• HubSpot
• Статистика Instagram
• Публичные данные Instagram
• Klaviyo
• LinkedIn Ads
• Страницы LinkedIn
• Mailchimp
• Microsoft Advertising
• Moz
• Netvisor
• Оптимизировать
• Outbrain Amplify
• Реклама в Pinterest
• Pinterest Органический
• Публичные данные Pinterest
• Quora Ads
• Публичные данные Reddit
• Salesforce
• Salesforce Marketing Cloud
• Searchmetrics
• SEMrush Analytics
• Проекты SEMrush
• Shopify
• Smarp
• Snapchat маркетинг
• StackAdapt
• Полоса
• Табула
• Торговый стол
• TikTok Ads
• Публичные данные Tumblr
• Реклама в Твиттере
• Twitter Премиум
• Публичные данные Twitter
• Verizon Media DSP
• Нативная реклама Verizon Media
• Публичные данные Vimeo
• Публичные данные ВКонтакте
• Яндекс.Прямой
  • Поля
  • Таблицы хранилища данных
  • Обновления
• Яндекс.Метрика
• YouTube

© 2021 Supermetrics
Условия использования · Политика конфиденциальности

Данные Яндекс.Метрики | Документация ClickHouse

1. Начало работы
2. Примеры наборов данных

Набор данных состоит из двух таблиц, содержащих анонимные данные о посещениях ( hits_v1 ) и посещениях ( посещений_v1 ) Яндекс.Метрика. Подробнее о Яндекс.Метрике читайте в разделе История ClickHouse.

Набор данных состоит из двух таблиц, любую из которых можно загрузить как сжатый файл tsv.xz или как подготовленные разделы. В дополнение к этому, расширенная версия таблицы просмотров , содержащей 100 миллионов строк, доступна в виде TSV по адресу https://datasets.clickhouse.tech/hits/tsv/hits_100m_obfuscated_v1.tsv.xz и в виде подготовленных разделов по адресу https: / /datasets.clickhouse.tech/hits/partitions/hits_100m_obfuscated_v1.tar.xz.

Получение таблиц из подготовленных разделов

Загрузка и импорт таблицы совпадений:

  curl -O https://datasets.clickhouse.tech/hits/partitions/hits_v1.tar
tar xvf hits_v1.tar -C / var / lib / clickhouse # путь к каталогу данных ClickHouse
# проверить права доступа к распакованным данным, при необходимости исправить
sudo service clickhouse-server перезапуск
clickhouse-client --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.hits_v1"
  

Скачивание и импорт посещений:

  curl -O https: // datasets.clickhouse.tech/visits/partitions/visits_v1.tar
tar xvf visit_v1.tar -C / var / lib / clickhouse # путь к каталогу данных ClickHouse
# проверить права доступа к распакованным данным, при необходимости исправить
sudo service clickhouse-server перезапуск
clickhouse-client --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.visits_v1"
  

Получение таблиц из сжатого файла TSV

Загрузите и импортируйте обращения из сжатого файла TSV:

  curl https://datasets.clickhouse.tech/hits/tsv/hits_v1.tsv.xz | unxz --threads = `nproc`> hits_v1.цв
# Проверить контрольную сумму
md5sum hits_v1.tsv
# Контрольная сумма должна быть равна: f3631b6295bf06989c1437491f7592cb
# теперь создаем таблицу
clickhouse-client --query "СОЗДАТЬ БАЗУ ДАННЫХ, ЕСЛИ НЕ СУЩЕСТВУЕТ наборов данных"
clickhouse-client --query "СОЗДАТЬ ТАБЛИЦУ datasets.hits_v1 (WatchID UInt64, JavaEnable UInt8, строка заголовка, GoodEvent Int16, EventTime DateTime, EventDate Date, CounterID UInt32, ClientIP UInt32, ClientIP6 FixedString (16), RegionID UInt32, UserID UInt64, CounterClass Int8, OS UInt8, UserAgent UInt8, строка URL, строка Referer, строка URLDomain, строка RefererDomain, Refresh UInt8, IsRobot UInt8, RefererCategories Array (UInt16), URLCategories Array (UInt16), URLRegions Array (UInt32), RefererRegions (UInt32), RefererRegions), RefererRegions (UInt32), RefererRegions) ResolutionWidth UInt16, ResolutionHeight UInt16, ResolutionDepth UInt8, FlashMajor UInt8, FlashMinor UInt8, FlashMinor2 String, NetMajor UInt8, NetMinor UInt8, UserAgentMajor UInt16, UserAgentMinor FixedPring (2), String UIEnable UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8 , IPNetworkID UInt32, TraficSourceID Int8, SearchEngineID UInt16, SearchPhrase String, AdvEngineID UInt8, IsArtif ical UInt8, WindowClientWidth UInt16, WindowClientHeight UInt16, ClientTimeZone Int16, ClientEventTime DateTime, SilverlightVersion1 UInt8, SilverlightVersion2 UInt8, SilverlightVersion3 UInt32, SilverlightVersion4 UIntounce, PageCharset String, UINT32, Isldot, IsldotUInt32, PageCharset UInt32, IsldotUInt32, Isldot, CodeVersion UInt32, Isldot32 , IsEvent UInt8, IsParameter UInt8, DontCountHits UInt8, WithHash UInt8, HitColor FixedString (1), UTCEventTime DateTime, Age UInt8, Sex UInt8, Income UInt8, Interests UInt16, Robotness UInt8, GeneralInterests Array (UInt1632), RemoteIP6 ), WindowName Int32, OpenerName Int32, HistoryLength Int16, BrowserLanguage FixedString (2), BrowserCountry FixedString (2), SocialNetwork String, SocialAction String, HTTPError UInt16, SendTiming Int32, DNSTiming Int32, ConnectTiming Int32, ResponseStartTiming Intiming, Intimse32, ResponseStartTiming Intetch32, ResponseStartTiming Intetch32, ResponseStartTiming Intetch32 RedirectTiming Int32, DO MInteractiveTiming Int32, DOMContentLoadedTiming Int32, DOMCompleteTiming Int32, LoadEventStartTiming Int32, LoadEventEndTiming Int32, NSToDOMContentLoadedTiming Int32, FirstPaintTiming Int32, RedirectCount INT8, SocialSourceNetworkID Uint8, SocialSourcePage String, ParamPrice Int64, ParamOrderID String, ParamCurrency FixedString (3), ParamCurrencyID UInt16, GoalsReached Array (UInt32) , Строка OpenstatServiceName, Строка OpenstatCampaignID, Строка OpenstatAdID, Строка OpenstatSourceID, Строка UTMSource, Строка UTMMedium, Строка UTMCampaign, Строка UTMContent, Строка UTMTerm, Строка FromTag, HasGCLID UInt8, RefererHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt String, ShareTitle String, ParsedParams Nested (Key1 String, Key2 String, Key3 String, Key4 String, Key5 String, ValueDouble Float64), IslandID FixedString (16), RequestNum UInt32, RequestTry UInt8) ENGINE = MergeTree () PARTITION BY toYYYYMM (EventDate) ЗАКАЗАТЬ (Co unterID, EventDate, intHash42 (UserID)) ОБРАЗЕЦ ПО intHash42 (UserID) НАСТРОЙКИ index_granularity = 8192 "
# импорт данных
кошка hits_v1.цв | clickhouse-client --query "INSERT INTO datasets.hits_v1 FORMAT TSV" --max_insert_block_size = 100000
# при желании вы можете оптимизировать таблицу
clickhouse-client --query "OPTIMIZE TABLE datasets.hits_v1 FINAL"
clickhouse-client --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.hits_v1"
  

Скачать и импортировать посещения из сжатого tsv-файла:

  curl https://datasets.clickhouse.tech/visits/tsv/visits_v1.tsv.xz | unxz --threads = `nproc`> visit_v1.tsv
# Проверить контрольную сумму
md5сумма посещений_v1.цв
# Контрольная сумма должна быть равна: 6dafe1a0f24e59e3fc2d0fed85601de6
# теперь создаем таблицу
clickhouse-client --query "СОЗДАТЬ БАЗУ ДАННЫХ, ЕСЛИ НЕ СУЩЕСТВУЕТ наборов данных"
clickhouse-client --query "СОЗДАТЬ ТАБЛИЦУ datasets.visits_v1 (CounterID UInt32, StartDate Date, Sign Int8, IsNew UInt8, VisitID UInt64, UserID UInt64, StartTime DateTime, Duration UInt32, UTCStartTime DateTime, PageViews Int32, Hits Int32, IsBounce UInt8 Строка, Строка StartURL, Строка RefererDomain, Строка StartURLDomain, Строка EndURL, Строка LinkURL, IsDownload UInt8, TraficSourceID Int8, SearchEngineID UInt16, Строка SearchPhrase, AdvEngineID UInt8, PlaceID Int32, RefererCategories Array (UInt16) Array (UIntategions), массив URLC16 (UIntategories) UInt32), RefererRegions Array (UInt32), IsYandex UInt8, GoalReachesDepth Int32, GoalReachesURL Int32, GoalReachesAny Int32, SocialSourceNetworkID UInt8, SocialSourcePage String, MobilePhoneModel String, ClientEventTime DateTime, RegionID с фиксированным идентификатором UIntring6, Client 16 (16), IPNetworkID UInt32, SilverlightVersion3 UInt32, CodeVersion UInt 32, ResolutionWidth UInt16, ResolutionHeight UInt16, UserAgentMajor UInt16, UserAgentMinor UInt16, WindowClientWidth UInt16, WindowClientHeight UInt16, SilverlightVersion2 UInt8, SilverlightVersion4 UInt16, FlashVersion3 UInt16, FlashVersion4 UIntone8, ClientT NetMajor UInt8, NetMinor UInt8, MobilePhone UInt8, SilverlightVersion1 UInt8, Возраст UInt8, Sex UInt8, Income UInt8, JavaEnable UInt8, CookieEnable UInt8, JavascriptEnable UInt8, IsMobile UInt8, BrowserLanguage UInt16, BrowserLanguage UInt16, Браузер UInt16, BrowserLanguage UInt16, Браузер UInt16, Браузер UInt16 , Массив Params (строка), Вложенные цели (ID UInt32, Serial UInt32, EventTime DateTime, Price Int64, OrderID String, CurrencyID UInt32), Массив WatchIDs (UInt64), ParamSumPrice Int64, ParamCurrency FixedString (3), ParamCurrencyID UInt16, ClickLogID ClickEventID Int32, ClickGoodEvent Int32, C lickEventTime DateTime, ClickPriorityID Int32, ClickPhraseID Int32, ClickPageID Int32, ClickPlaceID Int32, ClickTypeID Int32, ClickResourceID Int32, ClickCost UInt32, ClickClientIP UInt32, ClickDomainID UInt32, Строка ClickURL, ClickAttempt UIntoryMarket32, ClickOntategory, ClickOttempt UIntoryMarkT32, ClickOttempt UIntoryMarkat32, ClickOttempt , Строка ClickMarketPPName, Строка ClickAWAPSCampaignName, Строка ClickPageName, ClickTargetType UInt16, ClickTargetPhraseID UInt64, ClickContextType UInt8, ClickSelectType Int8, Строка ClickOptions, Строка ClickGroupBannerID Int32, OpenstatServiceNameTM, OpenstatMServiceNameTM, UenstatMServiceNameTM, OpenstatMServiceName String, UTMTerm String, FromTag String, HasGCLID UInt8, FirstVisit DateTime, PredLastVisit Date, LastVisit Date, TotalVisits UInt32, TraficSource Nested (ID Int8, SearchEngineID UInt16, Adv EngineID UInt8, PlaceID UInt16, SocialSourceNetworkID UInt8, строка домена, строка SearchPhrase, строка SocialSourcePage), Attendance FixedString (16), CLID UInt32, YCLID UInt64, NormalizedRefererHash UInt64, SearchPhraseHash UInt64, RefererDomainHash UInt64, Нормальный UInt64, URLScheme UInt64, OpenstatServiceNameHash UInt64, OpenstatCampaignIDHash UInt64, OpenstatAdIDHash UInt64, OpenstatSourceIDHash UInt64, UTMSourceHash UInt64, UTMMediumHash UInt64, UTMCampaignHash UInt64, UTMContentHash UInt64, UTMTermHash UInt64, FromHash UInt64, WebVisorEnabled uint8, WebVisorActivity UInt32, ParsedParams Уплотненный (Key1 String, Key2 String, Key3 String, Key4 String, Key5 String, ValueDouble Float64), Market Nested (Тип UInt8, GoalID UInt32, OrderID String, OrderPrice Int64, PP UInt32, DirectPlaceID UInt32, DirectOrderID UInt32, DirectBannerID UInt32, GoodID String, Good Строка имени, GoodQuantity Int32, GoodPrice Int64), IslandID FixedString (16)) ENGINE = CollapsingMergeTree (Sign) РАЗДЕЛЕНИЕ ПО toYYYYMM (StartDate) ORDER BY (CounterID, StartDate, intHash42 (UserID), VisitID) SAMPLE BY intHashINGS (User_ID) SETTular = 8192 "
# импорт данных
кошка visits_v1.цв | clickhouse-client --query "INSERT INTO datasets.visits_v1 FORMAT TSV" --max_insert_block_size = 100000
# при желании вы можете оптимизировать таблицу
clickhouse-client --query "OPTIMIZE TABLE datasets.visits_v1 FINAL"
clickhouse-client --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.visits_v1"
  

Примеры запросов

Учебник ClickHouse основан на наборе данных Яндекс.Метрики, и рекомендуемый способ начать работу с этим набором данных — просто пройти обучение.

Дополнительные примеры запросов к этим таблицам можно найти среди stateful-тестов ClickHouse (они называются test.попадает в и тест . там заходит ).

Системные таблицы съедают мой диск

Системные таблицы съедают мой диск

Примечание 1: Системная база данных хранит виртуальные таблицы ( частей, , таблиц, столбцов и т. Д. ) и таблицы * _log .

Виртуальные таблицы не сохраняются на диске. Они отражают память ClickHouse (структуры c ++). Их нельзя изменить или удалить.

Таблицы журнала именуются с постфиксом * _log и имеют механизм MergeTree.

Вы можете удалить / переименовать / обрезать * _log таблицы в любое время. ClickHouse воссоздает их примерно за 7 секунд (период очистки).

Примечание 2: Таблицы журнала с числовыми постфиксами (_1 / 2/3…) query_log_1 query_thread_log_3 являются результатами обновлений Clickhouse. Когда новая версия Clickhouse запускается и обнаруживает, что схема таблицы системного журнала несовместима с новой схемой, Clickhouse переименовывает старую таблицу query_log в имя с префиксом и создает таблицу с новой схемой.Вы можете удалить такие таблицы, если вам не нужны такие исторические данные.

Вы можете отключить все / любое из них

Не создавать таблицы журнала вообще (для того, чтобы эти изменения вступили в силу, требуется перезапуск).

  $ cat /etc/clickhouse-server/config.d/z_log_disable.xml


    
    
    
    
    
    
    

  

Мы не рекомендуем удалять query_log и query_thread_log , поскольку ведение журнала запросов можно легко отключить без перезапуска через профили пользователей:

  $ cat / etc / clickhouse-server / users.d / z_log_queries.xml

    <профили>
        <по умолчанию>
             0 
             0 
        
    

  

Подсказка: z_log_disable.xml назван с ** z _ ** в начале, это означает, что эта конфигурация будет применена последней и переопределит все другие файлы конфигурации с этими разделами (конфигурации применяются в алфавитном порядке).

Вы можете настроить TTL

Пример для query_log . Удаляет разделы с данными старше 14 дней:

  $ cat /etc/clickhouse-server/config.d/query_log_ttl.xml


    
         система 
         query_log 
         ENGINE = MergeTree РАЗДЕЛЕНИЕ ПО (event_date)
                ЗАКАЗАТЬ (event_time)
                TTL event_date + ИНТЕРВАЛ 14-ДНЕВНОГО УДАЛЕНИЯ
                НАСТРОЙКИ ttl_only_drop_parts = 1
        
         7500 
    

  

После этого необходимо перезапустить ClickHouse и удалить или переименовать существующую систему.query_log, затем CH создает новую таблицу с этими настройками.

  ПЕРЕИМЕНОВАТЬ ТАБЛИЦУ system.query_log НА system.query_log_1;
  

Важной частью здесь является ежедневное разбиение на разделы PARTITION BY (event_date) и ttl_only_drop_parts = 1 . В этом случае ClickHouse удаляет целые разделы. Удаление разделов — очень простая операция для CPU / Disk I / O.

Обычный TTL (без ttl_only_drop_parts = 1 ) — это операция с большим объемом операций ввода-вывода ЦП / диска, которая перезаписывает части данных без просроченных строк.

Вы можете добавить TTL без перезапуска ClickHouse (и удаления или переименования таблицы):

  ALTER TABLE system.query_log ИЗМЕНИТЬ TTL event_date + INTERVAL 14 DAY;

ИЗМЕНИТЬ ТАБЛИЦУ system.query_log ИЗМЕНИТЬ НАСТРОЙКУ ttl_only_drop_parts = 1;
  

Но в этом случае ClickHouse удалит только целые месячные разделы (будут хранить данные старше 14 дней).

Еще один способ настройки TTL для системных таблиц

Этот способ просто добавляет TTL к таблице и оставляет ежемесячное (по умолчанию) разделение (будут хранить данные старше 14 дней).

  $ cat /etc/clickhouse-server/config.d/query_log_ttl.xml


    
         система 
         query_log 
         event_date + ИНТЕРВАЛ 30-ДНЕВНОГО УДАЛЕНИЯ 
    

  

После этого вам нужно перезапустить ClickHouse и удалить или переименовать существующую таблицу system.query_log, тогда CH создаст новую таблицу с этой настройкой TTL.

Вы можете отключить вход на уровне сеанса или в профиле пользователя (для всех или определенных пользователей)

Но только для журналов, созданных на уровне сеанса ( query_log / query_thread_log )

В этом случае перезапуск не требуется.

Давайте отключим ведение журнала запросов для всех пользователей (профиль = по умолчанию, все остальные профили наследуют его).

  кот /etc/clickhouse-server/users.d/log_queries.xml

    <профили>
        <по умолчанию>
             0 
             0 
        
    

  

Успокаивающийся Clickhouse :: Блог :: TheOrangeOne

Clickhouse — это движок базы данных, ориентированный на столбцы, в основном предназначенный для аналитики. Он был разработан и развернут Яндексом в своем предложении для аналитики, но Plausible, мой любимый поставщик аналитики, использует его для хранения аналитических данных, поскольку он больше подходит для этого, чем PostgreSQL.

К сожалению, официальный док-контейнер довольно интенсивен. Как только Plausible запускается, Clickhouse перескакивает примерно на 10% использования ЦП и поддерживает 30 МБ / с записи в каталог базы данных.Мои почасовые снимки ZFS занимают более 1 ГБ каждый! Сервер, на котором я запускаю Plausible, достаточно мощный, но даже это просто безумие!

Сначала я подумал, что это ошибка в Plausible, так как она возникала только во время работы Plausible. Однако после того, как возникла проблема и сказали, что производственные серверы Plausible не , похоже, страдают от этой проблемы, пришло время копнуть глубже.

Прежде всего, давайте взглянем на каталог данных на предмет очевидных вещей:

  $ df -hs clickhouse /
8.2G кликхаус
  

Ну, это точно не так! Давайте исследуем & mldr;

# Глядя на данные

Глядя на структуру файловой системы clickhouse / (красивый простой макет!), Большая часть использования пришла из таблиц system.query_log и system.query_thread_log . Эти таблицы с метко названными названиями отвечают за регистрацию всех запросов, выполняемых Clickhouse, и для меня в них было более 20 миллионов строк, по в каждой, ! После просмотра документации он включен для помощи в отладке.Для большинства людей все эти данные на самом деле не нужны, и определенно не стоит жертвовать огромным объемом использования диска по сравнению с фактическими сохраненными данными.

# Файл журнала

Если посмотреть на файл журнала Clickhouse ( /var/log/clickhouse/clickhouse-server.log ), он оказался невероятно подробным и выводил гораздо больше, чем нужно. Уровень журнала по умолчанию установлен на , трассировка , что в основном означает, что регистрируется абсолютно все, даже больше, чем обычные журналы отладки .Уровень журнала , трассировка соответствует мантре помощи при отладке, но, опять же, в большинстве сред он не нужен.

# Успокоение

Итак, учитывая то, как ведет себя Clickhouse, и регистрирует слишком много данных как в системных таблицах, так и в файлах журналов, как мы можем сделать так, чтобы снизить активность Clickhouse? Скорее всего, это дополнительная работа по ведению журнала как в таблицах, так и в файлах журналов, которая использует дополнительные ресурсы.

# Остановить ведение журнала запросов

Первый шаг и, вероятно, тот, который имеет наибольшее значение, — полностью отключить ведение журнала запросов.Это должно уменьшить количество циклов ЦП, затрачиваемых на сбор данных. Это выполняется с помощью переменных log_queries и log_query_threads в users.xml :

  
    <профили>
        <по умолчанию>
             0 
             0 
        
    

  

# Уменьшить ведение журнала

Шаг 2 — уменьшить уровень журнала как для файлового регистратора, так и для любых других журналов таблиц, которые мы не можем полностью отключить.Это изменение сделано в config.xml . Я установил уровень , предупреждение , так что все еще очевидно, когда что-то не так, но все это входит в оболочку, так что все в порядке. Все журналы таблиц полностью отключены.

  
    
         предупреждение 
         true 
    
    
    
    
    
    
    

  

Для упрощения отладки я также отправляю журналы на консоль с true , поэтому его можно увидеть с помощью журналов docker-compose .

Помимо уменьшения уровня журнала, я переместил файлы журнала на точку монтирования tmpfs . Изначально я сделал это, чтобы уменьшить количество операций записи на диски, но это все равно есть на всякий случай, если что-то изменится.

# Освободите место на диске

Последний шаг — освободить место на диске, которое мы потеряли из-за чрезмерно подробных журналов. Поскольку все было зарегистрировано в таблицах, это все по-прежнему. Вероятно, это не сильно повлияет на производительность во время выполнения, но использование диска увеличилось с 8 ГБ до 200 МБ, что очень хорошо!

1. Войдите в оболочку Clickhouse: docker-compose exec clickhouse bash
2. Обрезать существующие журналы:

  clickhouse-client -q "ВЫБРАТЬ имя ИЗ системы.таблицы WHERE name LIKE '% log%'; "| xargs -I {} clickhouse-client -q" TRUNCATE TABLE system. {}; "
  

3. Quit: \ q

# Review

Прочитав документацию Clickhouse, вы обнаружите, что ее легко настроить для любого масштаба — неудивительно, учитывая, что ее использует Яндекс. С учетом сказанного, хотя настройки по умолчанию могут иметь смысл в таком масштабе, для меньшего варианта использования они не особенно подходят.

В настоящее время я все еще убежден, что в Plausible есть небольшая ошибка в проверках работоспособности, выполняющих слишком много запросов, но это еще один день расследования.

После внедрения этих изменений не только использование ресурсов упало с обрыва, но Plausible даже кажется немного более быстрым!

YNDX | Яндекс NV Cl A Годовой баланс

почему лань s Яндексу нужна собственная система MapReduce и принципы ее работы / Блог Яндекса / Sudo Null IT News

Какую проблему решаем?

В той или иной форме вычисления, подобные MapReduce, используются во всех крупнейших компаниях, занимающихся большими данными: Google, Microsoft, Facebook, Yahoo и других. Кроме того, де-факто MapReduce давно стал стандартом при работе с данными гораздо более скромного размера — не в последнюю очередь благодаря успешной реализации с открытым исходным кодом в фреймворке Hadoop MapReduce и наличию развитой экосистемы, которая предоставляет удобные аналитические инструменты поверх Уменьшение карты.

Конечно, далеко не все задачи успешно ложатся на модель MapReduce.Основное ограничение заключается в том, что он включает пакетное выполнение, при котором значительные объемы данных проходят через целую цепочку преобразований. Эти преобразования занимают минуты, часы, а иногда и многие дни. Такой способ работы не подходит для интерактивных ответов пользователям, поэтому, помимо вычислений MapReduce, традиционно используются такие системы, как хранилище KV (хранилище ключ-значение), которые позволяют читать и записывать данные (а также, возможно, некоторые вычисления. на них) с малой задержкой. Таких систем в мире много десятков: начиная с классических СУБД (Oracle, Microsoft SQL Server, MySQL, PostgreSQL), подходящих для хранения десятков и сотен терабайт данных, и заканчивая NoSQL-системами (HBase, Cassandra),

В случае MapReduce наличие нескольких разных и одновременно используемых систем не имеет особого смысла.Дело в том, что все они, по сути, решат одну и ту же проблему. Однако для KV-хранилищ степень разнообразия задач и общий уровень специфичности намного выше. В Яндексе мы используем сразу несколько таких систем. Часть данных хранится в MySQL, который зарекомендовал себя с точки зрения надежности и разнообразия функций. Там, где объем данных велик и важна скорость обработки, мы используем ClickHouse, проприетарную СУБД Яндекса. Наконец, последние три года мы активно работали над задачей создания хранилища KV в рамках YT.Мы используем его, когда требуется высокая надежность хранения, поддержка транзакций, а также интеграция с вычислениями MapReduce.

Почему бы не использовать стек Hadoop?

Для малых и средних компаний, работающих с большими данными, Hadoop часто является безоговорочным выбором. В свою очередь, крупные игроки либо активно используют и развивают Hadoop (например, Yahoo и Facebook), либо создают собственную инфраструктуру (Google, Microsoft).

Выбирая между этими двумя возможностями, Яндекс пошел вторым путем. Это решение было непростым и, конечно, нельзя считать единственно правильным. Было учтено множество факторов. Постараемся кратко резюмировать наиболее значимые:

• Исторически сложилось так, что в Яндексе наибольший объем вычислительного кода написан на C ++; в то же время Hadoop в основном ориентирован на платформу Java.Само по себе это не смертельно — вы всегда можете написать адаптеры для поддержки старого кода для C ++ и разработать новые на Java. Однако стоит признать, что за годы разработки компания накопила немалый опыт именно в работе с C ++, а разработка на Java представлена ​​гораздо скромнее.
  
• Примеры успешного использования Hadoop в таких компаниях, как Yahoo и Facebook, показывают, что для эффективного использования Hadoop обычно не берется его ванильная версия, а выполняется форк с последующей глубокой доработкой.Для его создания крайне желательно или даже необходимо иметь в компании разработчиков ядра Hadoop. Эти специалисты крайне редки даже по меркам американского ИТ-рынка, поэтому для Яндекса нанять их в достаточном количестве — очень сложная задача.
• Возможно, вышеупомянутый форк платформы никогда не будет вливаться в основную ветку разработки и больше не будет совместим с этой веткой. Тогда преимущество использования готовых экосистемных решений будет ограничиваться двумя наборами инструментов: которые вы можете «взять с собой» в момент разделения, и которые можно передавать по форку.
• Но зачем делать форк Hadoop? Почему бы не использовать общедоступные и развивающиеся версии, по возможности участвуя в их разработке? Дело в том, что, хотя сам Hadoop довольно хорош, он далек от совершенства. При работе над собственной инфраструктурой в Яндексе мы неоднократно сталкивались с задачами, которые можно было решить только ценой очень радикальных изменений наших систем. Поскольку у нас недостаточно знаний в области разработки Hadoop, мы не можем вносить столь масштабные изменения в общедоступные ветки.Такие радикальные исправления почти наверняка не пройдут проверку кода в разумные сроки.
• Также можно было предположить, что для полноценной интеграции Hadoop внутри компании не обязательно иметь высококвалифицированных специалистов по этой платформе — достаточно ограничиться услугами крупных интеграторов решений Hadoop, например, Cloudera. Однако здравый смысл и опыт близких нам по активности компаний показывают, что хотя такая помощь может быть полезна на первом этапе внедрения, сложные задачи, требующие значительных доработок кодовой базы Hadoop, все равно придется решать самостоятельно ( см., например, опыт работы с почтой.RU ).

Учитывая сделанный нами выбор, мы вынуждены активно работать над наиболее актуальными частями инфраструктуры, вкладывая основные усилия в улучшение небольшого количества ключевых систем: самой платформы YT, а также инструментов, созданных на ее основе. .

Что мы теперь знаем?

За три года, прошедшие со дня публикации отчета о YT на YaC, система претерпела значительное развитие. Многие из упомянутых тогда проблем были успешно решены. Однако нам не скучно, потому что компания (а вместе с ней и инфраструктура) активно развивается.Так что новые задачи приходят каждый день.

Кратко опишем текущую архитектуру YT.

Кластер

YT — это многокомпонентная система, единицей развертывания которой является кластер . Теперь мы поддерживаем кластеры с общим количеством серверов ( узел, ) до 10 000. На таком количестве машин мы можем хранить сотни петабайт данных, а также планировать и выполнять вычисления на сотнях тысяч ядер ЦП.

Большинство наших кластеров YT полностью расположены в одном центре обработки данных.Это сделано потому, что в процессе вычислений MapReduce важно иметь однородную сеть между машинами, чего практически невозможно достичь в наших масштабах, если они географически разделены. Из этого правила есть исключения: некоторые кластеры YT, в которых внутренние потоки данных невелики, тем не менее распределяются между несколькими DC. Так что полный отказ одного или нескольких из них не влияет на работу системы.

ДФС

Пространство имен (структура каталогов, имена файлов и таблиц в них, мета-атрибуты, права доступа и т. Д.) нашего DFS называется Cypress . В отличие от большинства традиционных файловых систем, Cypress поддерживает транзакционность, то есть позволяет атомарно выполнять сложные операции со своей структурой и данными. Например, в рамках транзакции Cypress можно атомарно загрузить в систему несколько файлов, а также отметить в мета-атрибутах факт прихода нового фрагмента данных. Cypress также поддерживает блокировку системы на узлах. Мы активно используем эту возможность на практике: один из кластеров YT распределен между дата-центрами и практически не хранит чанки, но его кипарис используется различными инфраструктурными процессами как высокодоступное хранилище метаданных и служба координации (по аналогии с Chubby, Zookeeper или etcd).

Учитывая количество машин, составляющих кластеры, отказы оборудования происходят каждый день и не являются уникальным явлением. Система разработана таким образом, чтобы выдерживать большинство типичных отказов автоматически, без вмешательства человека. В частности, в системе отсутствует так называемая единая точка отказа (SPoF), то есть ее работа не может быть прервана взломом одного сервера. Более того, с практической точки зрения важно, чтобы система продолжала работать в ситуации, когда большие подмножества произвольного размера (например, два случайно выбранных сервера в кластере) или даже целые структурные группы машин (скажем, стойки) ) неудача.