Перейти к содержанию

Наблюдение за кластером

Страница для инженера эксплуатации: что проверять в первую очередь, как отличить исправный кластер от неисправного, где смотреть состояние дисков, групп размещения, свободного места и репликации между площадками. В конце приведён справочник метрик и сообщений журнала.

Как устранять найденное, описано на страницах Отказы и восстановление, Действия с дисками, Контроль целостности и Решение типовых проблем.

Что проверять в первую очередь

У кластера четыре источника сведений о состоянии. Они отвечают на разные вопросы и доступны по-разному.

Источник Что показывает Где и кому доступен
GET /-/health инстанс принимает соединения на порту S3. Диски, группы размещения и фоновые процессы не проверяются порт эндпоинта S3, без подписи и без аутентификации
GET /-/ready инстанс готов обслуживать запросы: кластер прошёл начальное формирование, инстанс загрузил свои группы размещения там же, без подписи и без аутентификации
GET /v2/health, GET /v2/repair состояние всего кластера: сводка по подсистемам и четыре области контроля целостности (см. «Состояние по областям») API управления на HTTP-порту Picodata; требуется аутентификация с ролью s3r_superuser или s3r_observer
/metrics числовые ряды каждого инстанса (см. «Метрики») HTTP-порт Picodata (instance.http_listen)

Состояние отдельных таблиц читается запросами SQL (см. «Состояние кластера»), сообщения инстанса читаются в его журнале (см. «Журнал»).

«Процесс работает» не значит «инстанс готов»

Ответ /-/health подтверждает только работу слушателя S3. Готовность показывает /-/ready: ответ 200 означает, что кластер прошёл начальное формирование, а инстанс загрузил свои группы размещения. Балансировщик проверяет именно /-/ready (см. «Балансировка нагрузки»). Состояние отдельных дисков на ответ /-/ready не влияет, поэтому за дисками и группами следят по метрикам и по GET /v2/repair.

Диагностические эндпоинты /-/debug/* и /-/bench/* тоже обслуживаются на порту S3 без подписи. По умолчанию они выключены, а часть из них изменяет данные (см. «Диагностические эндпоинты»).

Признаки исправного кластера

Что смотреть Исправный кластер На что указывает отклонение
GET /-/ready на каждом инстансе ответ 200 начальное формирование не завершено или инстанс не загрузил свои группы
s3r_resync_outstanding с меткой kind 0 ресинхронизации ещё есть что исправить. Значение needs_resync равно числу групп, в которых участник хранит меньше, чем записано в каталоге (строках объектов в таблицах Picodata): обычно это замена диска, за которой ещё не поспело перестроение. Пока число не равно нулю, выведенный диск извлекать рано
s3r_ec_reconstructions_total не растёт полосы при чтении восстанавливаются из сохранившихся фрагментов
s3r_scrub_inconsistent_total не растёт расхождения данных чётности: ошибка записи или искажение данных
s3r_worker_runs_total растёт, пока есть задания если очередь растёт, а счётчик не меняется, фоновый процесс не выполняет задания

Эти метрики контролируются в первую очередь. Остальные перечислены в разделе «Метрики»; там же названы готовые панель Grafana и правила Prometheus.

Состояние кластера

Диски и группы размещения описаны глобальными таблицами, и их состояние доступно через запросы SQL.

-- Диски, их принадлежность, домены отказа и ярусы
SELECT instance_name, path, site, failure_domain, tier, state,
       capacity_bytes, extent_count
  FROM s3r_disk
 ORDER BY instance_name;

-- Состояние кластера, шаг начального формирования, площадки и записанные ярусы
SELECT state, step, state_changed_at, sites, founding_members, tiers FROM s3r_cluster;

-- Регистрация инстансов
SELECT instance_name, replicaset_name, failure_domain, reason, updated_at
  FROM s3r_instance;

-- Группы размещения, их состояние, пределы и геометрия
SELECT pg_id, state, epoch, site, tier, k, m, stripe_bytes, owner, resynced_at_epoch,
       limit_blocks_large, limit_blocks_small, members
  FROM s3r_pg
 ORDER BY pg_id;

-- Раскладка групп: номер в цепочке, позиции плана, выбывающие диски
SELECT pg_id, layout, n, intended, leaving, reform_requested FROM s3r_pg
 ORDER BY pg_id;

-- Занятость дисков по числу экстентов
SELECT d.disk_id, d.extent_count, f.free_extents, d.state
  FROM s3r_disk d JOIN s3r_disk_free f ON f.disk_id = d.disk_id
 ORDER BY d.disk_id;

-- Распределение объектов тенанта 0 по способу хранения
SELECT encoding, count(*) FROM s3r_t0_object
 WHERE part_no = 0 GROUP BY encoding;

-- Распределение объектов тенанта 0 по классам хранения S3
SELECT storage_class, count(*) FROM s3r_t0_object
 WHERE part_no = 0 GROUP BY storage_class;

Таблицы объектов свои у каждого тенанта: в примерах s3r_t0_object означает таблицу тенанта 0.

Состояния диска перечислены в разделе «Идентификация диска».

Группа размещения принимает записи в состоянии active, пока у неё есть владелец и владелец закончил её монтирование (см. «Группы размещения»).

Столбцы таблицы s3r_pg, по которым судят о состоянии группы:

Столбец Что означает
limit_blocks_large, limit_blocks_small сколько блоков каждого класса группа выдаёт на каждом участнике
epoch эпоха группы; увеличивается при смене состава группы
resynced_at_epoch равен epoch, когда каждый участник сверен с владельцем и выделил свои экстенты, а отстающие экстенты проверены (см. «Контроль целостности»). После смены состава значения перестают совпадать. Запись, которой не хватило фрагмента, столбец не меняет
extents_behind отстающие экстенты в виде [номер фрагмента, [[класс, номер экстента], …]]; NULL означает, что таких экстентов нет. Пока столбец не пуст, resynced_at_epoch пуст
members участники группы по порядку: номер в массиве является номером фрагмента. Каждый элемент содержит диск, инстанс, состояние участника и номер форматирования диска
leaving прежние диски, которые ещё не освободили экстенты группы

Состояния участника в столбце members:

Состояние Что означает
active обычное состояние
new участник ещё не выделил все экстенты группы, например после замены выбывшего диска или после переформатирования диска. Его фрагменты не учитываются в кворуме записи
draining участника переносит действие «Восстановить размещение»

Занятость и освобождение места

Место, занятое удалённым объектом, освобождается не сразу и без участия администратора. Раздел объясняет, когда его ждать и что на это влияет.

Удаление объекта не переписывает фрагменты на дисках. Место освобождается в три шага:

  1. Позиции блоков объекта становятся свободными. Транзакция, которая исключает строку объекта из пространства имён, добавляет в очередь удалённых фрагментов s3r_chunkgc запись об этом объекте. Процесс chunkgc на мастере репликасета отправляет записи владельцам групп размещения, и владелец освобождает позиции блоков объекта в своём учёте занятых и свободных позиций (вид группы). Запись остаётся в очереди, пока объект не освобождён во всех группах, где он лежит, поэтому её не теряют ни перезапуск мастера, ни смена владельца группы.
  2. Свободная позиция блока выдерживается refill_after_s секунд и только потом выдаётся под запись: клиент, который уже прочитал строку объекта, может ещё читать его фрагменты.
  3. Экстент, все блоки которого свободны дольше refill_after_s, возвращается в свободный пул диска, и группа больше его не использует. Процесс extentgc помечает такой экстент пустым к сроку, когда заканчивается карантин последнего освободившегося в нём блока, а процесс group освобождает его на участниках.

Примечание

Копирование на другую площадку читает полосу из очереди, а не в ходе запроса, поэтому задержка refill_after_s её не защищает.

Свободные позиции блоков считает владелец группы:

-- Группы и их владельцы: свободные позиции блоков считает владелец
SELECT pg_id, tier, epoch, owner FROM s3r_pg ORDER BY pg_id;

Удаление тенанта

Удаление тенанта освобождает место через ту же очередь: процесс tenant сначала удаляет строки объектов тенанта, и каждое удаление ставит запись в s3r_chunkgc, а затем удаляет таблицы тенанта. Сверка для этого не нужна. Поэтому удаление тенанта длится тем дольше, чем больше у него объектов, а место возвращается по мере удаления строк.

Очередь удалённых фрагментов

Удаления не ждут места в очереди. Массовое удаление по запросам клиентов, истечение срока по правилам жизненного цикла, прерывание загрузок и очистка удалённого бакета идут со скоростью, с которой мастер принимает транзакции, а позиции блоков освобождаются по мере того, как владельцы обрабатывают очередь.

  • Владелец, который монтирует группу или уже не владеет ею, запись не принимает, и процесс chunkgc отправляет её снова: сначала через секунду, затем с паузой в половину возраста записи, но не больше минуты.
  • Число записей в очереди показывает датчик s3r_chunkgc_queued, а счётчик s3r_chunkgc_refused_total растёт при каждой отправке записи, которую владелец группы не освободил.

Мастер отправляет запись, как только транзакция удаления записана в его журнал, и не ждёт реплик. Если мастер аварийно остановится, не успев передать удаление репликам, новый мастер снова видит строку объекта, а её позиции блоков уже могут занять другие объекты. Такой объект читается с ошибкой, проверка целостности сообщает о повреждении, и объект можно удалить повторно. Так же при аварийной смене мастера может перестать читаться объект, который в последние мгновения перед ней был перенесён на другой уровень хранения или заменён ссылкой на общую копию при дедупликации.

Сверка позиций

Сверка позиций (процесс reconcile) освобождает место, о котором не знает ни один другой процесс. Это позиции записи, исход фиксации которой неизвестен, и позиции строк, которые потерялись при аварийной смене мастера асинхронного яруса.

  • Владелец каждой группы выполняет сверку по запросу проверки (POST /v2/repair) и раз в шесть часов, поэтому такое место занято не дольше шести часов, а объекты при этом не теряются.
  • Сверка читает каталог постранично, по одному бакету vshard за раз. Мастер отводит этим страницам около 5 % времени потока TX. Если другие чтения не занимают поток TX сверх этой доли, при миллиарде объектов сверка длится от 17 до 50 минут.
  • Между страницами сверка ждёт не дольше 10 секунд, даже пока на том же мастере идёт монтирование группы. Страница, которую не удалось прочитать, читается снова через секунду, всего не больше трёх попыток.

Завершив сверку, владелец записывает в журнал строку уровня INFO. Она называет число прочитанных бакетов vshard, число освобождённых, добавленных и непроверенных объектов и репликасеты, бакеты которых сверка не прочитала:

reconcile pass over 1 group(s): 150 of 300 vshard bucket(s) read; freed 0, added 0, newer 0, replaced 0, unchecked 1; buckets not covered: default_1 tries used up (150)
Причина в строке журнала Что она означает
did not answer репликасет недоступен, и остальные его бакеты в этой сверке не читались
tries used up страницы бакета не прочитались за три попытки

Позиции блоков объектов в таких бакетах остаются занятыми до следующей сверки. Первые 100 объектов, которые сверка освободила в бакете vshard, называют строки журнала уровня INFO: идентификатор объекта и номер бакета vshard его строки. Остальные учитывает строка с общим числом освобождённых в бакете объектов.

Наблюдение за репликацией между площадками

Репликация между площадками отдельной настройки не требует: площадка задаётся компонентом dc домена отказа инстанса. Её устройство описано на страницах Избыточность и домены отказа и Репликация между площадками.

-- Объекты тенанта 0, которые есть не на всех площадках
SELECT count(*) FROM s3r_t0_siterepl;

-- Карта размещения объекта по площадкам
SELECT name, placements FROM s3r_t0_object
 WHERE name = 'report.pdf' AND part_no = 0;

Пустая таблица s3r_t<N>_siterepl означает, что у тенанта нет ожидающих копий на другие площадки.

Журнал

Плагин записывает сообщения в журнал инстанса Picodata и наследует уровень подробности от настройки Picodata. Уровни соответствуют уровням самой Picodata:

  • при уровне verbose выводятся отладочные сообщения плагина, например о решениях фоновых процессов и о каждом перестроенном фрагменте;
  • при уровне debug ещё и сообщения о каждом соединении и запросе.

Сообщения, которые подтверждают штатный запуск:

Сообщение Значение
s3r_storage started, configured with N disk(s), listening on ..., advertised as ... сервис принял конфигурацию; число дисков указано по конфигурации, до их монтирования
disk <uuid> at <path> registered: tier ..., domain ... при первом запуске диск зарегистрирован в s3r_disk; указаны ярус и полный домен отказа
disk <uuid> at <path> mounted: N bytes, M extents of E bytes, tier ... диск смонтирован для данных
chunk endpoint serving on ... over mutual TLS узел принимает запросы обмена фрагментами; в конце указан режим шифрования
the cluster moved to step forming, the cluster is active кластер перешёл на следующий шаг начального формирования или завершил его

Сообщения, которые требуют внимания:

Сообщение Значение
the cluster is new (registering) and waits for: ... (или new (forming)) начальное формирование ждёт; причины перечислены через точку с запятой (см. «Если установка не завершается»)
this instance's disk list registers nothing: ... список дисков инстанса отклонён при первом запуске
this instance's disk list [...] differs from its registered disks [...] локальный список дисков после первой регистрации отличается от зарегистрированных дисков; инстанс работает с зарегистрированными дисками
disk <id> is blank: ..., disk <id> is foreign: ..., disk <id> is corrupt: ... по пути диска нет его собственного накопителя; диск в названном состоянии
the stored s3r_storage configuration breaks a rule: ... сохранённая конфигурация нарушает правило проверки (см. «Сервис s3r_storage»)
placement group N of <владелец> is asymmetric from birth: ... группа создана с заменой недоступной позиции плана (см. «Позиции и порядок групп»)
pg N: the re-form ends: ... действие «Восстановить размещение» для группы завершено, причина указана
tier <ярус>: new group pg N is given up before it became active, K in a row: ... новая группа отменена, указаны участник, его диск и причина; следующая группа яруса запрашивается после паузы (см. Отмена новой группы)
s3r_storage started with no disks and no listener; this instance stores nothing на инстансе нет дисков и слушателя s3r_storage

Метрики

Плагин публикует метрики в формате Prometheus через эндпоинт Picodata /metrics. Каждый инстанс публикует собственные ряды, а суммирование по кластеру выполняет Prometheus. Метки метрик имеют ограниченное число значений, поэтому имя пользователя и имя бакета меткой не служат.

Метрики, которые контролируются в первую очередь, перечислены в разделе «Признаки исправного кластера».

В репозитории плагина поставляются:

  • панель Grafana deploy/grafana/s3r-dashboard.json из четырёх рядов: обслуживание запросов, исправность кластера, нагрузка и свободное место;
  • правила Prometheus deploy/prometheus/s3r-alerts.yml. Правила задают выражения, а условия оповещения определяет служба эксплуатации.

Правила оповещения

Файл deploy/prometheus/s3r-alerts.yml содержит восемь правил. Выражения и сроки приведены так, как они записаны в файле.

Правило Выражение Срок Важность Что означает и что делать
S3rPlacementGroupLost s3r_pg_lost > 0 1 мин critical в группе осталось меньше участников, чем нужно для чтения: её объекты не читаются. Это не перестроение. Проверьте, какие диски признаны вышедшими из строя и можно ли вернуть их до замены
S3rPlacementGroupDegraded max(s3r_pg_degraded) > 0 15 мин warning избыточность неполная: участник группы утрачен, находится на вышедшем из строя или переформатированном диске либо поставлен на замену и ещё не проверен ресинхронизацией. Объекты читаются, но с меньшим запасом. Группы перечисляет GET /v2/repair/data; если участника некуда поставить, добавьте диск на этой площадке и в этом ярусе
S3rStripeDamaged s3r_damage_stripes > 0 5 мин critical в реестре повреждённых полос есть записи. Список выдаёт ответ GET /v2/repair/data
S3rPlacementGroupAsymmetric max by (site, tier) (s3r_pg_asymmetric) > 0 1 ч info группы стоят не на своих позициях. Они остаются так, пока администратор не выполнит восстановление размещения
S3rDiskNearlyFull sum by (disk) (s3r_extents) > 0 and sum by (disk) (s3r_extents{state="free"}) / sum by (disk) (s3r_extents) < 0.15 10 мин warning на диске свободно меньше 15 % экстентов. Добавьте ёмкость в ярус
S3rDiskFull sum by (disk) (s3r_extents) > 0 and sum by (disk) (s3r_extents{state="free"}) == 0 5 мин critical на диске не осталось свободных экстентов: он не принимает запись для группы, которой нужен новый экстент. Добавьте ёмкость в ярус
S3rDiskBitrot increase(s3r_disk_crc_failures_total[1h]) > 0 — warning диск отдал фрагменты, не прошедшие проверку контрольной суммы. Каждый такой фрагмент перестраивается по другим участникам группы. Если счётчик продолжает расти, проверьте счётчики ошибок накопителя и выведите диск
S3rScrubBehind (s3r_scrub_groups > 0 and (time() - s3r_scrub_oldest_pass_timestamp_seconds) > s3r_scrub_period_seconds) unless on(instance_name) s3r_repair_paused == 1 15 мин warning проверка целостности данных яруса не укладывается в свой период scrub_period_s. Правило не срабатывает, пока фоновый контроль целостности приостановлен. Проверьте, что процесс scrub работает и у групп есть владельцы

Правило S3rPlacementGroupDegraded намеренно отделено от S3rPlacementGroupLost: группа без одного участника встречается при обычной работе кластера, а группа, в которой участников меньше, чем нужно для чтения, означает потерю данных.

Ниже перечислены семейства метрик по сервисам. Тип указан словом: счётчик накапливает значение, датчик отражает текущее значение, гистограмма показывает распределение.

Сервис s3r_api

Метрика Метки Значение
s3r_requests_total op, status счётчик обслуженных запросов S3
s3r_request_duration_seconds op гистограмма длительности запроса
s3r_request_bytes_total op, direction счётчик переданных байт объекта
s3r_requests_in_flight — датчик числа запросов в обработке
s3r_admission_bytes — датчик объёма памяти api_memory, занятой обрабатываемыми запросами и принимаемыми копиями с других площадок
s3r_admission_rejected_total — счётчик запросов, отклонённых из-за ограничения памяти
s3r_auth_failures_total reason счётчик отказов аутентификации и авторизации
s3r_quota_rejected_total scope, limit отказы по квотам на число бакетов, число объектов и объём данных
s3r_ratelimit_rejected_total scope отказы по ограничениям частоты запросов и скорости передачи
s3r_get_bodies_cut_total cause счётчик ответов GetObject, тело которых оборвалось после отправки заголовков. Причины: unreadable (полосу не удалось прочитать, в том числе после удаления, перезаписи или переноса объекта на другой ярус во время медленного чтения), deadline (полоса не прочитана за read_timeout_s), memory (не хватило api_memory для частей с более крупными полосами), short (тело закончилось раньше Content-Length), failed (другая ошибка)
s3r_class_refused_total storage_class отказы записи из-за отсутствия группы размещения для класса на площадке

Сервис s3r_meta

Метрика Метки Значение
s3r_cas_retries_total operation повторы операции «сравнить и заменить» (CAS) из-за одновременного изменения данных
s3r_cas_proposals_total operation операции «сравнить и заменить» (CAS), которые плагин предложил напрямую; изменения через SQL здесь не учитываются
s3r_bridge_wait_seconds pool гистограмма ожидания задания в очереди к потоку TX, по пулу файберов (local, routed, catalog, background)
s3r_meta_rpc_total op обращения за метаданными, пересланные через Picodata, как правило на другой инстанс; вместе с s3r_meta_rpc_in_place_total показывает, во сколько обращений обходится запись, в частности по одному на каждую директорию в пути ключа
s3r_meta_rpc_in_place_total op обращения за метаданными, которые инстанс обслужил сам, без кодирования запроса и ответа: он мастер репликасета, где находится виртуальный бакет vshard этих метаданных, или его реплика при read_preference = any
s3r_bridge_queue_depth pool датчик числа заданий в очереди к потоку TX, по пулу файберов (local, routed, catalog, background)
s3r_bridge_rejected_total — задания, отклонённые при остановке сервиса
s3r_namespace_attr_bytes — датчик объёма документов бакетов (политик, правил жизненного цикла и CORS, настроек сайта, тегов) всех тенантов в дереве состояния; объём документов каждого тенанта ограничивает attribute_budget
s3r_tenants — датчик числа тенантов в кластере
s3r_state_builds_total — сборки дерева состояния; каждая учитывает транзакции, подтверждённые после предыдущей
s3r_state_publishes_total — сборки дерева состояния, после которых опубликован новый корень
s3r_state_build_seconds — гистограмма времени потока TX на одну сборку дерева состояния; паузы, когда сборка уступает поток другим файберам, не учитываются
s3r_state_undecodable_total table строки отслеживаемых таблиц, которые не удалось разобрать; дерево сохраняет их прежнее определение
s3r_dedup_content_fingerprints — датчик числа отпечатков содержимого в индексе дедупликации, которые хранит репликасет
s3r_dedup_resolves_total found чтения объектов через общую копию содержимого; метка local означает, что общая копия находится на том же инстансе, routed означает одно обращение к инстансу с копией, no означает, что общей копии уже нет
s3r_chunkgc_queued — датчик числа записей очереди удалённых фрагментов, которые хранит репликасет: объектов, позиции блоков которых ещё не освободили владельцы групп

Значение датчика s3r_dedup_content_fingerprints показывает мастер репликасета: при каждом опросе он читает число строк в своей части таблицы s3r_content_fingerprint. Реплика показывает 0, поэтому сумма значений по всем инстансам равна числу отпечатков содержимого в кластере. Так же мастер показывает датчик s3r_chunkgc_queued, читая свою часть таблицы s3r_chunkgc.

Сервис s3r_storage

Метрика Метки Значение
s3r_disks — датчик числа смонтированных дисков
s3r_chunk_ops_total op, path, result операции обмена фрагментами, локально или по сети
s3r_chunk_bytes_total path, direction объём фрагментов по пути и направлению
s3r_chunk_network_seconds — гистограмма времени сетевой операции с фрагментом
s3r_disk_io_seconds disk, op гистограмма времени ввода-вывода на диск
s3r_disk_capacity_bytes disk датчик ёмкости диска
s3r_disk_io_time_seconds_total disk счётчик: время в секундах, когда в ядре была хотя бы одна операция ввода-вывода диска, от отправки до получения её результата. Скорость его роста (rate) показывает загрузку диска. Устроен как node_disk_io_time_seconds_total в node_exporter
s3r_disk_io_time_weighted_seconds_total disk счётчик: то же время, умноженное на число операций в ядре. Отношение скоростей роста этого счётчика и s3r_disk_io_time_seconds_total равно среднему числу операций в ядре, пока там есть хотя бы одна: значение около единицы означает, что операции не перекрываются. В это число входят и операции, которые ждут рабочий поток ядра
s3r_disk_io_bytes_total disk, op счётчик байтов, которые диск прочитал (read) или записал (write), включая заголовки и выравнивание. Заполнение экстента нулями учитывается как запись всего экстента, даже если нули записала файловая система. В отличие от счётчиков node_exporter, относится к диску s3r, даже если это раздел
s3r_disk_io_retries_total disk, cause счётчик операций ввода-вывода, которые драйвер диска отправил повторно после временного отказа ядра. Причины: cancelled (ядро не смогло запустить поток для операции), busy (очередь завершений ядра переполнена), again (ядру не хватило памяти), interrupted (ожидание прервано сигналом), queue_full (очередь отправки заполнена). Рост cancelled означает, что процессу не хватает потоков: проверьте RLIMIT_NPROC и pids.max его контрольной группы
s3r_disk_crc_failures_total disk счётчик фрагментов, которые диск прочитал, и заголовков экстентов, которые прочитало монтирование, не прошедших проверку контрольной суммы: повреждение данных на диске. Каждый такой фрагмент читается в обход и перестраивается, а учитывается один раз, пока на его место не записан новый. Если счётчик вырос за последний час, срабатывает правило S3rDiskBitrot; если он продолжает расти, проверьте счётчики ошибок самого накопителя и выведите диск
s3r_disk_used_bytes disk датчик объёма, отданного группам размещения: экстенты, которые держат группы, умноженные на размер экстента. Это не число записанных байтов: экстент принадлежит группе с момента, когда он ей выделен, и другой группе уже не достанется
s3r_extents disk, state датчик числа экстентов диска: allocated и free. Точен до процента от числа экстентов диска, а в последнем проценте точен полностью
s3r_disks_drained — датчик числа выведенных дисков, которые больше не входят ни в одну группу размещения и могут быть извлечены
s3r_drains_waiting cause датчик числа участников на выводимых дисках, данные которых некуда перенести, по причинам: room (нет места), add_instance (нет инстанса в нужном домене отказа), set_failure_domain (не задан домен отказа), set_shape (не задана схема избыточности яруса), wait (диск или инстанс недоступен). Те же участники перечислены в области groups ответа GET /v2/repair. Значение относится ко всему кластеру, поэтому каждый экземпляр сообщает одно и то же.
s3r_ec_reconstructions_total — восстановления полосы из сохранившихся фрагментов
s3r_placement_groups ownership датчик числа групп размещения по владению: owned, если у группы есть владелец, transferring, пока группа передаётся другому
s3r_pg_lost — датчик числа групп размещения, в которых сохранившихся участников меньше, чем требуется для чтения. Значение относится ко всему кластеру
s3r_pg_degraded — датчик числа групп размещения с пониженной избыточностью: сохранившихся участников меньше, чем фрагментов в полосе, но не меньше k. Не сохранившимся считается участник на вышедшем из строя или переформатированном диске, а также участник, поставленный на замену, пока процесс resync не проверит его отстающие экстенты: участник в состоянии new или с записью в списке extents_behind. Поэтому значение больше нуля во время каждой перестройки после отказа, переформатирования или вывода диска, а число групп, ожидающих ресинхронизации, показывает область data ответа GET /v2/repair. Участник на выводимом диске считается сохранившимся, пока не покинет группу. Это же число показывает строка placement ответа GET /v2/health. Если значение больше нуля дольше 15 минут, срабатывает правило S3rPlacementGroupDegraded. Значение относится ко всему кластеру
s3r_pg_asymmetric site, tier датчик числа групп размещения, у которых хотя бы один участник стоит не на своей плановой позиции; такие группы возвращает на место только действие «Восстановить размещение»
s3r_formation_step — датчик шага начального формирования кластера: 0 означает регистрацию дисков, 1 означает формирование первых групп, 2 означает, что кластер в состоянии active и принимает запись
s3r_damage_stripes — датчик числа полос в реестре повреждённых полос: рассогласованных и утраченных
s3r_tier_bytes_available tier датчик объёма объектов, который ещё можно записать в ярус. Он считается по свободным экстентам дисков, доступных группам размещения, и уже учитывает избыточность. Значение относится ко всему кластеру, поэтому каждый экземпляр сообщает одно и то же
s3r_resync_outstanding kind датчик того, что ресинхронизации ещё предстоит исправить
s3r_worker_runs_total worker, result шаги фоновых процессов
s3r_worker_duration_seconds worker гистограмма длительности шага фонового процесса
s3r_scrub_stripes_checked_total — полосы контрольных сумм, проверенные по данным чётности
s3r_scrub_inconsistent_total — полосы с расхождением данных чётности
s3r_chunks_put_back_total worker счётчик фрагментов, перестроенных и записанных туда, где их не оказалось, по процессам: scrub, resync, resync_queue, а также read, когда повреждение нашло чтение клиента. Повреждение данных на диске не включает, его учитывает s3r_disk_crc_failures_total
s3r_scrub_groups tier датчик числа групп размещения яруса, проверку которых ведёт этот инстанс
s3r_scrub_oldest_pass_timestamp_seconds tier время завершения последнего полного сканирования самой давно проверявшейся группы, в секундах с начала эпохи Unix. Учитываются только группы, закончившие хотя бы одну проверку: группа, не проверявшаяся ни разу, отставания яруса не создаёт. Если в ярусе ни одна группа ещё не закончила проверку, метрика для него не выводится, и оповещение S3rScrubBehind не срабатывает, пока процесс scrub не проверит ярус
s3r_scrub_period_seconds tier период проверки целостности данных яруса, scrub_period_s его записи в erasure
s3r_repair_paused — датчик режима repair_mode: 1, пока процессы scrub, resync, resync_queue и catalog остановлены администратором, иначе 0. Пока он равен 1, оповещение S3rScrubBehind не срабатывает
s3r_compression_bytes_total direction объём данных до и после сжатия: logical и stored
s3r_transition_total result завершённые попытки перехода между классами хранения по результату
s3r_lifecycle_total kind что сделали проходы правил жизненного цикла: removed (удалена версия или одиночный маркер удаления вместе с данными), expired (над текущей версией записан маркер удаления, данные остались в неактуальной версии), aborted (прервана незавершённая загрузка), transitioned (версия поставлена в очередь на перевод в другой класс хранения, перевод выполняет процесс transition), skipped (виртуальный бакет vshard пропущен после трёх неудачных попыток, его прочтёт следующий проход; остаток таблицы, пропущенный, когда страница не нашла свой виртуальный бакет, считается одним пропуском)
s3r_lifecycle_lateness_seconds kind гистограмма задержки от срока, назначенного правилом, до выполнения: от минуты до недели; растёт при массовом удалении, которое проход растягивает во времени
s3r_transition_bytes_total — объём данных, переписанных при переходах между классами
s3r_chunkgc_refused_total — счётчик пар из объекта и группы в очереди удалённых фрагментов, которые владелец группы не освободил при отправке: он монтирует группу, у группы нет владельца в представлении кластера или владелец не ответил. Такая запись отправляется повторно