Перейти к содержанию

Добавление, вывод и обслуживание узлов

Страница нужна инженеру эксплуатации, который меняет состав кластера: добавляет узел, выводит узел, заменяет узел, который не вернётся, останавливает сервер для плановых работ или перезапускает инстанс. Состав кластера изменяется средствами Picodata; здесь описано, что при этом нужно учесть для S3R и как проверить результат.

Ребутстрап инстанса в руководстве не описан

Процедуры ребутстрапа (повторного ввода инстанса в кластер с очисткой его данных Picodata) в этом руководстве нет. На кластере с данными не выполняйте её без согласования с разработчиками плагина.

Причина: S3R различает инстансы по UUID, а не по имени. Инстанс, который вошёл в кластер под прежним именем с новым UUID, для S3R является другим инстансом. Диски прежнего инстанса, когда он исключён из кластера, помечаются вышедшими из строя. Инстанс, занявший его позицию, при первом запуске принимает строки этих дисков и переформатирует накопители (см. Замена узла). Содержимое групп на них после этого перестраивается по другим участникам, а не берётся с прежних накопителей. При раскладке instance все участники группы находятся на дисках одного инстанса, поэтому переформатируются все сразу (см. Отказ узла при нескольких площадках).

Проверка исправности кластера

Перед выводом, заменой или остановкой следующего узла и после завершения работ кластер проверяют одним запросом GET /v2/repair. Кластер исправен, когда все шесть значений равны нулю:

Область Поле Что означает ненулевое значение
data needs_resync_groups перестроение пропущенных фрагментов не завершено
data resync_queue есть фрагменты, которые записи не доставили участнику, например серверу на время работ: их ещё перестраивает владелец группы
data lost_stripes есть утраченные полосы: данные объекта потеряны
data inconsistent_stripes есть рассогласованные полосы, которые фоновые процессы не исправят
groups degraded у группы меньше участников, чем требует схема
groups lost в группе сохранилось меньше k участников

Нулей в needs_resync_groups и degraded недостаточно. Утраченная группа считается отдельно от деградированной, а ресинхронизация считает полосу, признанную утраченной, обработанной. Поэтому кластер, в котором при схеме 2+1 вышли из строя два диска одной группы, показывает needs_resync_groups: 0 и degraded: 0 при lost: 1.

Если хотя бы одно значение не равно нулю, следующий узел не выводят и не останавливают: при нескольких площадках так можно отключить последнюю площадку, на которой осталась пригодная копия объекта. Что делать с утраченными и рассогласованными полосами, описано в разделе Реестр повреждённых полос.

Добавление и вывод узлов

Добавление узла

Что должно быть выполнено заранее.

  • Список дисков нового инстанса сверен с шаблоном яруса: набор поддоменов инстанса в каждом ярусе должен совпадать с шаблоном. Записанный шаблон показывает столбец tiers таблицы s3r_cluster.
  • В кластере с несколькими площадками узлы добавляются на каждую площадку симметрично. Площадка вне записанного набора групп не получает.
  • Если площадка до этого состояла из одного домена отказа, её расширяют сразу до числа доменов, нужного для раскладки spread (см. Раскладка группы).

Список дисков отклоняется целиком

Если шаблон яруса уже записан, список с другим набором поддоменов в этом ярусе отклоняется целиком: ни один диск инстанса не регистрируется.

Шаги.

  1. Добавьте узел в кластер средствами Picodata.
  2. Дождитесь первого запуска сервиса s3r_storage на новом инстансе: при нём регистрируются диски инстанса.

Как проверить. Диски инстанса появились в таблице s3r_disk. Если список отклонён, причина записана в столбце reason таблицы s3r_instance.

Вывод узла

Выводите узлы по одному

До завершения перестроения избыточность понижена. При нескольких площадках вывод узла лишает площадку копии его объектов, и эта копия не восстанавливается (см. Отказ узла при нескольких площадках).

Шаги.

  1. Исключите каждый инстанс узла из кластера средствами Picodata: командой picodata expel (см. Удаление узлов в документации Picodata).
  2. Дождитесь завершения перестроения: кластер проходит проверку исправности.
  3. Только после этого выводите следующий узел.

Что происходит. Диски исключённого инстанса признаются вышедшими из строя. Группы, в которые они входили, получают новых участников, и их фрагменты перестраиваются на оставшихся дисках.

Замена узла, который не вернётся

Узел заменяют новым инстансом на той же позиции: в том же репликасете, а на одной площадке с фактором репликации больше 1 ещё и с тем же номером инстанса. Picodata даёт новому инстансу имя исключённого.

Что должно быть выполнено заранее.

  • Прежний инстанс исключён из кластера.
  • В локальном списке дисков нового инстанса есть диск для каждого яруса и поддомена предшественника. Иначе регистрация отклоняется с указанием позиции.

Шаги.

  1. Запустите новый инстанс на позиции исключённого.
  2. Найдите в журнале инстанса строки disk <id> of an expelled instance at this position is inherited at <путь>, по одной на каждый диск предшественника.

Раскладка instance

Если все участники группы находились на дисках заменённого узла, перестраивать её содержимое не из чего. Так бывает при нескольких площадках: новый узел принимает только новые записи, а копия прежних объектов на этой площадке утрачена (см. Отказ узла при нескольких площадках).

Что происходит при первом запуске. Новый инстанс принимает строки дисков исключённого инстанса на своей позиции:

  • каждый диск сохраняет идентификатор, получает путь того же яруса и поддомена из локального списка и переформатируется;
  • ёмкость прежнего накопителя не переносится (см. Ёмкость диска);
  • группы сохраняют участников и перестраивают их содержимое на месте;
  • если предшественник зарегистрировался до перехода кластера на шаг forming, новый инстанс занимает его место и в начальном формировании.

Как проверить. Перестроение завершено, когда кластер проходит проверку исправности.

Плановая остановка и перезагрузка сервера

Процедура для работ, после которых сервер возвращается в кластер с теми же дисками: обновление ядра, замена комплектующих, перезагрузка. Серверы обслуживают по одному.

Останавливайте инстансы штатно

При штатной остановке мастера репликасетов, работавшие на сервере, передают роль другим инстансам до остановки, и запросы клиентов не ждут переключения. Не завершайте процессы инстансов принудительно.

Что должно быть выполнено заранее.

  • Кластер проходит проверку исправности. Если избыточность уже неполная или есть утраченные группы и полосы, остановка ещё одного сервера может сделать часть данных недоступной.
  • Все инстансы кластера готовы: запрос /-/ready каждого возвращает 200.
  • Балансировщик проверяет узлы эндпоинтом /-/ready (см. Проверка узла) либо сервер заранее выведен из балансировки. Иначе клиенты, которые обращаются к адресам остановленного сервера, получат отказ в соединении.
  • Если доменов отказа ровно столько, сколько требует схема избыточности, на время работ новые группы не создаются (см. Перезапуск).

Шаги.

  1. Остановите инстансы Picodata на сервере тем же средством, которым они запущены, например командой systemctl stop для их служб.
  2. Выполните работы и, если нужно, перезагрузите сервер.
  3. Запустите инстансы, если они не запускаются сами, и дождитесь ответа 200 на запрос /-/ready каждого из них. Время зависит от объёма метаданных: после запуска инстанс загружает таблицы Picodata и восстанавливает свои группы размещения.
  4. Убедитесь, что кластер вернулся в исправное состояние: он снова проходит проверку исправности. Фрагменты, которые сервер пропустил за время работ, владельцы групп перестраивают сами.
  5. Проверьте, на каких инстансах находятся мастера репликасетов. Команды SQL выполняются в административной консоли Picodata:

    SELECT name, current_master_name FROM _pico_replicaset;
    

    Роль мастера на вернувшийся сервер сама не возвращается: Picodata назначает нового мастера только взамен недоступного. Пока мастера сосредоточены на других серверах, на них приходится и запись метаданных. Чтобы вернуть мастера, укажите нужный инстанс в поле target_master_name:

    UPDATE _pico_replicaset SET target_master_name = '<имя инстанса>'
     WHERE name = '<имя репликасета>';
    

    Переключение выполняет Picodata (см. Автоматическое назначение мастеров репликасетов). Запрос, пришедший к репликасету в момент переключения, может завершиться ошибкой, поэтому мастеров возвращают при низкой нагрузке. 6. Только после этого переходите к следующему серверу.

Перезапуск

Перезапуск инстанса не требует действий с плагином: после запуска инстанс сам возвращается в работу. Учтите два следствия:

  • Пока инстанс не работает, его диски недоступны группам. Если доменов отказа ровно столько, сколько требует схема избыточности, новые группы в это время не создаются и запись идёт только на место, освободившееся в уже созданных группах (см. Число инстансов).
  • Готовность инстанса после запуска показывает ответ /-/ready (см. Ответ /-/ready).

Что происходит при запуске:

  • При запуске хранилище фрагментов восстанавливает индекс из снимка и хвоста журнала на диске, после чего дочитывает открытый экстент. Номер открытого экстента и порядковый номер записи, начиная с которого его содержимому можно доверять, хранятся в кластере.
  • Инстанс возвращается с прежними адресами: Picodata отклоняет перезапуск инстанса с изменённым объявленным адресом iproto.