Перейти к содержанию

Требования и расчёт ресурсов

Страница перечисляет, чему должны соответствовать узлы кластера, в каком виде поставляется плагин и как рассчитать число инстансов, процессорных ядер, объём памяти и число дисков. Она нужна тому, кто готовит оборудование и операционную систему к установке S3R.

Порядок установки

Установка выполняется в таком порядке:

  1. Проверяются требования, выбирается поставка и рассчитываются ресурсы на этой странице.
  2. Выбирается схема избыточности и число площадок на странице Планирование топологии.
  3. Запускается кластер Picodata, устанавливается и настраивается плагин, кластер проходит начальное формирование, консоль публикуется через обратный прокси, установка проверяется. Эти действия выполняются вручную по странице Пошаговая установка либо ролью Ansible для Picodata по странице Установка ролью Ansible. В обоих случаях действия одни и те же.

Действия при сбое установки описаны на странице Если установка не завершается, обновление и удаление плагина описаны на странице Обновление и удаление.

Требования

Компонент Требование
СУБД Picodata той версии, под которую выпущена версия плагина (см. Соответствие версий S3R и Picodata). При несовпадении версий плагин не загружается и выводит обе версии
Ядро Linux 5.10 или новее
Подсистема ввода-вывода io_uring и открытие файлов с флагом O_DIRECT (проверка O_DIRECT описана в разделе Шаг 1. Проверка узлов). Резервной реализации нет: если механизм недоступен, диск не монтируется и событие записывается в журнал
Файловая система Локальная, с поддержкой O_DIRECT и posix_fallocate: ext4 или XFS (см. Файловая система)
IOMMU Ядро Linux на выделенном хосте хранения, где не работает виртуализация, загружается с параметром iommu=pt (см. Режим IOMMU)
Тир Picodata Все три сервиса плагина назначаются на один тир. Каждый инстанс, на котором есть диски хранилища, получает слушатель s3r_storage в своей конфигурации

Контейнеры

Окружение контейнера проверяется отдельно. Профиль seccomp в ядре Linux может запрещать системные вызовы io_uring, а оверлейная файловая система может запрещать открытие файлов с флагом O_DIRECT. Эти причины независимы: отказ одного механизма не означает отказа другого.

Файловая система

Диски хранилища размещают на ext4 или XFS.

ZFS и btrfs использовать нет смысла. То, ради чего их выбирают, плагин делает сам, и на таких файловых системах эта работа выполнялась бы дважды:

Возможность ZFS и btrfs Что делает S3R
Избыточность: зеркало, RAID-Z репликация или избыточное кодирование в группе размещения (см. Избыточность и домены отказа)
Контрольные суммы и проверка данных контрольные суммы фрагментов и фоновый контроль целостности (см. Фоновые процессы)
Сжатие сжатие объектов по настройке тенанта и бакета (см. Сжатие)

По той же причине диски не объединяют в аппаратный или программный RAID: каждый накопитель отдаётся плагину отдельным диском.

Режим IOMMU

В режиме IOMMU по умолчанию ядро Linux откладывает сброс трансляций адресов DMA и выполняет его по таймеру (fq_flush_timeout). При интенсивной записи этот сброс может занимать ядро процессора на десятки секунд. Все потоки на этом ядре останавливаются:

  • запись фрагментов;
  • обработчики io_uring;
  • прерывания сетевой карты.

Фрагменты, адресованные хосту, не успевают к своему сроку. Полоса записывается на диски нескольких серверов, поэтому один такой хост замедляет запись всего кластера.

В собственных прогонах с параметром iommu=pt запись заметно ускорилась, а ошибок и зависаний ядра процессора не было.

Если хост хранения выделенный и на нём не работает виртуализация, ядро Linux загружается с параметром iommu=pt. В этом режиме устройства хоста обращаются к памяти без трансляции адресов, а IOMMU остаётся доступным для проброса устройств в виртуальные машины. Параметр снимает защиту от DMA с собственных устройств хоста. Если на хосте работает виртуализация или политика безопасности требует защиты от DMA, параметр подбирается отдельно: например, iommu.strict=1 или режим identity для групп IOMMU контроллера дисков и сетевых карт. Эти варианты не измерялись.

Проверка после нагрузки:

journalctl -k | grep "soft lockup"

Пустой вывод означает, что зависаний ядра процессора не было.

Поставка

Плагин поставляется архивом s3r_<версия>-<ОС>.tar.gz, например s3r_2.2.0-ubuntu_22.04.tar.gz. Доступ к репозиторию предоставляется по запросу.

Структура архива соответствует стандартной структуре плагина Picodata: директория s3r/2.2.0/ содержит библиотеку libs3r.so, файл манифеста manifest.yaml и поддиректорию миграций migrations/.

Поддерживаемые дистрибутивы

Архив собирается для следующих дистрибутивов:

Дистрибутив Версии
Альт p10, p11
Astra Linux 1.8
CentOS 8, 9
Debian 12 (bookworm), 13 (trixie)
Fedora 43, 44
РЕД ОС 7.3, 8.0
Ubuntu 22.04 (jammy), 24.04 (noble), 26.04 (resolute)

Архив для дистрибутива не гарантирует работу с любым его ядром

Если ядро не предоставляет io_uring, диск не открывается и это видно в журнале инстанса.

Ограничения:

  • Альт p9, Astra Linux 1.7 и ROSA Chrome не поддерживаются: их ядра не обеспечивают надёжную работу io_uring, а другой подсистемы ввода-вывода у хранилища нет.
  • Базовое ядро РЕД ОС 7.3 ниже версии 5.10. На ней устанавливается ядро из репозиториев дистрибутива не ниже 5.10: kernel-lt, kernel-ml или kernel-lt из репозитория extras/kernels6-73.

Соответствие версий S3R и Picodata

Под каждую выпущенную версию Picodata собирается соответствующая выпущенная версия плагина.

S3R Picodata
2.0.0 26.2.1
2.1.0 26.2.1
2.2.0 26.2.1

Расчёт ресурсов

Ресурс Сколько нужно Подробности
Инстансы ожидаемое число операций с метаданными в секунду, делённое на 10 000, но не меньше, чем требует схема избыточности Число инстансов
Процессорные ядра число рабочих потоков инстанса и ещё два ядра Процессорные ядра
Сеть отдельная сеть между узлами без потерь пакетов Сеть
Оперативная память около 320 байт и длина ключа на объект, на каждом инстансе репликасета Оперативная память
Диски не больше 2 × (k + m) − 1 дисков яруса на инстанс Диски

Число инстансов

Инстанс Picodata с плагином S3R размещается в пределах одного вычислительного узла. В многопроцессорных серверах промышленного уровня рассчитывайте на загрузку всех узлов NUMA сервера.

Число инстансов ограничено снизу двумя условиями.

Нагрузка. Один инстанс обслуживает в секунду до 10 000 операций с метаданными: записей, чтений, запросов атрибутов и листингов. Необходимое число инстансов определяется делением ожидаемой нагрузки на это значение.

Схема избыточности. Каждый репликасет должен быть заполнен, а группа размещения, распределённая по узлам, требует определённого числа узлов (см. Планирование топологии).

Планируйте k + m + 1 доменов отказа

Если доменов отказа ровно k + m и в каждом диски яруса находятся в одном поддомене, перезапуск одного инстанса останавливает создание новых групп (см. Сколько узлов планировать). Владелец, чья группа запечатана (состояние sealed, см. Группы размещения), тогда записывает только на освободившееся место в экстентах этой группы.

Процессорные ядра

Инстансу нужно столько логических ядер, сколько у него рабочих потоков, и ещё два. Логическим ядром считается аппаратный поток, а не физическое ядро.

Ядер Чем заняты
1 транзакционный поток TX
число рабочих потоков пул рабочих потоков Tokio: разбор запросов, кодирование, сжатие и обмен фрагментами полос
1 фоновые операции, например создание снимков

Число рабочих потоков задаётся переменной окружения S3R_WORKER_THREADS. Подберите его так, чтобы инстансы сервера вместе не занимали больше ядер, чем у сервера есть. Пример: сервер с 48 логическими ядрами и четырьмя инстансами — по 12 ядер на инстанс, S3R_WORKER_THREADS=10.

Крупные объекты нагружают рабочие потоки (кодирование и передача фрагментов), а мелкие нагружают транзакционный поток. Транзакционный поток у инстанса один, поэтому при нагрузке мелкими объектами добавляйте инстансы, а не рабочие потоки.

Задайте число рабочих потоков явно

Без переменной S3R_WORKER_THREADS пул рассчитывается по числу ядер всего сервера, и при нескольких инстансах на сервере потоков запускается больше, чем ядер.

Оперативная память

Метаданные хранятся в памяти memtx. Расход памяти на один объект:

Объект Память
Содержимое размещено на дисках около 320 байт вместе с индексами и столько байт, сколько занимает ключ объекта
Размером до inline_max то же и дополнительно объём содержимого

Этот объём необходим каждому инстансу репликасета, потому что каждая реплика хранит полную копию данных.

Пример: 100 миллионов объектов с ключами длиной 80 байт требуют около 40 ГБ памяти.

Объём памяти под метаданные увеличивается двумя способами:

  • добавлением узлов, между которыми распределяются виртуальные бакеты vshard с метаданными;
  • увеличением параметра instance.memtx.memory.

Кроме памяти memtx, инстанс расходует память на содержимое объектов. Параметр api_memory (см. Память запросов) ограничивает содержимое объектов в запросах S3, которые обрабатывает этот инстанс, и в копиях, которые этот инстанс принимает с других площадок. Он не учитывает:

  • фрагменты, которые другие инстансы записывают на диски этого инстанса: фрагмент занимает память с момента приёма до записи на диск;
  • буферы обмена фрагментами между инстансами;
  • перенос объектов между ярусами: объекты переносятся по одному;
  • служебную память Picodata и Tarantool.

Поэтому под нагрузкой записи резидентная память процесса (RSS) превышает сумму instance.memtx.memory и api_memory. На стенде при записи объектов по 128 МиБ пик RSS доходил до 29 ГиБ при api_memory 12 ГиБ и почти пустом memtx (октябрь 2026 года). Предел памяти процесса, например MemoryMax в systemd, выбирают по пику RSS, измеренному под рабочей нагрузкой, а не по сумме этих параметров. Если предел ниже пика, ядро завершает процесс инстанса при нехватке памяти.

Расход памяти каждого инстанса показывают консоль и запрос GET /v2/memory. Сведения собираются в момент запроса, и возраст каждого показания не превышает двух секунд. Неполные сведения выглядят так:

  • Инстанс в сети, но не ответил за секунду. Ответ сообщает, сколько инстансов ответило, а запись memory в сводке GET /v2/health получает статус предупреждения и содержит имя этого инстанса.
  • Инстанс отключён. В подсчёт он не входит: о нём сообщает запись instances той же сводки.

Диски

Сколько дисков на инстанс. На одном инстансе в ярусе со схемой избыточности k+m используется не больше 2 × (k + m) − 1 дисков: владелец пишет в одну группу яруса за раз. Конфигурация с большим числом дисков отклоняется (см. Группы размещения). Лишние диски размещают на дополнительных инстансах: например, при схеме 4+2 двенадцать дисков размещают на двух инстансах по шесть.

Сколько места на диске. Каждой первой группе, которую план начального формирования ставит на диск, нужно 2 × (1 + spare_extents) свободных экстентов этого диска, то есть 4 при значениях по умолчанию. Диск, на котором столько места нет, задерживает формирование (см. Начальное формирование).

Ёмкость диска и размер экстента выбираются по разделу Выбор ёмкости и размера экстента.

Сеть

Запись объекта крупнее inline_max передаёт его фрагменты на диски других узлов, а чтение собирает их оттуда. Поэтому сеть между узлами нагружена не меньше клиентской: на каждый записанный байт между узлами передаётся до (k + m) / k байт.

Требование Зачем
Отдельная сеть для обмена между узлами: адреса слушателя s3r_storage и Picodata клиентский трафик не вытесняет обмен фрагментами; порт s3r_storage недоступен клиентам (см. Сетевые порты)
Пропускная способность сети между узлами не меньше клиентской, умноженной на (k + m) / k иначе запись крупных объектов ограничена сетью, а не дисками
Отсутствие потерь пакетов между узлами участник, не принявший фрагмент в срок, пропускается; если таких больше, чем допускает кворум записи, запрос получает ошибку 5xx

Потери пакетов замедляют запись крупных объектов

Даже небольшие потери кадров на приёме у одного узла заметно снижают скорость записи крупных объектов: узел с потерями отстаёт, а запись ждёт его фрагменты до истечения срока. Такие потери возникают в сетевой карте при одновременной передаче с нескольких узлов и могут не отражаться в её счётчиках ошибок. Их устраняет управление потоком (flow control) на портах коммутаторов, обращённых к узлам хранения.

Что проверить до ввода в эксплуатацию и при падении скорости записи:

  • долю повторных передач TCP на узлах (nstat TcpRetransSegs или метрика node_netstat_Tcp_RetransSegs экспортёра узла): под нагрузкой она должна оставаться в пределах долей процента;
  • счётчики отброшенных кадров на портах коммутаторов и сетевых карт (ethtool -S);
  • одинаковую загрузку узлов при записи: если один узел загружен заметно больше остальных, он не успевает принимать фрагменты.