Выбор схемы RAID для выделенного сервера

Любой выделенный сервер и GPU-сервер с двумя и более дисками для данных можно получить с дисками, уже объединёнными в массив RAID. Схему вы выбираете на странице развёртывания рядом с операционной системой; наша команда собирает массив до выдачи, поэтому сервер запускается с тем объёмом и той избыточностью, которые вы выбрали. В этом руководстве описано, что представляет собой каждая схема, сколько полезного объёма она отнимает и как обслуживать массив, когда сервер уже у вас.

Схемы RAID вкратце

Страница развёртывания показывает полезный объём каждой схемы для выбранного вами сервера. Для справки — при дисках одинакового размера S:

На Ryzen 7 7700 с 2 × 1 ТБ NVMe RAID 1 даёт 1 ТБ, а RAID 0 — 2 ТБ. На Storage 40 TB с жёсткими дисками 4 × 10 ТБ RAID 6 и RAID 10 дают по 20 ТБ, RAID 5 — 30 ТБ, а RAID 0 — 40 ТБ. На Storage 60 TB с дисками 6 × 10 ТБ RAID 6 даёт 40 ТБ, RAID 10 — 30 ТБ, а RAID 5 — 50 ТБ.

Что мы рекомендуем

Схема с пометкой Рекомендуется на странице развёртывания — та, которую мы выбрали бы для себя:

• Два диска: RAID 1. Доступна половина объёма, зато отказ диска оборачивается тикетом, а не простоем. К тому же ускоряется чтение: данные могут отдавать оба диска.
• От четырёх дисков NVMe или SSD: RAID 10. На флеш-накопителях перестроение зеркала занимает час-два, а не сутки, а в RAID 10 не нужно вычислять чётность, поэтому запись остаётся быстрой даже под нагрузкой. Это классическая схема для баз данных.
• Серверы для хранения данных с жёсткими дисками большого объёма: RAID 6. Перестроение жёсткого диска объёмом 10 ТБ занимает сутки и более, и всё это время все остальные диски массива читаются от начала до конца. В RAID 5 второй отказ или нечитаемый сектор в этот период приводит к потере массива; RAID 6 такое выдерживает.

Выбирайте RAID 0, только если потеря всего массива будет стоить вам лишь времени, например для кэша рендеринга или копии набора данных, который хранится в другом месте. RAID 5 выбирайте только для данных, которые можно восстановить из другой копии.

Как мы настраиваем массив

• Дистрибутивы Linux: программный RAID в Linux (mdadm). На серверах с двумя дисками вся система размещается на массиве. На серверах для хранения данных операционная система устанавливается на отдельный SSD, а массив из жёстких дисков монтируется в /data.
• Proxmox VE: пул ZFS с тем же уровнем избыточности (зеркало, чередующиеся зеркала или RAID-Z2), которым Proxmox управляет штатными средствами.
• Windows Server и собственные ISO-образы: диски передаются по отдельности, без объединения в массив. В Windows объедините их в пул с помощью дисковых пространств (Storage Spaces) или создайте зеркало в оснастке «Управление дисками»; если вы ставите систему с собственного ISO-образа, настройте диски во время установки через консоль IPMI.

На этих процессорах программный RAID отнимает ничтожно мало ресурсов CPU, переживает замену материнской платы (массив считывается с самих дисков, а не с контроллера), и с ним работают все инструменты, описанные ниже.

Проверка массива

В исправном массиве mdadm все участники отмечены как работающие: [UU] для двух дисков или [UUUU] для четырёх:

cat /proc/mdstat
mdadm --detail /dev/md0

Подчёркивание, как в [U_], означает, что одного из участников массива нет: массив продолжает работать, но утратил избыточность. В Proxmox вместо этого проверьте пул:

zpool status

Состояние самих дисков проверяйте с помощью smartmontools. Растущее от недели к неделе число переназначенных (reallocated) или ожидающих переназначения (pending) секторов предвещает отказ диска:

apt install -y smartmontools
smartctl -H -A /dev/sda
smartctl -H -A /dev/nvme0

Мы никогда не пишем вам на электронную почту, поэтому пусть о проблемах сообщает сам сервер: достаточно ежедневного задания cron, которое запускает mdadm --detail --test /dev/md0 и отправляет оповещение в вашу собственную систему мониторинга, если команда завершается с ненулевым кодом возврата.

Если диск вышел из строя

1. Запишите серийный номер отказавшего диска: его покажет smartctl -i /dev/sdX, а mdadm --detail сообщит, какой участник выпал из массива.
2. Откройте тикет со страницы сервера в личном кабинете, указав серийный номер и вывод cat /proc/mdstat. Сообщите, можно ли выключить сервер на время замены; многие корпуса поддерживают горячую замену.
3. Когда новый диск установлен, скопируйте на него таблицу разделов исправного диска, присвойте копии новые идентификаторы и добавьте диск обратно в массив. Перестроение начнётся сразу, и следить за ним можно в /proc/mdstat. Здесь /dev/sda — исправный диск, а /dev/sdb — новый; на серверах с NVMe имена выглядят как /dev/nvme1n1 и /dev/nvme1n1p1.

apt install -y gdisk
sgdisk --replicate=/dev/sdb /dev/sda
sgdisk --randomize-guids /dev/sdb
mdadm --manage /dev/md0 --add /dev/sdb1

На сервере с двумя дисками, который загружается с массива, сделайте новый диск тоже загрузочным: в системе с BIOS выполните grub-install /dev/sdb, а в системе с UEFI скопируйте раздел EFI с исправного диска на новый. Иначе, если следующим откажет старый диск, сервер не сможет загрузиться.

RAID — не резервная копия

RAID защищает только от одного — от выхода диска из строя. Любую ошибку он копирует так же добросовестно, как и ваши данные, поэтому удалённый каталог, повреждённая база данных, программа-вымогатель или сервер, к которому вы потеряли доступ, уносят с собой весь массив. Храните зашифрованные копии на внешней площадке — на другом сервере или в другой нашей локации — с помощью restic или Borg, как показано в разделе о резервном копировании в руководстве по снапшотам.

Изменение схемы впоследствии

Смена уровня RAID у массива с данными — процесс медленный и рискованный, поэтому считайте выбор схемы решением на весь срок службы сервера. Чтобы начать заново, переустановите систему через консоль IPMI с нужной схемой или, прежде чем размещать на сервере данные, попросите в тикете переустановить её с новой схемой. Переустановка стирает диски, поэтому сначала скопируйте всё, что вам нужно.