Отказ диска и восстановление RAID

Обнаружение отказа: читаем /proc/mdstat и mdadm —detail.

# Немедленная проверка при срабатывании алерта
cat /proc/mdstat
# Personalities : [raid5]
# md0 : active raid5 sde[3] sdc[1] sdb[0]
#       3145728 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UUU_]
#
# Расшифровка:
# [4/3]   = ожидалось 4 диска, активны 3
# [UUU_]  = позиции 0,1,3 работают; позиция 2 (sdd) отсутствует — это упавший диск
# Заметь: sdd полностью отсутствует в списке устройств

# Подробнее
sudo mdadm --detail /dev/md0
# State : clean, degraded          <-- данные отдаются, но без избыточности
# Active Devices : 3
# Failed Devices : 1
#
# Number   Major   Minor   RaidDevice State
#    0     8:16      0      active sync   /dev/sdb
#    1     8:32      1      active sync   /dev/sdc
#    -     0:0       2      removed       <-- слот 2 — пропавший диск
#    3     8:80      3      active sync   /dev/sde

# Проверяем логи ядра на событие отказа и ошибки ввода-вывода
sudo journalctl -b | grep -i 'md0\|raid\|sdd\|I/O error' | tail -30
# Ищи: "md/raid:md0: Disk failure on sdd, disabling device"
# или: "blk_update_request: I/O error, dev sdd"

Помечаем упавший диск неисправным (если ядро ещё не сделало это).

# Проверяем состояние диска в массиве
sudo mdadm --detail /dev/md0 | grep sdd
# (если всё ещё отображается со статусом 'faulty')
#    2     8:48      2      faulty   /dev/sdd

# Явно помечаем как неисправный (нужно перед --remove если ядро не сделало это само)
sudo mdadm /dev/md0 --fail /dev/sdd
# mdadm: set /dev/sdd faulty in /dev/md0

# Теперь удаляем из массива (слот остаётся — уходит только диск)
sudo mdadm /dev/md0 --remove /dev/sdd
# mdadm: hot removed /dev/sdd from /dev/md0

# Подтверждаем удаление
sudo mdadm --detail /dev/md0 | grep -E 'State|Devices|RaidDevice'
# State : clean, degraded
# Active Devices : 3
# Failed Devices : 0   <-- очищено
# Removed Devices : 1

Hot-add диска замены и запуск перестройки.

# Физический шаг: вставляем новый диск. В hot-swap лотке это вживую.
# В VM/облаке: подключаем новое блочное устройство.
# Проверяем что ОС видит его:
lsblk | grep -v dm
# sdb    8:16   0  1T  0 disk
# sdc    8:32   0  1T  0 disk
# sde    8:80   0  1T  0 disk
# sdf    8:96   0  1T  0 disk   <-- новый диск

# Новый диск должен быть не меньше упавшего
# (mdadm использует размер наименьшего диска для массива)

# Добавляем в массив — перестройка стартует автоматически
sudo mdadm /dev/md0 --add /dev/sdf
# mdadm: added /dev/sdf

# Следим за перестройкой
watch -n5 cat /proc/mdstat
# md0 : active raid5 sdf[4] sde[3] sdc[1] sdb[0]
#       3145728 blocks super 1.2 level 5 [4/3] [UUU_]
#       [=>...................]  recovery = 7.3% (...)
#       finish=142.3min speed=198400K/sec
#
# После завершения:
# md0 : active raid5 sdf[4] sde[3] sdc[1] sdb[0]
#       3145728 blocks super 1.2 level 5 [4/4] [UUUU]
# [4/4] [UUUU] = полностью перестроен, все диски здоровы

Окно перестройки: почему это момент наивысшего риска.

# Риск 1: Unrecoverable Read Error (URE) — неисправимая ошибка чтения
# Корпоративные диски: частота URE ~1 на 10^15 бит прочитанных
# Потребительские диски: ~1 на 10^14 бит прочитанных
#
# RAID 5 с 4 × 4 ТБ дисками: всего данных = 12 ТБ = ~10^14 бит
# На потребительских дисках: примерно 1 URE ожидается при перестройке такого размера
# URE во время перестройки = данные которые нельзя реконструировать = частичное повреждение
#
# Вот почему большие массивы RAID 5 на потребительских дисках не рекомендуются.
# RAID 6 допускает URE при перестройке (вторая чётность покрывает).

# Риск 2: второй отказ диска во время перестройки
# Оставшиеся диски под максимальной нагрузкой чтения часами.
# Диски из одной партии часто отказывают в схожем возрасте.
# Второй отказ во время перестройки = полная потеря данных на RAID 5.

# Что делать в окне перестройки:
# 1. НЕ добавляй лишнюю нагрузку ввода-вывода — приостанови некритичные задачи
# 2. Следи за /proc/mdstat каждые несколько минут
# 3. Наблюдай за логами ядра на предмет новых ошибок ввода-вывода:
sudo journalctl -f | grep -i 'I/O error\|error.*sd'
# 4. Держи процедуру восстановления из бэкапа наготове — на всякий случай

# Можно ограничить скорость перестройки для снижения нагрузки на диски:
# (ценой более длинного окна перестройки)
echo 50000 | sudo tee /proc/sys/dev/raid/speed_limit_max
# По умолчанию обычно 200000 КБ/с; 50000 снижает нагрузку за счёт времени

После перестройки: проверяем и обновляем конфигурацию mdadm.

# Убеждаемся что массив полностью здоров
sudo mdadm --detail /dev/md0
# State : clean                    <-- больше нет 'degraded'
# Active Devices : 4
# Failed Devices : 0
# Spare Devices : 0
#
# Number   Major   Minor   RaidDevice State
#    0     8:16      0      active sync   /dev/sdb
#    1     8:32      1      active sync   /dev/sdc
#    4     8:96      2      active sync   /dev/sdf  <-- новый диск в слоте 2
#    3     8:80      3      active sync   /dev/sde

# Обновляем mdadm.conf для отражения нового диска
sudo mdadm --detail --scan | sudo tee /etc/mdadm/mdadm.conf
sudo update-initramfs -u
# Без этого: следующая перезагрузка может не собрать массив корректно

# Запускаем проверку массива для верификации согласованности чётности
echo check | sudo tee /sys/block/md0/md/sync_action
# Следим:
cat /sys/block/md0/md/sync_completed
# После завершения mismatch_cnt должен быть 0:
cat /sys/block/md0/md/mismatch_cnt
# 0   <-- хорошо; ненулевое значение = найдены несоответствия чётности (расследовать)

# Планируем регулярные проверки (mdadm поставляется со скриптом cron):
# /etc/cron.d/mdadm — запускает проверку ежемесячно по умолчанию на Debian/Ubuntu