Назад | Перейти на главную страницу

Программный RAID5 Linux на SSD. Один SSD изношен на 40% больше, чем другие

У нас 6 SSD, том RAID5. Мы используем SSD-диски с прошивкой Crucial M4-CT512M4SSD2 000F. Мы ежедневно записываем в том 100 ~ 200 ГБ данных через MySQL InnoDB. Том RAID5 используется только для MySQL и ничего больше.

Вывод lsscsi:

    [0:0:0:0]    disk    iDRAC    LCDRIVE          0323  /dev/sdb 
    [1:0:0:0]    cd/dvd  iDRAC    Virtual CD       0323  /dev/sr0 
    [1:0:0:1]    disk    iDRAC    Virtual Floppy   0323  /dev/sdc 
    [2:2:0:0]    disk    DELL     PERC H700        2.10  /dev/sda 
    [3:0:0:0]    disk    ATA      M4-CT512M4SSD2   000F  /dev/sdd 
    [3:0:1:0]    disk    ATA      M4-CT512M4SSD2   000F  /dev/sde 
    [3:0:2:0]    disk    ATA      M4-CT512M4SSD2   000F  /dev/sdf 
    [3:0:3:0]    disk    ATA      M4-CT512M4SSD2   000F  /dev/sdg 
    [3:0:4:0]    disk    ATA      M4-CT512M4SSD2   000F  /dev/sdh 
    [3:0:5:0]    disk    ATA      M4-CT512M4SSD2   000F  /dev/sdi 
    [3:0:6:0]    enclosu LSI CORP SAS2X36          0717  -       
    [3:0:7:0]    enclosu LSI CORP SAS2X36          0717  -       

Вывод smartctl: (см. Вот для атрибута 173)

for p in d e f g h i ; do smartctl -A /dev/sd${p} | grep 173  ; done

173 Unknown_Attribute       0x0033   098   098   010    Pre-fail  Always       -       67
173 Unknown_Attribute       0x0033   098   098   010    Pre-fail  Always       -       66
173 Unknown_Attribute       0x0033   098   098   010    Pre-fail  Always       -       71
173 Unknown_Attribute       0x0033   098   098   010    Pre-fail  Always       -       66
173 Unknown_Attribute       0x0033   098   098   010    Pre-fail  Always       -       69
173 Unknown_Attribute       0x0033   097   097   010    Pre-fail  Always       -       105

И вывод для / proc / mdstat:

Personalities : [raid6] [raid5] [raid4] 
md0 : active raid5 sdi[6] sdg[3] sdh[4] sdf[2] sdd[0] sde[1]
  2500532160 blocks super 1.2 level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]
  bitmap: 3/4 pages [12KB], 65536KB chunk

 unused devices: <none>

Мы не уверены, почему sdi изношен более чем на 40% больше, чем другие диски, поскольку четность должна быть равномерно распределена по всем дискам.

Это просто ошибка округления. Это наименьшая разница, которую SMART может показать. Вероятно, в ближайшие дни другие SSD переключатся на 097 по одному.

RAID5 распределяет четность по дискам, это правда, но ваша FS может быть неравномерно распределена по ней. Особенно, когда речь идет о EXT {2,3,4} с их старыми схемами суперблоков. При неправильном выравнивании EXT {2,3,4} FS обновления суперблоков могут поступать на один диск чаще, чем на другие. Проверьте это: https://raid.wiki.kernel.org/index.php/RAID_setup#Calculation

XFS делает это автоматически. ;-)

Кроме того, вы можете легко получить актуальную статистику диска с помощью iostat, поэтому любые аномалии в отношении загрузки дисков будут четко отображаться.