Почему в результате перезагрузки одна сторона моего зеркала ZFS стала UNAVAIL?

Я недавно перенес пул хранения больших объемов данных (ZFS в Linux 0.6.2, Debian Wheezy) из конфигурации vdev для одного устройства в конфигурацию vdev с двусторонним зеркалом.

Предыдущая конфигурация пула была:

    NAME                     STATE     READ WRITE CKSUM
    akita                    ONLINE       0     0     0
      ST4000NM0033-Z1Z1A0LQ  ONLINE       0     0     0

После завершения ресилвера все было в порядке (я запустил очистку после завершения ресилвера, просто чтобы система еще раз все проверила и убедилась, что все в порядке):

  pool: akita
 state: ONLINE
  scan: scrub repaired 0 in 6h26m with 0 errors on Sat May 17 06:16:06 2014
config:

        NAME                       STATE     READ WRITE CKSUM
        akita                      ONLINE       0     0     0
          mirror-0                 ONLINE       0     0     0
            ST4000NM0033-Z1Z1A0LQ  ONLINE       0     0     0
            ST4000NM0033-Z1Z333ZA  ONLINE       0     0     0

errors: No known data errors

Однако после перезагрузки я получил электронное письмо с уведомлением о том, что с бассейном не все в порядке. Я посмотрел и вот что увидел:

   pool: akita
  state: DEGRADED
 status: One or more devices could not be used because the label is missing or
         invalid.  Sufficient replicas exist for the pool to continue
         functioning in a degraded state.
 action: Replace the device using 'zpool replace'.
    see: http://zfsonlinux.org/msg/ZFS-8000-4J
   scan: scrub in progress since Sat May 17 14:20:15 2014
     316G scanned out of 1,80T at 77,5M/s, 5h36m to go
     0 repaired, 17,17% done
 config:

         NAME                       STATE     READ WRITE CKSUM
         akita                      DEGRADED     0     0     0
           mirror-0                 DEGRADED     0     0     0
             ST4000NM0033-Z1Z1A0LQ  ONLINE       0     0     0
             ST4000NM0033-Z1Z333ZA  UNAVAIL      0     0     0

 errors: No known data errors

Ожидается скраб; существует настройка задания cron для запуска полной очистки системы при перезагрузке. Однако я точно не ожидал, что новый жесткий диск выпадет из зеркала.

Я определяю псевдонимы, которые сопоставляются с именами / dev / disk / by-id / wwn- *, и в случае обоих этих дисков ZFS бесплатно использует весь диск, включая обработку разбиения на разделы:

# zpool history akita | grep ST4000NM0033
2013-09-12.18:03:06 zpool create -f -o ashift=12 -o autoreplace=off -m none akita ST4000NM0033-Z1Z1A0LQ
2014-05-15.15:30:59 zpool attach -o ashift=12 -f akita ST4000NM0033-Z1Z1A0LQ ST4000NM0033-Z1Z333ZA
# 

Это соответствующие строки из /etc/zfs/vdev_id.conf (теперь я заметил, что Z1Z333ZA использует символ табуляции для разделения, тогда как в строке Z1Z1A0LQ используются только пробелы, но я, честно говоря, не понимаю, как это может быть здесь актуально) :

alias ST4000NM0033-Z1Z1A0LQ             /dev/disk/by-id/wwn-0x5000c500645b0fec
alias ST4000NM0033-Z1Z333ZA     /dev/disk/by-id/wwn-0x5000c50065e8414a

Когда я посмотрел, /dev/disk/by-id/wwn-0x5000c50065e8414a* были там, как и ожидалось, но /dev/disk/by-vdev/ST4000NM0033-Z1Z333ZA* не были.

Выдача sudo udevadm trigger вызвал отображение символических ссылок в / dev / disk / by-vdev. Однако ZFS, похоже, не просто понимает, что они есть (Z1Z333ZA все еще отображается как UNAVAIL). Полагаю, этого можно ожидать.

Я попытался заменить соответствующее устройство, но безуспешно:

# zpool replace akita ST4000NM0033-Z1Z333ZA
invalid vdev specification
use '-f' to override the following errors:
/dev/disk/by-vdev/ST4000NM0033-Z1Z333ZA-part1 is part of active pool 'akita'
# 

Оба диска обнаруживаются в процессе загрузки (вывод журнала dmesg показывает соответствующие диски):

[    2.936065] ata2: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[    2.936137] ata4: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[    2.937446] ata4.00: ATA-9: ST4000NM0033-9ZM170, SN03, max UDMA/133
[    2.937453] ata4.00: 7814037168 sectors, multi 16: LBA48 NCQ (depth 31/32), AA
[    2.938516] ata4.00: configured for UDMA/133
[    2.992080] ata6: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[    3.104533] ata6.00: ATA-9: ST4000NM0033-9ZM170, SN03, max UDMA/133
[    3.104540] ata6.00: 7814037168 sectors, multi 16: LBA48 NCQ (depth 31/32), AA
[    3.105584] ata6.00: configured for UDMA/133
[    3.105792] scsi 5:0:0:0: Direct-Access     ATA      ST4000NM0033-9ZM SN03 PQ: 0 ANSI: 5
[    3.121245] sd 3:0:0:0: [sdb] 7814037168 512-byte logical blocks: (4.00 TB/3.63 TiB)
[    3.121372] sd 3:0:0:0: [sdb] Write Protect is off
[    3.121379] sd 3:0:0:0: [sdb] Mode Sense: 00 3a 00 00
[    3.121426] sd 3:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    3.122070] sd 5:0:0:0: [sdc] 7814037168 512-byte logical blocks: (4.00 TB/3.63 TiB)
[    3.122176] sd 5:0:0:0: [sdc] Write Protect is off
[    3.122183] sd 5:0:0:0: [sdc] Mode Sense: 00 3a 00 00
[    3.122235] sd 5:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

Оба диска подключаются напрямую к материнской плате; нет никакого внешнего контроллера.

Я сделал импульсивно:

# zpool online akita ST4000NM0033-Z1Z333ZA

который, похоже, сработал; Z1Z333ZA теперь как минимум ONLINE и восстановление серебра. Примерно через час после повторного восстановления он просканировал 180G и повторно обновил 24G с выполнением 9,77%, что указывает на то, что он не выполняет полный перенос данных, а только передает дельту набора данных.

Честно говоря, я не уверен, связана ли эта проблема с ZFS в Linux или с udev (он немного пахнет udev, но тогда почему один диск обнаруживается нормально, а другой нет), но мой вопрос как сделать так, чтобы то же самое не повторилось при следующей перезагрузке?

Я буду рад предоставить дополнительные данные по настройке, если это необходимо; просто дайте мне знать, что нужно.