На серверах IBM P5 505 (уровень обслуживания 5300-07) есть внешнее хранилище с одновременным доступом, которое подключается через внешний порт Ultra320 SCSI (DAS). Внешнее хранилище определяется как hdisk2, который принадлежит группе томов dbvg. Группа томов dbvg используется в качестве хранилища для решения Oracle RAC 10gR2. Вот информация о группе томов dbvg:
[admin@node1 ~]$ lsvg dbvg
VOLUME GROUP: dbvg VG IDENTIFIER: 0004523a0000d3000..
VG STATE: active PP SIZE: 128 megabyte(s)
VG PERMISSION: read/write TOTAL PPs: 3725 (476800 mega..
MAX LVs: 256 FREE PPs: 0 (0 megabytes)
LVs: 111 USED PPs: 3725 (476800 mega..
OPEN LVs: 64 QUORUM: 1 (Disabled)
TOTAL PVs: 1 VG DESCRIPTORS: 2
STALE PVs: 0 STALE PPs: 0
ACTIVE PVs: 1 AUTO ON: no
Concurrent: Enhanced-Capable Auto-Concurrent: Disabled
VG Mode: Non-Concurrent
MAX PPs per VG: 32768 MAX PVs: 1024
LTG size (Dynamic): 256 kilobyte(s) AUTO SYNC: no
HOT SPARE: no BB POLICY: relocatable
[admin@node1 ~]$
Если перечислить логические тома (а это 111, поэтому я покажу здесь только несколько), мы увидим все, которые находятся на одном физическом томе:
[admin@node1 ~]$ lsvg -l dbvg
dbvg:
LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINT
...
sysaux jfs2 8 8 1 open/syncd N/A
system jfs2 8 8 1 open/syncd N/A
ocr1 jfs2 2 2 1 open/syncd N/A
ocr2 jfs2 2 2 1 open/syncd N/A
vote1 jfs2 1 1 1 open/syncd N/A
vote2 jfs2 1 1 1 open/syncd N/A
vote3 jfs2 1 1 1 open/syncd N/A
sub_1 jfs2 41 41 1 open/syncd N/A
etc_1 jfs2 41 41 1 open/syncd N/A
...
[admin@node1 ~]$
В настоящее время рабочая схема подключения выглядит следующим образом:
|---------------------------------DIAGRAM #1-----------------------------------|
|----------------Currently used external storage connection diagram------------|
┌───────┬────────────┐ ┌───────┬────────────┐
│#node1 │ IBM P5 505 │ │#node2 │ IBM P5 505 │
├───────┴────────────┤ ├───────┴────────────┤
│ VG rootvg │ │ VG rootvg │
│ │ │ │
│ VG dbvg │ │ VG dbvg │
│ │ ┌────────────────┤ ├────────────────┐ │ │
│ └─┤ PV hdisk2 │ │ PV hdisk2 ├─┘ │
│ │ ultra320 SCSI │<───(scsi)──────┐ ┌──────(scsi)───>│ ultra320 SCSI │ │
│ └────────────────┤ │ │ ├────────────────┘ │
└────────────────────┘ │ │ └────────────────────┘
│ │
┌─────────────────────────────┐ │ │
│ SCSI-to-SATA │ in ch A │<──────┘ │
│ JBOD enclosure ├──────────┤ │
│ │ in ch B │<─────────┘
│ Single RAID ├──────────┤
│ controller │ out ch A │<──(terminator)
│ ├──────────┤
│ │ out ch B │<──(terminator)
└──────────────────┴──────────┘
|-----------------------------END OF-DIAGRAM #1--------------------------------|
Однако проблема в том, что внешнее хранилище уязвимо из-за того, что у него есть один RAID-контроллер, и в случае его отказа внешнее хранилище станет недоступным, даже жесткие диски будут в порядке внутри.
Чтобы решить эту проблему, планируется добавить дополнительный физический том (с помощью адаптера iSCSI) в группу томов. dbvg и зеркальное отображение логических томов на двух физических томах. Это должно дать что-то вроде:
[admin@node1 ~]$ lsvg -p dbvg
dbvg:
PV_NAME PV STATE TOTAL PPs FREE PPs FREE DISTRIBUTION
hdisk2 active 3725 0 00..00..00..00..00
hdisk3 active 3725 0 00..00..00..00..00
[admin@node1 ~]$
И после выполнения mklvcopy <LV_name> <copy_number> <destination__PV> для всех логических томов мы должны увидеть что-то вроде:
[admin@node1 ~]$ lsvg -l dbvg
dbvg:
LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINT
...
sysaux jfs2 8 16 2 open/syncd N/A
system jfs2 8 16 2 open/syncd N/A
ocr1 jfs2 2 4 2 open/syncd N/A
ocr2 jfs2 2 4 2 open/syncd N/A
vote1 jfs2 1 2 2 open/syncd N/A
vote2 jfs2 1 2 2 open/syncd N/A
vote3 jfs2 1 2 2 open/syncd N/A
sub_1 jfs2 41 82 2 open/syncd N/A
etc_1 jfs2 41 82 2 open/syncd N/A
...
[admin@node1 ~]$
В такой ситуации группа томов dbvg будет зеркалирована на физических томах SCSI и iSCSI, и, таким образом, будет достигнута отказоустойчивость. Плановая диаграмма будет тогда:
|---------------------------------DIAGRAM #2-----------------------------------|
|----------------Planned external storage mirror on SCSI + iSCSI---------------|
┌───────┬────────────┐ ┌───────┬────────────┐
│#node1 │ IBM P5 505 │ │#node2 │ IBM P5 505 │
├───────┴────────────┤ ├───────┴────────────┤
│ VG rootvg │ │ VG rootvg │
│ │ │ │
│ VG dbvg │ │ VG dbvg │
│ │ ┌────────────────┤ ├────────────────┐ │ │
│ ├─┤ PV hdisk2 │ │ PV hdisk2 ├─┤ │
│ │ │ ultra320 SCSI │<───(scsi)────┐ ┌────────(scsi)───>│ ultra320 SCSI│ │ │
│ │ └────────────────┤ │ │ ├────────────────┘ │ │
│ │ ┌────────────────┤ │ │ ├────────────────┐ │ │
│ └─┤ PV hdisk3 │ │ │ │ PV hdisk3 ├─┘ │
│ │ iSCSI adapter │<───(eth)────────────┐ ┌──(eth)───>│ iSCSI adapter │ │
│ └────────────────┤ │ │ │ │ ├────────────────┘ │
└────────────────────┘ │ │ │ │ └────────────────────┘
│ │ │ │
┌─────────────────────────────┐ │ │ │ │
│ SCSI-to-SATA │ in ch A │<────┘ │ │ │
│ JBOD enclosure ├──────────┤ │ │ │
│ │ in ch B │<───────┘ │ │
│ Single RAID ├──────────┤ │ │
│ controller │ out ch A │<──(term) │ │
│ ├──────────┤ │ │
│ │ out ch B │<──(term) │ │
└──────────────────┴──────────┘ │ │
│ │
┌─────────────────────────────┐ │ │
│ SAN / iSCSI storage │<───────────┘ │
│ │ │
│ │<──────────────┘
└─────────────────────────────┘
|-----------------------------END OF-DIAGRAM #2--------------------------------|
Итак, вопрос в том, нормально ли с точки зрения ОС AIX и оборудования IBM иметь физические тома SCSI и iSCSI в одной группе томов и иметь на них зеркалирование?