Мы запускаем многослойную установку DRBD с четырьмя узлами следующим образом:
A --> B
| |
v v
C D
Это означает, что на этих четырех серверах работают три ресурса DRBD. Серверы A и B - это хосты Xen с виртуальными машинами, а серверы C и D - для резервного копирования. A находится в том же центре обработки данных, что и C.
Первый вопрос: загрузка накопленного ресурса
У нас еще нет важных данных об этой настройке - мы все еще проверяем ее работоспособность. Это означает моделирование перебоев в подаче электроэнергии, сбоев в сети и т. Д. И определение шагов, необходимых для восстановления.
Когда мы отключаем питание сервера A, оба ресурса выключаются; он пытается восстановить их при следующей загрузке. Однако ему удается активировать только ресурс нижнего уровня, A-> C. Сложенный ресурс A-> B даже не пытается подключиться, предположительно потому, что он не может найти устройство, пока оно не подключится к первичному устройству на нижнем уровне.
Поэтому, если что-то пойдет не так, нам нужно вручную войти в систему и запустить этот ресурс, а затем запустить виртуальную машину поверх него.
Второй вопрос: установка первичного элемента сложенного ресурса
Наши ресурсы нижнего уровня настроены так, что правый считается основным:
resource test-AC {
on A { ... }
on C { ... }
startup {
become-primary-on A;
}
}
Но я не вижу способа сделать то же самое со стековым ресурсом, так как следующая конфигурация недопустима:
resource test-AB {
stacked-on-top-of test-AC { ... }
stacked-on-top-of test-BD { ... }
startup {
become-primary-on test-AC;
}
}
Это также означает, что восстановление после сбоя требует ручного вмешательства. Нет ли возможности установить автоматический первичный элемент для сложенного ресурса?
Поскольку ответов здесь или где-либо еще нет, я обошел первый вопрос, создав копию сценария выполнения DRBD для объединенных ресурсов. Он такой же, как оригинал, но со всеми drbdadm команды превратились в drbdadm -S для штабелирования. Я назвал это drbd-stacked и установите его для запуска после оригинала.
Чтобы обойти вторую проблему, я добавил в основной раздел сценария выполнения, чтобы он читал список ресурсов из файла. /etc/drbd.d/primary, и позвонить drbdadm -S primary на каждом.
Несмотря на успех, я считаю, что оба из них - обходные пути, а не правильные решения. Я бы хотел увидеть лучший ответ. Вот сценарий выполнения, /etc/init.d/drbd-stacked:
#!/sbin/runscript
# Copyright 1999-2007 Gentoo Foundation
# Distributed under the terms of the GNU General Public License, v2 or later
# $Header: /var/cvsroot/gentoo-x86/sys-cluster/drbd/files/drbd-8.0.rc,v 1.6 2010/08/02 04:42:36 xarthisius Exp $
opts="${opts} reload"
depend() {
use logger
need net drbd
before heartbeat xendomains
after sshd drbd
}
DEFAULTFILE="/etc/conf.d/drbd"
PRIMARYFILE="/etc/drbd.d/primary"
DRBDADM="/sbin/drbdadm"
PROC_DRBD="/proc/drbd"
MODPROBE="/sbin/modprobe"
RMMOD="/sbin/rmmod"
UDEV_TIMEOUT=10
ADD_MOD_PARAM=""
if [ -f $DEFAULTFILE ]; then
. $DEFAULTFILE
fi
# Just in case drbdadm want to display any errors in the configuration
# file, or we need to ask the user about registering this installation
# at http://usage.drbd.org, we call drbdadm here without any IO
# redirection.
$DRBDADM sh-nop
function assure_module_is_loaded() {
[ -e "$PROC_DRBD" ] && return
ebegin "Loading drbd module"
ret=0
$MODPROBE -s drbd `$DRBDADM sh-mod-parms` $ADD_MOD_PARAM || ret=20
eend $ret
return $ret
}
function adjust_with_progress() {
IFS_O=$IFS
NEWLINE='
'
IFS=$NEWLINE
local D=0
local S=0
local N=0
einfon "Setting drbd parameters "
COMMANDS=`$DRBDADM -d -S adjust all` || {
eend 20 "Error executing drbdadm"
return 20
}
echo -n "[ "
for CMD in $COMMANDS; do
if echo $CMD | grep -q disk; then echo -n "d$D "; D=$(( D+1 ));
elif echo $CMD | grep -q syncer; then echo -n "s$S "; S=$(( S+1 ));
elif echo $CMD | grep -q net; then echo -n "n$N "; N=$(( N+1 ));
else echo echo -n ".. ";
fi
IFS=$IFS_O
$CMD || {
echo
eend 20 "cmd $CMD failed!"
return 20
}
IFS=$NEWLINE
done
echo "]"
eend 0
IFS=$IFS_O
}
function primary_from_config_file() {
while read line; do
if [[ $line != \#* ]]; then
drbdadm -S primary $line
fi
done < $PRIMARYFILE
}
start() {
einfo "Starting DRBD stacked resources:"
eindent
assure_module_is_loaded || return $?
adjust_with_progress || return $?
# make sure udev has time to create the device files
ebegin "Waiting for udev device creation ..."
for RESOURCE in `$DRBDADM sh-resources`; do
for DEVICE in `$DRBDADM sh-dev $RESOURCE`; do
UDEV_TIMEOUT_LOCAL=$UDEV_TIMEOUT
while [ ! -e $DEVICE ] && [ $UDEV_TIMEOUT_LOCAL -gt 0 ] ; do
sleep 1
UDEV_TIMEOUT_LOCAL=$(( $UDEV_TIMEOUT_LOCAL-1 ))
done
done
done
eend 0
einfon "Waiting for connection "
$DRBDADM -S wait-con-int
ret=$?
echo
sleep 5
einfon "Become primary if configured "
$DRBDADM -S sh-b-pri all
primary_from_config_file
echo
eend $ret
return $ret
}
stop() {
ebegin "Stopping all DRBD stacked resources"
# Check for mounted drbd devices
if ! grep -q '^/dev/drbd' /proc/mounts &>/dev/null; then
if [ -e ${PROC_DRBD} ]; then
${DRBDADM} -S down all
sleep 3
# if grep -q '^drbd' /proc/modules ; then
# ${RMMOD} drbd
# fi
fi
ret=$?
eend $ret
return $ret
else
einfo "drbd devices mounted, please umount them before trying to stop drbd!"
eend 1
return 1
fi
}
status() {
# NEEDS to be heartbeat friendly...
# so: put some "OK" in the output.
if [ -e $PROC_DRBD ]; then
ret=0
ebegin "drbd driver loaded OK; device status:"
eend $ret
cat $PROC_DRBD
else
ebegin "drbd not loaded"
ret=3
eend $ret
fi
return $ret
}
reload() {
ebegin "Reloading DRBD stacked resources"
${DRBDADM} -S adjust all
ret=$?
eend $ret
return $ret
}
А вот и конфигурационный файл /etc/drbd.d/primary:
# A list of DRBD resources that should be made primary on boot.
# Each line is the name of one resource. Be cafeful of the difference
# between low-level and stacked resources; this file should typically
# contain the stacked resource.
# You should include a resource if this server is running its virtual machine
my-resource-name
@ Даунинг: Ваш ответ - тот, который я дам вам, если вы не хотите использовать кластеризацию.
Но я бы рекомендовал объединить вашу настройку с кластером (например, сердцебиение). В этой настройке вы должны позволить кластеру решить, какая сторона должна быть основной (обычно это основная кластерная нода).
Это оставляет проблему запуска стековых ресурсов - я никогда не использовал их, но, возможно, оператор group в drbd.conf может также сериализовать запуск устройств. Но, возможно, достаточно поместить сложенные в стек drbd-ресурсы в конец файла (и сделать их первичными средствами кластера после того, как кластер запустит исходные первичные компоненты).
И еще одно: я бы использовал протокол C вместо B. C. Должен быть быстрее.