Я использую BackupPC для резервного копирования некоторых рабочих станций в офисе. В частности, одна рабочая станция имеет значительный объем данных по сравнению с остальными, однако в целом он не такой большой (речь идет о 250 ГБ реальных данных).
BackupPC кажется, что на поддержание этой системы уйдет вечность (несколько дней, то есть более 72 часов). Резервное копирование всех рабочих станций выполняется через rsync над autofs локальное монтирование по сети.
В принципе, autofs монтирует administrative C share на рабочей станции, затем BackupPC рассматривает его как локальный каталог, cdв automount directory, и rsyncвот все данные.
В целом он медленный, и я обычно приписывал это BackupPC box является медленным оборудованием, но эта производительность более или менее приемлема на всех рабочих станциях, кроме этой с большим объемом данных.
rsync flags:
/usr/bin/rsync --numeric-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive
Это аргументы по умолчанию, которые BackupPC настраивается с помощью.
Я читал в Интернете кое-что, что указывало atime на креплениях может замедлять работу - поэтому я изменил autofs config для монтирования каталогов с noatime флаг ... без разницы.
Я читал кое-что, что указывало rsync может быть виноват из-за того, как он проверяет файлы ... и предложил переключиться на tar вместо. Я так и сделал ... но без разницы.
tar flags:
tarPath="/bin/gtar"
env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals
# where $shareName is the autofs mounted directory
Это аргументы по умолчанию, с которыми настраивается BackupPC.
Без изменений.
Мониторинг BackupPC сетевая активность коробки с iftop, похоже, что на какое-то время он будет увеличиваться (иногда до 90 Мбит / с), но затем снова упадет до Кбит / с или даже иногда до диапазона бит / с. Пока он в медленном режиме, top показывает активность с командой BackupPC_dump это задание резервного копирования ... так что оно работает и не застревает.
Текущее резервное копирование работает уже более 24 часов, но, согласно данным, было передано только 75,9 ГБ. iftop.
Возможно, будет быстрее запустить rsync непосредственно на сервере. У вас есть около миллиона файлов для доступа по сети. Есть пара минимальных установок rsync что вы можете бежать. Я настроил BackupPC в Windows сюда. Вы можете запустить полную установку Cygwin или минимальную cygwin-rsycnd установка доступна в проекте BackupPC.
Вы должны проверить все на обеих сторонах вашей конфигурации backuppc. Сначала проверьте сервер и попытайтесь увеличить его производительность, но если у вас есть другие машины, которые работают лучше, давайте пропустим этот.
Далее проверьте сеть! Скорость сети определяется рабочим столом, размером упаковки, качеством кабеля. выполните несколько тестов, выполните тест rsync (rsync-rsyncd) для большого файла. Тестируйте с другого рабочего стола и на другой рабочий стол. Вы должны увидеть, есть ли у вас там проблемы или нет.
Наконец-то рабочий стол. CIFS на машине может быть не в лучшей форме, и, как я уже сказал выше, rsync из сетевой файловой системы будет загружать каждый файл по сети снова и снова, поскольку rsync вещи, файловая система является локальной и проверяет md5 файла. .. но файл должен быть получен по сети, просто сделайте эту проверку. Итак, как указывает BillThor, один rsyncd на рабочем столе будет намного эффективнее. Кроме того, кеширование контрольной суммы поможет серверу backuppc не проверять файлы, что снизит его нагрузку. Выполните дефрагментацию рабочего стола и удалите (или исключите) любые ненужные файлы (в Windows много бесполезных файлов повсюду).
Наконец, количество файлов ... многие файлы, для которых любое резервное копирование по сети занимает много времени, поэтому поиграйте с ним ... вместо одной большой резервной копии разбейте ее на более мелкие части. некоторые файлы изменяются больше, чем другие, поэтому каталоги группируются по вероятности изменения. Вместо одной большой резервной копии каждые x дней создавайте 3 резервные копии, одну через X дней, другую через 2 дня и менее обновляемые файлы, скажем, 3 дня. таким образом вам не придется постоянно анализировать каждый файл. Если у вас есть «архивные» файлы, подумайте о сжатии. Даже если он не сжимается (тогда используйте zip store), он превратится в 10.000 всего за 1 ... большое сохранение во время резервного копирования.
если вы не можете этого сделать, вы можете подумать об изменении метода резервного копирования. на огромной машине с множеством файлов, которые я использовал снимок диска чтобы сделать HD-изображение, а затем сделать периодический инкрементный снимок. Может показаться излишним, но эта программа быстро выполняет инкрементную работу на уровне блоков и обходит проблему множества файлов. Для меня это уменьшило резервную копию файловой системы с 48 часов до уровня блока резервных копий 3 часа. Не такой гибкий, как backuppc, но работает. только не забывайте, что когда вы выполняете дефрагментацию, вы должны снова сделать полную резервную копию, иначе инкрементная копия будет такой же большой, как и полная. :)
чек этот сообщение в блоге о том, как сделать резервную копию из Windows (с бонусом за теневое копирование). прочтите все комментарии, так как я добавляю туда много важной информации и обновлений.