Мне нужно надежное решение для резервного копирования. Я использовал tar с pigz, но опасаюсь повреждения tar.gz и потери данных. Проекты имеют размер от 4 ТБ до 25 ТБ данных для каждой папки проекта. Мы говорим о данных от 240 ТБ до 400 ТБ с входящими проектами ... Я также отвечаю за настройку нескольких файловых серверов с HW и SW raid и SSD-кешами. И это начинает пугать :).
У меня есть несколько идей, но мне нужна ваша помощь, совет и критическая оценка этих идей. Или вы можете просто дать мне другой способ решить эту проблему. Спасибо, что дочитали до сих пор, и за ваш вклад заранее.
Идеи:
Сначала я получу список файлов с размерами du -a, а затем вычислю, чтобы разбить их на блоки по 4 ГБ. Затем я заполняю эти списки файлов несколькими процессами, используя gzip (или pigz? Или lzma?). Я надеюсь, что я не потеряю более 4 ГБ из-за повреждения tar.gz. Затем я скрою все файлы один за другим, а также файлы tar.gz и дам их для сравнения в будущем, чтобы проверить наличие повреждений.
Мне нужно синхронизировать 2 рабочих рейд-сервера. Надеюсь, rsync справится с тем, чтобы каждую ночь серверы производили 1 ТБ данных в день максимум ... Активный рабочий сервер имеет аппаратный рейд 1 с 3-мя мегапиксельными устройствами Raid 2108 3 * 8 тома Raid 1, а затем с помощью mdadm raid 0 я разделю их так, чтобы Я получаю raid 10, затем добавляю кеши SDD mdadm raid 0 с bcache поверх них. Будет ли эта система поддерживать горячую замену с помощью устройств megasas raid 2108? Второй сервер был бы версией raid 60 того же 3 x raid 0 (8 disk Raid6) без кеша ...
SV-1 (Скорость): bcache ((3 x (8 x 10 ТБ мегас 2108 Raid1) mdadm Raid0) + (2 x 512 ГБ SSD mdadm Raid0))
SV-2 (Space): 3 x (8x10 ТБ мегас 2108 Raid6) mdadm Raid0
Я смоделировал несколько сценариев на vmware и qemu - запись на один из raid-дисков для повреждения данных, удаление / перемещение файла на диске (немедленное извлечение). Пока это не выглядит удачным с точки зрения успешного восстановления - восстановления. Я надеюсь, что рейд-карта будет иметь значение. Буду примерять на реальной машине ...
Итак, у меня есть этот беспорядок, если честно, он мне действительно нравится. Не могли бы вы помочь мне немного снять напряжение. Поскольку я много читал, некоторые говорят, что какая-то версия gzip содержит ошибки. Другие говорят, что xz - это не формат сжатия, а формат контейнера, и он не придерживается философии UNIX, заключающейся в том, чтобы делать что-то хорошее. Некоторые говорят, что рейды не являются резервным копированием (я согласен) и могут быть тихие битовые повреждения. Некоторые говорят, что raid не может восстановить себя, если вы не помечаете некоторые диски в горячем резерве.
Это очень серьезные статьи, а некоторые из них даже академические ... Среди них также есть страницы переполнения стека и ошибок сервера.
Дело в том, что данные для нас очень важны.
Gzip сам по себе очень стабилен, но это просто сжатие, и оно не будет делать резервные копии в одиночку.
А tar - это просто программа для архивирования. Он просто не делает всего того, что требуется для резервного копирования в современной среде.
Возможно, вы захотите проверить программное обеспечение, специально разработанное для резервного копирования, которое обеспечит такие вещи, как согласованность данных и другие.