Я ищу способ создать внешнюю резервную копию около 8 ТБ данных. В настоящее время я разбил данные на файловые системы 2–4 ТБ, и я использую ShadowProtect для резервного копирования данных с сервера SBS 2003 на сервер резервного копирования Windows 2003, используя еженедельное полное резервное копирование и ночные инкрементальные копии.
Я не очень доволен этим решением по ряду причин.
Что я ищу, если возможно, так это иметь локальный сервер резервного копирования для хранения множества снимков без хранения повторяющихся данных, таких как faubackup вроде умеет. Также я хотел бы иметь возможность охватывать резервные копии, которые делаются на множестве внешних дисков, без дублирования данных, потому что файловые системы больше, чем я могу поместиться на одном диске.
Поправьте меня, если я ошибаюсь, но насколько я могу судить, это немного невозможная ситуация, когда новые данные охватывают большее количество файловых систем, чем использует сам faubackup, из-за использования жестких ссылок.
Я также думал об использовании openfiler для достижения тех же целей, но пока не придумал способа.
Как другие люди справляются с удаленным резервным копированием таких больших объемов данных.
редактировать:
Для получения дополнительной справочной информации мы являемся относительно небольшой (около 15 сотрудников) геологической компанией, где мы в основном берем огромные наборы данных и делаем их удобочитаемыми. Проекты часто собираются до сотен концертов. Несмотря на важность внешнего резервного копирования, у меня будут проблемы с получением денег, необходимых для покупки ленточного автозагрузчика, который будет обрабатывать те данные, которые мы ищем. Я пробовал, и мне в основном сказали, что должен быть другой способ, и я должен его найти.
У нас есть два сервера. Сервер SBS2003 и сервер Windows 2003 R2, который используется в качестве резервного сервера. Обе машины имеют массив RAID6 объемом 20 ТБ, в котором хранятся наши данные. В любой день, как и в обычные вещи, во многие очень большие файлы будут внесены незначительные изменения.
Именно поэтому большинство компаний делают резервные копии на ленту (более дешевый носитель, чем диски, высокая скорость потоковой записи), а затем физически перемещают ленты за пределы площадки.
Вы можете попросить ИТ-специалиста доставить кассеты домой, или же к вам на предприятие придут компании по архивированию данных, которые заберут кассеты и сохранят их на своем безопасном предприятии. Восстановление так же просто, как позвонить в компанию, чтобы принести ленту, загрузить ее и получить доступ к вашим данным.
Интернет хорош для многих вещей, но перемещение терабайт данных не входит в их число. См. Статью Джеффа на Экономика полосы пропускания который ссылается на превосходный технический документ Microsoft Research Джима Грея TeraScale SneakerNet (.DOC)
Вам нужна система хранения с дедупликацией данных: http://en.wikipedia.org/wiki/Data_deduplication
Это не избавит вас от необходимости каким-либо образом переносить данные с сайта, но определенно поможет уменьшить объем пространства, необходимого для ваших горячих / живых резервных копий.
У нас есть ~ 1 ТБ данных, и мы выполняем резервное копирование всего каждую ночь с помощью пользовательских сценариев rsync. Хорошая вещь в rsync заключается в том, что он копирует только измененные байты (а не весь измененный файл) ... плюс он сжимает данные перед передачей.
В нашей старой системе нам приходилось возить ленты и диски домой, поскольку каждый день изменялось около 200 ГБ файлов. Но с помощью rsync передаются только 1 ГБ измененных данных в этих файлах и сжимаются до ~ 200 МБ. В результате мы можем сделать резервную копию всего на удаленном сайте через T1 за несколько минут (и менее чем за час в день очень тяжелого обслуживания). Сценарии также используют жесткие ссылки Linux для поддержки 30 дней полных архивов (не инкрементальных), используя только 2-4 ТБ (до сжатия) пространства. Таким образом, мы можем восстанавливать архивные данные за секунды, сохраняя при этом внешнее хранилище.
К счастью, объем дискового пространства не отставал от роста нашей компании ... Я думаю, что наше полное решение в обоих местах стоило ~ 1000 долларов.
вы можете захотеть изучить backuppc, он должен работать в Linux, но он хранит файлы с использованием жестких ссылок, поэтому, если файл не изменился с момента последнего inc / full, он просто жестко ссылается на него (так что количество места для хранения 4x полные резервные копии намного меньше, чем другие системы резервного копирования) Он может создавать резервные копии машин с Windows через samba и, очевидно, также создает резервные копии linux / unix / macs
У нас есть реплика SAN в другом центре обработки данных, из которой мы делаем снимки и резервные копии.
Поскольку ваши данные легко разделить на более управляемые дискретные единицы (проект, работа или как вы это хотите называть), почему бы просто не сделать копию на недорогой USB-накопитель и где-нибудь сохранить? Вы можете получить диски емкостью 3 ТБ менее чем за 200 долларов США, а диски меньшего размера - значительно дешевле.