В компании, в которой я работаю, есть NAS-сервер, который используется для хранения фотосессий. Каждый сеанс составляет примерно 100 ГБ. За последние пару лет на этом сервере накопилось более 10 ТБ данных, и мы увеличиваем количество фотосессий в геометрической прогрессии. По моим оценкам, к концу следующего года на этом NAS будет храниться 20+ ТБ. В настоящее время мы выполняем резервное копирование этого сервера на ленту с помощью лент LTO-5 с Symantec BackupExec. Поскольку размер этого сервера увеличился, полное резервное копирование этого сервера не выполняется в одночасье. Есть ли у кого-нибудь предложения о том, как сделать резервную копию этого количества данных? Должны ли мы делать резервную копию на ленту? Есть ли другие варианты, которые могут быть лучше?
Вам нужно сделать шаг назад и перестать думать: «У меня на NAS 20 ТБ, мне нужно сделать резервную копию!» и разработайте стратегию хранения, учитывающую характер ваших данных:
В зависимости от ответов на последние два вопроса вам, вероятно, понадобится больше Система архивирования чем радикально иная система резервного копирования.
Статические данные (например, изображения двухлетней давности, которые вы сохраняете «на всякий случай») не нужно архивировать каждую ночь или даже каждую неделю, их нужно архивировать. То, что вы на самом деле делаете, может быть более сложным, но концептуально все старые изображения можно записать на ленту (несколько копий!) И больше не создавать резервные копии.
Основываясь на ваших комментариях, некоторые дополнительные мысли:
Поскольку вы сохраняете оригиналы каждого снимка нетронутыми и работаете над копией, и предполагая, что по крайней мере некоторые из исходных снимков являются бесполезными, вы можете сократить вдвое объем данных, которые необходимо скопировать.
Если вы по-прежнему не можете завершить полное резервное копирование в течение имеющегося у вас периода времени, распространенный способ ускорить процесс - сначала выполнить резервное копирование с диска на диск, а затем скопировать набор резервных копий на ленту.
У вас есть два варианта:
Купите другой NAS
Бегать rsync каждый час: old_NAS -> new_NAS
или лучше использовать что-нибудь вроде rdiff-резервное копирование который делает rsync + сохраняет дельты с изменениями файлов (вы можете восстановить более старые версии файлов)
rdiff-backup user1@old_NAS::/source-dir user2@new_NAS::/dest-dir
Каждые 6 месяцев очищайте старые файлы, выполняя что-то вроде:
rdiff-backup --remove-older-than 2Y old_NAS::/dest-dir
Почему ваши резервные копии должны завершаться в одночасье? Производительность файлового сервера? Возможно, вы сможете ограничить пропускную способность программного обеспечения резервного копирования, чтобы ограничить влияние в течение дня. Или выделите интерфейс на вашем NAS для связи с ленточным накопителем, чтобы ограничить влияние на другой трафик.
Можно ли запускать полные дампы по выходным, а в течение недели - только инкрементальные? Если проблема заключается в замене лент на выходных, когда никого нет рядом, дешевая ленточная библиотека / автоматический чейнджер стоит намного меньше, чем платить кому-то за смену лент.
Можете ли вы сегментировать данные на несколько групп, которые достаточно малы, чтобы их можно было заполнить в пределах окна резервного копирования?
У нас есть около 50 ТБ данных на нашем NAS, и требуется более недели, чтобы получить полный дамп всего этого с помощью 2 ленточных накопителей (один том занимает около недели, потому что он содержит много крошечных файлов). Что мы делаем, так это реплицируем наши данные на второй NAS. Наш вторичный NAS находится на месте (но в другом центре обработки данных, чем основной), поэтому мы по-прежнему сохраняем данные на ленте для резервного копирования за пределами площадки. Мы выполняем резервное копирование с этого вторичного NAS, поэтому резервное копирование никого не замедляет.
Если вы можете разместить свой вторичный NAS на достаточно большом расстоянии, это может быть ваша резервная копия, ленты не нужны.
Я просто сомневаюсь в размере каждой сессии съёмки, неужели это 100гб / сессия? Сколько занятий ваша компания проводит в месяц?
Поскольку вы в основном храните старые сеансы, которые не будут использоваться часто и т. Д., И, вероятно, вам не нужно восстанавливать эту информацию так часто, я бы посоветовал вам воспользоваться услугами какой-то компании, чтобы решить эту задачу за вас. .
Например, хранение этих 20 ТБ с помощью онлайн-сервиса, такого как Amazon Glacier, будет стоить чуть больше 200 долларов в месяц. Если вам нужно часто извлекать эти архивы или даже восстанавливать их полностью, это может привести к временным / финансовым ограничениям. Если вы просто храните эти вещи «на всякий случай», возможно, использование третьей части может упростить вашу жизнь (и даже дешевле, чем покупка другого NAS, лент и т. Д.)
full backups of this server are not completing overnight
Тогда попробовать инкрементное резервное копирование? Одна полная резервная копия каждые xx дней, остальное - инкрементная.
Жесткие диски недороги, быстрее магнитных лент и могут использоваться для резервного копирования.
Также сейчас есть хорошие альтернативы облачному резервному копированию, поэтому нет необходимости постоянно добавлять новые и более быстрые ленты.
Например:
Я думаю, что лучшим решением для этого является то, что мы делаем с нашими данными о заработной плате, и вам потребуется минимальные усилия для его реализации.
Первоначально он хранится вместе с остальными данными сервера, резервные копии которых создаются ежедневно. Срок хранения этих резервных копий составляет 13 месяцев.
Как только мы больше не ожидаем, что данные нужно будет изменять (два платежных периода спустя, IIRC), данные (через скрипт) сохраняются в том архиве, который исключается из обычных резервных копий.
Резервное копирование архивного тома на магнитную ленту производится ежегодно, и ленты отправляются в Cintas на неопределенное время.
Это позволяет нам иметь простой онлайн-доступ к этим неизменным данным (поэтому нам не нужно вызывать ленту каждый раз, когда бухгалтер хочет что-то посмотреть), в то же время поддерживая неопределенные внешние архивы данных, которые нам, возможно, понадобятся навсегда , и не разрушая нашу систему резервного копирования. Похоже, такой же тип настройки может подойти вам, хотя вы можете настроить объем данных, которые вы храните в сети, в зависимости от ваших потребностей в своевременном доступе к этим данным - 20 ТБ хранилища корпоративного уровня намного дороже чем архивировать его на два или три набора лент LTO5, которые вы храните в удаленных хранилищах.
Может ты сможешь построить свой собственный Стручок Backblaze: 135 Тб для 7384 $
Для получения дополнительной информации нажмите здесь: Информация о здании Backblaze Pod
Вы можете купить необходимые детали и собрать их самостоятельно.
Может быть, вы сможете построить 3 из них и оставить 2 на месте и 1 за его пределами. Затем вы можете использовать один модуль в качестве «оперативных данных», второй модуль на месте в качестве резервной копии первого модуля, а третий модуль вне площадки в качестве аварийной резервной копии за пределами площадки.
Имея 135 ТБ хранилища для каждого модуля, вы даже можете подумать о том, чтобы сохранить историю изменений ...
135Тб / 20Тб = 19 полных резервных копий.
Как вариант, вы можете сохранить 10 полных резервных копий плюс невероятное количество дифференциальных резервных копий.
Естественно, если вам нужна резервная копия вне офиса, вам понадобится большая пропускная способность ... :-)
Мой коллега приобрел NAS Synology с 8 дисками. Он запускает гибридный RAID. Несколько недель назад он купил восемь Seagate Barracuda емкостью 3 ТБ в NewEgg по 89 долларов каждая. Вы можете выполнить зеркалирование с помощью rsync с производственного NAS на этот новый NAS через GigaBit. Так как вы переносите только разницы, перенос займет меньше времени. Затем вы можете использовать резервное хранилище NAS для выполнения полного или инкрементального. Стоимость резервного NAS для вас будет меньше 2000 долларов.