Я просмотрел все предыдущие похожие вопросы, но ответы, казалось, были повсюду, и никто не двигал много данных (100 ГБ отличается от 10 ТБ).
У меня есть около 10 ТБ, которые мне нужно переместить с одного RAID-массива на другой, гигабитный Ethernet, бесплатная энциклопедия, XFS файловые системы. Меня больше всего беспокоит то, что передача умирает на полпути, и что я не могу легко возобновить ее. Скорость - это неплохо, но гораздо важнее обеспечить передачу.
Обычно я бы просто использовал tar и netcat, но RAID-массив, с которого я перехожу, в последнее время был очень нестабильным, и мне нужно иметь возможность восстановить и возобновить работу, если он упадет в середине процесса. Я должен смотреть на rsync?
Посмотрев на это немного подробнее, я думаю, что rsync может быть слишком медленным, и я бы хотел, чтобы это не заняло 30 дней или больше. Итак, теперь я ищу предложения о том, как отслеживать / возобновлять передачу с помощью netcat.
да, rsync
Помимо чудаков, недавно появились асинхронные функции DRBD.
Мне приходилось выполнять такую задачу несколько месяцев назад. Я использовал параллельный rsync, чтобы ускорить процесс. Он разбивает файлы для передачи / синхронизации на куски, и его можно возобновить в любое время. См. Ссылку ниже для параллельного сценария rsync.
Никогда не недооценивайте пропускную способность универсала, набитого кассетами. 10 ТБ было бы возможно с относительно дешевым оборудованием NAS потребительского уровня, если бы вы могли разделить его на (скажем, 2 ТБ) куски. Если это одноразовый заказ, то можно будет использовать полуавтоматический процесс, а NAS на 2 ТБ стоит всего несколько сотен долларов.
Если вам нужен постоянный процесс, вы можете настроить RSYNC после выполнения первоначальной передачи.
Вы можете попробовать настроить FTP-сервер на сервере с копируемыми данными и использовать FTP-клиент с «возобновлением» на принимающей стороне. Я использую сервер и клиент Filezilla, и я довольно часто использую функцию «резюме» клиента, и она всегда работала без сбоев.