Мне нужно переместить несколько терабайт информации из одной системы NFS (система NFS находится в AWS) в amazon EFS, но мне нужно переместить эти данные как можно быстрее. Я пробовал rsync, но это занимает слишком много времени, и я также пробовал использовать параллельный интерфейс с rsync, но он не дал мне нужных результатов.
Данные состоят из нескольких каталогов с множеством небольших файлов.
Существуют ли какие-либо проверенные и проверенные способы очень быстрого перемещения данных, при этом следя за тем, чтобы они не были повреждены при получении (например, rsync)?
Sneakernet по-прежнему является самым быстрым способом перемещения таких больших объемов данных. Таким образом, Амазонка Снежок. Это устройство будет доставлено к вам, где оно может переместить до 80 терабайт данных непосредственно из вашей локальной сети через соединение 10 Gigabit Ethernet. Затем он отправляется обратно в Amazon, где они загружают данные в вашу учетную запись Amazon.
Для очень многих небольших файлов пределом будет IOPS как для исходного, так и для целевого хранилища. rsync не ускорит процесс, так как он должен читать каждый файл, его основное преимущество заключается в отсутствии передачи уже скопированных фрагментов больших файлов.
Если вместо этого вы восстановите архив резервных копий, чтение будет больше, последовательнее и с большей пропускной способностью:
cd /mnt/files/
tar -xzf /mnt/backup/files.tar.gz
Однако у вас должно быть место для этого резервного архива.
Кроме того, момент восстановления может быть некоторое время назад, в зависимости от того, сколько времени потребуется на создание резервной копии.