Быстрый (неблокирующий) способ переноса большого количества файлов на другой сервер

Возможный дубликат:
Каков самый быстрый и надежный способ передачи большого количества файлов?

В настоящее время я пытаюсь передать более 1 миллиона файлов с одного сервера на другой. Использование wget кажется очень медленным, вероятно, потому что он начинает новую передачу после того, как предыдущая была завершена.

Вопрос: Есть ли более быстрый неблокирующий (асинхронный) способ передачи? Мне не хватает места на первом сервере для сжатия файлов в tar.gz и их переноса. Спасибо!

Поместите файлы на жесткий диск и отправьте их через FedEx, UPS, DHL и т. Д.

Запустите 1 процесс rsync для каждого каталога, пока не заполните сетевую ссылку. Создайте сценарий так, чтобы новый процесс rsync запускался по завершении предыдущего.
или запустите 1 процесс rsync для каждого уникального символа в начале имени файла, используя include.
или запустите 1 процесс rsync для каждой уникальной комбинации 1-го + 2-го символов имени файла, используя include.

По сути, rsync - делает все, что нужно, чтобы сработать достаточно для насыщения вашей сетевой ссылки.