Назад | Перейти на главную страницу

Как загрузить (и измерить) SFTP параллельно?

У меня есть удаленный сервер, к которому я могу получить доступ через SFTP. (Не FTP через SSL. SFTP.)

Периодически мне нужно загружать на эту машину несколько тысяч новых файлов.

Как я могу:

  1. Загрузить загрузить их параллельно?
  2. Собрать статистику, чтобы я мог судить об идеальном уровне распараллеливания с учетом конкретной конфигурации сервера / сети?

Клиент командной строки был бы идеальным, но графический интерфейс тоже может работать.

Спасибо

  1. Используйте клиент, такой как Filezilla или WinSCP, который разрешит несколько потоков. Или создайте сценарий параллельно, используя что-то многопоточное, или разделите файлы на части, на которых можно запускать несколько сценариев.
  2. WinSCP будет вести подробные журналы, чтобы вы могли вернуться к ним и создать свою собственную статистику. Filezilla может, я не уверен. Ваш собственный сценарий будет генерировать журналы, которые вы ему укажете.

mfinni дал вам лучшие ответы, которые я могу придумать об использовании sftp.

Я предлагаю вам исследовать rsync и посмотрите, соответствует ли он вашим потребностям.
Его можно использовать для нажатия, вытягивания, синхронизации, замены и т. Д. С помощью соответствующие параметры командной строки, реализует хорошее сжатие и отправляет дельты, а не целые файлы, когда это возможно. Он также имеет приличную статистику, которая может удовлетворить ваши потребности.