Назад | Перейти на главную страницу

Как лучше всего передавать большие файлы между множеством серверов?

В настоящее время я использую scp, но с каждым днем ​​он становится все медленнее. У меня до 30 серверов, и мне нужно перетасовывать около 3-5 тысяч файлов в день со средним размером 200-400 МБ.

Раньше я также использовал rsync, с еще более плачевными результатами.

Каждый сервер должен иметь возможность передавать файлы на любой другой сервер в пуле (я добавляю около 7 серверов в месяц), поэтому управление ключами также очень важно.

Rsync работает довольно быстро, при нормальных обстоятельствах он должен быть быстрее, чем scp.

Если этого недостаточно ... где узкое место? Общее исходное устройство для всех файлов?

Без дополнительной информации я выброшу BitTorrent как вариант. Например, Twitter создал инструмент для массового развертывания кода с использованием BitTorrent: Убийство.