Назад | Перейти на главную страницу

Скорость передачи файлов в сети LAN

Я переношу с одного хоста Linux на другой хост Linux около 15 ТБ данных. У хоста-отправителя есть эти сетевые карты:

[44.206701] igb: eth0 NIC Link работает на скорости 1000 Мбит / с, полный дуплекс, управление потоком: RX / TX

[44.274112] bonding: bond0: статус канала определенно повышен для интерфейса eth0, полнодуплексный режим 1000 Мбит / с.

[44.278534] igb: eth1 NIC Link работает на скорости 1000 Мбит / с, полный дуплекс, управление потоком: RX / TX

[44.573636] bonding: bond0: статус канала определенно повышен для интерфейса eth1, полнодуплексный режим 1000 Мбит / с.

Хост-приемник имеет эту сетевую карту:

[16.964486] e1000e: eth0 NIC Link работает, 100 Мбит / с, полный дуплекс, управление потоком: нет

Моя максимальная скорость передачи сейчас составляет 11 МБ / с. Интересно, что мне нужно сделать, чтобы увеличить скорость передачи? обновить сетевую карту ресивера?

Спасибо!

Сторона приемника связывает всего на 100 Мбит / с:

e1000e: подключение сетевого адаптера eth0 установлено 100 Мбит / с Полный дуплекс, управление потоком: нет

что соответствует примерно 12,5 МБ / с максимальной необработанной полосы пропускания. После учета накладных расходов IP / TCP на скорости 11 МБ / с вы в основном увеличиваете пропускную способность вашего приемника.

обе стороны должны быть на 1000 полных, если у вас плохой кабель, принудительно / * жестко запрограммирована скорость на стороне коммутатора, она будет синхронизироваться со значением 100 Full на принимающей стороне.

посмотрите, как сконфигурирован коммутатор, если он автоматически установил ваш интерфейс жестко запрограммированным на 1000full, если он не работает на этой скорости, проверьте кабельную разводку. до переключения.

при 12 МБ вы находитесь на 100 полной скорости. e1000e - это гигабайтный интерфейс, который должен синхронизироваться с такой скоростью. ваша передача должна идти от 300 до 800 Мбит / с (от 30 МБ до 80 МБ) в зависимости от возможностей хоста.

Как предполагали другие, причина, по которой вы получаете только 11 Мбит / с, заключается в том, что принимающая сетевая карта имеет скорость соединения 100 Мбит, несмотря на то, что карта теоретически может обрабатывать 1 ГБит.

Единственные возможные причины, которые я могу придумать, это то, что либо сетевая карта подключена к коммутатору на 100 Мбит, либо карта настроена на автоматическое согласование скорости и согласовала неправильную скорость. В этом случае вы сможете заставить сетевой адаптер работать со скоростью 1 ГБит.

При текущей скорости передачи на передачу 15 Тбайт у вас уйдет около 15 дней (http://www.thecloudcalculator.com/calculators/file-transfer.html).

С подключением 1 Гбит на стороне приемника это займет всего около 1,5 дней.

было бы лучше иметь сетевую карту 1gig на принимающей машине, да, я также вижу в тегах, что вы используете scp.

scp обычно очень плохо подходит для передачи важных данных, у меня всегда была ужасная производительность с ним

попробуйте ftp (но он не зашифрован), вы четко заметите важную разницу в скорости передачи.

ftp (или другой протокол / программа, но не scp) + по крайней мере сетевая карта 1000 МБ на принимающей машине явно поможет вам

Вы передаете данные, близкие к пределу принимающего интерфейса, хотя он не работает на максимальной скорости. Могут ли ваши переключатели справляться со скоростью?

Узким местом может быть скорость, с которой вы можете читать или записывать на диск, или узкое место в сети. Несколько вопросов:

  • Как вы передаете данные? (Образы дисков могут быть быстрее отдельных файлов.)
  • Какие типы дисков используются в системе? (Флэш-накопители обычно быстрее жестких дисков. Рейдовые системы могут увеличивать время записи. Скорость интерфейса часто выше, чем скорость чтения / записи.)
  • Каковы их скорости передачи? (Неважно, насколько быстро работает сеть, если вы не можете читать или записывать данные со скоростью, близкой к сетевой.)
  • Насколько велики файлы, которые вы переносите? (Маленькие файлы имеют больше накладных расходов на файловую систему.)
  • Использует ли целевая файловая система журнал? (Это добавляет дополнительные накладные расходы на запись, если вы не отключите журнал.)
  • Вы буферизуете данные, передаваемые по сети? (Буферизация позволяет передавать по сети данные, которые еще нельзя записать.)
  • Можно ли запускать несколько переводов одновременно? (Если передача выполняется на разных дисках, вы можете увеличить общую скорость передачи. Слишком много параллельных передач приведет к дополнительным накладным расходам, которые могут замедлить перемещение файлов.)
  • Зашифрован / сжат ли поток передачи? (Любой из них может увеличить накладные расходы. Сжатие может компенсировать узкое место в сети.)
  • Есть ли ошибки на каком-либо из интерфейсов? (Несоответствие дуплексного режима может вызвать проблемы.)
  • Сетевые карты / порты коммутатора работают на полную мощность / скорость? (Если какое-либо устройство в сети работает на полную мощность, это становится узким местом. Если они не работают на полной скорости, это снижает доступную пропускную способность.)

Как отмечалось в моем комментарии, карта Ethernet принимающей системы, похоже, работает на 1/10 максимальной скорости. Достигаемая скорость передачи данных близка к максимальной, достижимой без сжатия при текущей скорости сетевой карты.

Запуск rsync в режиме демона на одной стороне может обеспечить лучшую производительность, чем туннелирование с использованием SSH. Запуск rsync в качестве демона вредит безопасности.