Назад | Перейти на главную страницу

Использование торрента для обмена очень большими файлами

В нашем институте нам скоро потребуется регулярно обмениваться большими объемами данных (в диапазоне от нескольких терабайт).

  1. Имеет ли смысл использовать BitTorrent для этой задачи?

  2. Насколько велики ожидаемые накладные расходы процессора / памяти по сравнению с обычными FTP-серверами?

  3. Можно ли достичь скорости, соответствующей прямой FTP-передаче, при копировании ровно с одного узла BitTorrent (исходного сервера хранения) на другой?

Большое спасибо.

Вы не упомянули, сколько машин будет в вашей «сетке» для BitTorrent; если их будет немного, то с BitTorrent не стоит тратить время на настройку торрент-файлов и их передачу людям, а также запуск трекера.

Я тоже время от времени думаю об этом и всегда возвращаюсь к реальному использованию BT; обмен файлами в Интернете, где каждый должен внести только часть полосы пропускания. В домашних или рабочих сетях 100 Мбит / с я использую веб-серверы и вместо этого передаю ссылки.

  1. Я так думаю. Будьте осторожны с выбранным размером блока, так как он должен быть больше стандартного для такого большого объема данных.
  2. Не имеет значения во время передачи, узким местом будет ваша пропускная способность, а не ваш процессор. Генерация торрент-метафайла (который включает хеширование каждого блока и всего набора данных) в первую очередь займет довольно много времени, как и окончательная проверка хэша после завершения передачи на клиенте.
  3. Да. Если только ваш провайдер подключения, клиентский провайдер или что-то среднее, выборочно формирует P2P-трафик.

Чтобы смягчить проблемы, связанные с пунктами 1 и 2, если вы можете разделить данные на более мелкие фрагменты и иметь отдельные торренты для каждого фрагмента, вам будет легче обрабатывать размер данных.

Также обратите внимание, что вам нужно будет регенерировать метафайлы торрента, если любой данные в файле (ах), который они покрывают, обновляются. Если небольшие части данных изменяются без изменения остальных, вы, вероятно, сочтете rsync гораздо более эффективным решением.

Насколько велики файлы в наборе данных и каков разброс (несколько файлов с несколькими гигабайтами?, Много файлов меньшего размера?, ...)?

  1. Да, очень возможно, это могло бы сэкономить вам чертовски много затрат на полосу пропускания, вероятно, за счет средней скорости загрузки на пользователя.
  2. В целом довольно низко, очевидно, зависит от сервера, но в целом один сервер, выступающий в качестве узла BT для роя приличного размера, будет потреблять меньше ресурсов ЦП, чем тот же сервер, отправляющий один и тот же файл по протоколу FTP множеству клиентов.
  3. Возможно все, это может быть намного быстрее или намного медленнее, это зависит от размера роя в любой момент времени, а также от множества других факторов, о которых вы никогда не узнаете наверняка.

Самая важная вещь, на которой нужно сосредоточиться, - это качество обслуживания клиентов. Если вы не можете позволить себе рассердить своих клиентов, используйте FTP, поскольку он управляем - если они технически подкованы и понимают преимущества для вас и для них, тогда вы будете нормально с БТ. Удачи.