Назад | Перейти на главную страницу

DFS-R или WAFS для синхронизации файлов размером 1 ТБ между удаленными сайтами

У нас есть 1 ТБ файлов, которые мы хотим синхронизировать между тремя местоположениями. Эти данные включают около 1,5 миллионов файлов, которые увеличиваются / изменяются в среднем на 100 МБ / день.

Первое местоположение - офис в Квинсленде, у которого есть выделенная синхронизация ADSL2 + со скоростью 20000/1024 Кбит / с, подключенная к совместно расположенному серверу в центре обработки данных по каналу 10 МБ. Удаленный сайт - это офис в Аргентине, который находится на жалком канале SDSL 512/512. Это можно было бы увеличить до SHDSL максимум 2 Мб.

Нам нужна следующая структура: QLD Office <--> QLD Datacentre (только для резервного копирования) <--> Офис в Аргентине

Я провел несколько тестов скорости на speedtest.net из офиса QLD и офиса в Аргентине:

Скорость загрузки из офиса QLD: 0,95 Мбит / с

Скорость загрузки из офиса в Аргентине: 0,51 Мбит / с на локальный сервер, 0,38 Мбит / с на сервер QLD :(

Мы не можем использовать стандартное программное обеспечение для синхронизации (rsync, наоборот и т. Д.), Чтобы синхронизировать эти данные, поскольку разница в часовых поясах усложняет задачу, поэтому мы рассматриваем решение для распределенной файловой системы.

Мы пытаемся решить, что более жизнеспособно - использование Microsoft DFS-R с серверами Windows 2008 или стороннего поставщика WAFS, такого как GlobalScape WAFS.

Я пытаюсь найти решение, которое будет делать следующее:

  1. Возможность изначально заполнить файлы, разместив внешний жесткий диск на удаленных сайтах и ​​т. Д.
  2. Возможность заполнения вручную после его настройки - т.е. если нам нужно добавить 200 ГБ файлов, мы можем снова опубликовать диск с этими данными и вручную добавить его на все сайты.
  3. Возможность правильно учитывать большую разницу часовых поясов удаленных сайтов
  4. Доступность файлов в автономном режиме - то есть, если интернет-соединение отсутствует, мы все еще можем просматривать / редактировать файлы
  5. Либо сжатие Delta Sync, либо сжатие файлов - многие файлы, с которыми мы работаем, представляют собой большие файлы ascii, которые легко сжимаются с большим коэффициентом сжатия, поэтому сжатие было бы неплохим.
  6. Блокировка файлов была бы хороша, но не обязательна, поскольку файлы находятся в разных часовых поясах.
  7. Возможность делать все вышеперечисленное с медленными интернет-ссылками, как описано.

Я посмотрел на GlobalScape WAFS, который выглядит многообещающим, потому что, в отличие от большинства DFS, вы можете указать его там, где расположены файлы, вместо того, чтобы копировать их в общую папку, но с ценой в 10 тыс. Долларов США за 3 агента для одного программного обеспечения, мне было интересно, есть ли там есть лучшие решения.

Microsoft DFS-R тоже выглядит неплохо, но я не могу найти много информации о том, сможет ли он обрабатывать такое количество файлов по очень медленному каналу.

Любые предложения / указания, чтобы указать мне, были бы очень признательны

В настоящее время мы используем Server 2008 DFSR для передачи 900 ГБ файлов, при этом около 3 ГБ меняются ежедневно. Наша топология - это один концентратор с 3 спицами. Каждая спица подключена к ADSL-соединению 4 Мб / 1 Мб, расстояние между которыми составляет примерно 300-500 км. Наш хаб-сайт имеет соединение 10 Мб / 10 Мб.

Помимо отсутствия блокировки файлов, после некоторых проблем с начальной конфигурацией DFSR работает без сбоев, и мы очень довольны этим. Я настоятельно рекомендую использовать Server 2008 или Server 2008 R2 для DFSR, так как есть МНОГО улучшений, которые помогут с вашими медленными ссылками.

Отвечая на ваши вопросы:

  1. Вы можете предварительно заполнить данные с помощью внешнего жесткого диска на удаленном сайте, чтобы уменьшить начальную репликацию.
  2. Я почти уверен, что вы не можете добавить дополнительную информацию в режиме pre-seed (ваш пример на 200 ГБ), так как после завершения первоначальной репликации она становится топологией с несколькими мастерами.
  3. Часовой пояс не должен иметь никакого влияния, особенно если вы не изменяете расписания репликации по умолчанию.
  4. Автономный доступ - локальная копия хранится на каждом распределенном сервере, поэтому у вас будет доступ к ней, если глобальная сеть не работает. Как только WAN будет восстановлен, репликация продолжится.
  5. DFSR использует RDC и реплицирует только изменения, поэтому вы увидите значительное сокращение объемов передачи. Наша текущая репликация сообщает об экономии 57,88%, при этом 74,36 ГБ получены из фактического реального размера 176,55 ГБ. Это с момента последнего перезапуска службы.
  6. Блокировка файлов не поддерживается в DFSR, однако конфликты можно отслеживать с помощью журналов событий.
  7. Хотя это не идеально, он должен работать с вашими медленными ссылками, поскольку у нас есть похожие ссылки.

Я бы не рекомендовал Globalscape WAFS, основываясь на последнем (моем) комментарии в этом сообщении в блоге: http://blogs.technet.com/b/askds/archive/2009/02/20/understanding-the-lack-of-distributed-file-locking-in-dfsr.aspx?CommentPosted=true&PageIndex=2#comments Возможно, с тех пор продукт изменился, но прошло всего несколько месяцев.

Что касается Globalscape WAFS, я кое-что узнал:

  1. Хотя это не задокументировано, их служба поддержки утверждает, что объем заданий репликации составляет менее 250 ГБ и менее 300 тыс. Файлов. У вас может быть до 60 рабочих мест на одного агента.
  2. В настоящее время программное обеспечение является только 32-разрядным, что вызывает указанные выше ограничения, поскольку система может хранить в памяти только 2 ГБ своего индексного файла. Если бы он был 64-битным, он бы масштабировался намного больше.
  3. Программное обеспечение выглядит однопоточным, что означает, что оно будет использовать только одно ядро ​​процессора. Программное обеспечение время от времени нагружает ЦП, и было бы очень полезно, если бы оно могло использовать преимущества нескольких ядер ЦП.

Вы можете посмотреть на Peer Software. www.peersoftware.com. Их решения обеспечивают именно то, что вы ищете, являются наиболее надежными, чем продукты Global Scape, и менее дорогими.

с dfsr сделайте следующее для предварительной подготовки
http://support.microsoft.com/kb/947726

блокировка файлов не произойдет при очень медленных связях с любым из процессов. Также посмотрите на steeleye, чтобы найти более дешевую схему репликации, если вы не используете dfsr!