Назад | Перейти на главную страницу

Синхронизировать большие общие файловые ресурсы

Как лучше всего синхронизировать большие наборы файлов между географически разными местоположениями, чтобы в обоих местах был один и тот же файл?

У нас есть постоянно меняющийся файловый ресурс на 500 гигабайт в Location1 со средней скоростью изменения (+/- 5 гигабайт в час, состоящих из добавлений, модификаций, удалений).

Location2 скоро появится, и у них тоже есть доступное локальное хранилище. Я бы хотел, чтобы они оба работали в своих локальных общих папках в соответствии с их местоположениями, но чтобы все было синхронизировано / реплицировано в обоих местах.

Несколько быстрых заметок: - У обеих сторон есть файловые системы NetAPP - Пользователи подключаются к общим ресурсам CIFS напрямую к файловым серверам Netapp - Мы не можем использовать зеркало синхронизации netapp (1. без лицензии, 2. это однонаправленная передача только для чтения) - Location1 имеет частное оптоволоконное соединение Ethernet 500 Мбит - Location2 имеет частное соединение Ethernet 100 Мбит волокна - Поскольку LUNS не сопоставлены с сервером (FC, iscsi), мы не можем использовать DFSR или GlobeSCAPE для репликации битового уровня

Я ищу стабильное решение, которое будет подключаться через CIFS и синхронизировать оба местоположения.

Спасибо за ваш вклад.

Использовать rsync.

развернуть мой комментарий к ответ Макандре:

  • в каждом месте получите быструю рабочую станцию ​​и смонтируйте локальный сервер.
  • запустите rsync (или лучше Unison) между этими рабочими станциями.

поскольку копирование занимает некоторое время, и во время копирования все меняется, у вас есть два разных варианта:

  • если сервер поддерживает это, используйте моментальные снимки и копируйте между ними. семантика сбивает с толку (можете ли вы записать снимок? если да, следует ли распространять это на «живой» том?), поэтому я не думаю, что это был бы лучший вариант

  • делайте это постепенно:

    1. запустить полную копию. это займет часы, и будут ошибки.
    2. запустите его снова, он исправит эти ошибки и займет гораздо меньше времени, поэтому могут быть новые ошибки, но их должно быть намного меньше.
    3. запустить его снова. теперь это займет всего несколько минут.
    4. приостановить любую другую активность, запустить ее в последний раз и отменить все.

из-за дифференциальной копии каждый раз, когда вы запускаете ее, она становится быстрее до предела. когда вы достигнете этого предела, не так уж сложно на короткое время приостановить другие действия. если вы не можете получить это время, тогда вам следует прикусить пулю и получить серверную систему, которая изначально поддерживает реальную синхронизацию.

Вы будете вынуждены найти решение, которое разрешит любые конфликты, которые могут возникнуть. Какие изменения происходят (относительно изменений файлов ... много ли маленьких файлов?).

Это может быть что-то, где вы могли бы создать небольшое приложение, используя Microsoft Sync Framework это поддерживает синхронизацию двух каталогов. Это предложит вам пользовательский интерфейс для разрешения конфликтов (если вы его написали).