У нас есть новый файловый сервер для обработки непристойного количества файлов, созданных компанией (PDF, XLS, DOC и JPG). Размер файлов, перемещаемых на новый сервер, составляет около 3 ТБ. Проблема в том, что мы не можем на несколько дней останавливать компанию, чтобы переместить файлы. Другая проблема заключается в том, что приложения, создающие все эти файлы, должны ссылаться на предыдущие файлы, поэтому мы не можем просто указать их на новый сервер. Кроме того, нет возможности, чтобы приложения создавали файлы на новом сервере, а вместо существующих файлов ссылались на старый сервер.
Сервера x64 win2003 r2. Оба сервера находятся в одной подсети.
DFS не работает.
Есть ли приложение, которое может обрабатывать такой объем данных для копирования файлов, ограничения пропускной способности и выполнения «слияния»? Под слиянием я подразумеваю постоянное копирование вновь созданных файлов до тех пор, пока два сервера не будут синхронизированы.
Используйте robocopy, чтобы сделать копию.
Сделайте первый первый толчок. Как только это будет сделано, запустите копию снова. Это перехватит все новые / обновленные файлы и переместит их. Продолжайте делать это до самой ночи, когда закончится монтаж. В ночное время попросите всех сотрудников убедиться, что все программное обеспечение отключено. Затем запустите скрипт robocopy в последний раз, а затем выключите машину, когда это будет сделано. Перенаправьте пользователей на новую машину, и все готово.
Это в значительной степени каноническое использование rsync. Количество данных на самом деле не проблема (на самом деле ни для чего). Rsync может ограничивать количество потребляемой полосы пропускания сети (через --bwlimit=n параметр командной строки) и rsync смысл это возможность передавать только различия между источником и получателем, а не повторно передавать множество повторяющихся данных, что делает его идеальным для такого рода поэтапной синхронизации, которую вы пытаетесь выполнить.
У вас есть различные варианты запуска Rsync под Windows, включая DeltaCopy или установить инструменты командной строки под Cygwin.
Это не особо специфичное для Windows решение. Другие люди могут предложить лучшие решения в этой области.
Для такого количества синхронизирующей нагрузки вам будет выгодно наличие выделенного канала между двумя файловыми серверами и выделенного коммутатора при добавлении дополнительных файловых серверов. Надеюсь, это разделение сети также позволит вам отключить антивирус.
Также воспользуйтесь этой возможностью, чтобы переместить старые данные в общий ресурс, доступный только для чтения.
А чтобы максимально увеличить пропускную способность сети / ЦП / жесткого диска, запускайте сразу несколько заданий синхронизации. Вам нужно будет отслеживать / измерять / выяснять, сколько заданий оптимально и как сгруппировать папки.