У меня есть ситуация, когда мне нужно переместить более 2 ТБ данных с одного сервера на другой сервер в другом центре обработки данных. Нужно скопировать более 6 миллионов файлов.
План состоит в том, чтобы перемещать данные поэтапно. Например, на первом этапе скопируйте данные старше определенной даты, сожмите их, передайте с помощью USB-устройства, а затем скопируйте на новый сервер.
После последнего переключения на исходном сервере не произойдет никаких изменений.
Поэтому мне нужно взять контрольную сумму корневых папок на этом сервере, взять одну на новом сервере и как-то сравнить их обе и убедиться, что они имеют одинаковое содержимое. И сделать это нужно в минимальные сроки. Невозможно соединить два дата-центра. Исходный сервер работает в Windows 2008, а целевой сервер работает в Windows 2016.
Как я могу это сделать ?
Вы должны использовать rsync как инструмент, который позволит вам копировать и проверять на лету, позволяя останавливать передачу и возобновлять ее в любой момент.
На ум приходят несколько альтернатив, совместимых с Windows:
Все эти инструменты позволяют проверять данные во время (или после) копирования (контрольные суммы или целостность), поэтому вы можете избежать повреждения файлов, они обычно включают параллельный процесс для более быстрой передачи по сравнению с командами Windows по умолчанию.
Копирование 2 ТБ файлов не займет много времени, если у вас есть хороший внешний жесткий диск и поддержка USB 3.0 как на сервере, так и на диске.
Отказ от ответственности: Все это сказано, хотя я использую rsync постоянно на линуксе, альтернативы для винды не пробовал. Перечисленные инструменты взяты из альтернатив с открытым исходным кодом, с которыми я столкнулся, или являются бесплатными.