Я думал о целостности данных, в настоящее время я создаю резервную копию около 2 ТБ данных и всегда имею одну резервную копию данных годичной давности.
Меня беспокоит, что если файл окажется поврежденным на нашем производственном файловом сервере, никто этого не заметит, потому что к некоторым файлам не осуществляется доступ в течение многих лет, и если бы произошло повреждение, я бы сделал резервную копию поврежденного файла.
Я не уверен, как мне решить эту проблему, есть ли способ обнаружить повреждение данных? Или это единственное решение для хранения старых резервных копий на случай, если что-то будет повреждено и не замечено?
По моему опыту, каждый тип файла требует собственных проверок, чтобы определить, действительно ли что-то повреждено. В основе данных лежат точки и тире, и то, что определяет «повреждение», полностью зависит от файла. Вам нужно будет определить, какие типы файлов наиболее важны, а затем определить, возможно ли создать автоматизацию, которая проверяет согласованность типов файлов. Это будет непростой задачей, поскольку спецификации типов файлов со временем меняются и вы сталкиваетесь с проприетарными форматами, в которых нет простого способа программного обнаружения повреждений.
Более того, повреждение данных - это только часть проблемы. Иногда файлы могут быть неправильными с человеческой точки зрения, но непротиворечивыми с точки зрения структуры данных. Если кто-то по ошибке редактирует файл - данные в порядке с точки зрения повреждения.
В конечном итоге вам нужно сесть с руководством компании и определить, какие активы данных являются наиболее важными для компании. Затем определите, как долго их нужно хранить и с каким уровнем запоминания. Хотят ли они получить точное восстановление на определенный момент времени до четырехлетней давности? Может быть, только для одних файлов, а для других нет?
Учитывая, что у вас есть только 2 ТБ для резервного копирования, схема резервного копирования на магнитной ленте GFS с использованием картриджей LTO4 может позволить вам вернуться на многие годы назад с относительно небольшим количеством лент. Это, конечно, полностью зависит от оттока данных. Если у вас много занятых битов, у вас будет больше лент. Тем не менее, 2 ТБ - это относительное пятнышко, на которое LTO4 или даже обычное дисковое хранилище будут зевать, чтобы хранить данные за несколько лет.
Защита цифровых активов - непростая задача. Держите Tums под рукой.
Это одна из причин, по которой ZFS так хорош, больше нет повреждения данных. Совместное использование файловых систем ZFS через CIFS довольно просто.