Назад | Перейти на главную страницу

Долгосрочное хранение важных для бизнеса данных

Это действительно непростая задача, и до некоторой степени это не техническая проблема, и, возможно, здесь не место, но

Server Fault предназначен для системных администраторов ... которые профессионально управляют компьютерами или обслуживают их.

И я делаю .. и это одна из моих задач .. Во всяком случае.

Представьте, что у вас есть более 5000 двусторонних страниц формата A4. Данные компании, все критичные для бизнеса.
Вам нужно как-то поддержать это. Предлагаемые решения:

  1. PDF -> Интернет-хранилище
  2. PDF -> DVD / BluRay / лента
  3. PDF -> Портативный HDD / SSD / Flash-накопитель.
  4. Купите / Сдайте / Сдайте в аренду / «Украдите» большой копировальный аппарат и сделайте копии.
  5. ???

Непосредственные проблемы с перечисленным выше:

  1. Что, если партнер по хранению разорится?
  2. DVD со временем гниют. Ленты аналогично.
  3. Они тоже со временем ломаются.
  4. Дорого. Медленный. Тяжелый. Не подходит для деревьев.

Вопросы):

Что является золотым стандартом для долгосрочного и среднесрочного хранения и архивирования данных? Решали ли вы подобную проблему на рабочем месте?

После начальной загрузки необходимо добавлять в коллекцию примерно 100 страниц в месяц. Извлечение должно быть возможным, легко, но, вероятно, нечасто.
В идеале я хотел бы гарантировать, что решение будет работать еще долго после того, как я уйду из компании, и что для поддержания его работоспособности не потребуются огромные суммы, поэтому хранение большого количества DVD-дисков не только не идеально, но и не так. хорошее долгосрочное решение.

Хотя просто делать бумажные копии, безусловно, проще всего, но это далеко не самый экологически чистый способ. Это также не очень управляемо, сложно искать, индексировать и так далее. В сочетании с тяжелыми и сложными в хранении.

Мне в принципе нравится идея хранить все в электронном виде, но реальный механизм этого должен быть прозрачным и простым. Я действительно не хочу нести за это ответственность вечно и в течение дня, поддерживая офисных пользователей, когда они взламывают это и теряют документы. Я также не хочу полагаться на одного поставщика хранилища, что, если Dropbox (у нас есть банкомат с онлайн-решением для резервного копирования, но это не Dropbox.) Обанкротится или иным образом испытает катастрофическое событие, сколько предприятий кто пользуется их услугами будет вверх по ручью, без весла?

Здесь есть некоторая гибкость бюджета, но я подозреваю, что все, что стоит больше, чем наша текущая онлайн-резервная копия (которая составляет примерно 2500 долларов США в год), будет рассматриваться менее чем благоприятно, по сравнению с тем, чтобы просто положить ее в коробку для обуви под кроватью. Что, несомненно, произошло бы, если бы я ничего не сделал и подал в отставку завтра.

Любые идеи?

-Редактировать-

Причина этого двоякая.

1) обеспечить разумное безопасное резервное копирование критически важных для бизнеса документов на случай сгорания офиса.

2) в соответствии с законами об архивировании данных WRT uk налоговое законодательство для предприятий и так далее.

Изменить 2:

Было бы чертовски полезно иметь какой-то механизм для индексации документов ...

Существуют специальные системы, которые используют DVD-диски внутри компании и время от времени переносят данные на новые носители. Посмотрите цифровую сохранность.

Поскольку требования к хранилищу растут довольно быстро, рекомендуется в любом случае переходить на новый, более крупный тип носителя каждые несколько лет.

Предполагая, что вы получаете данные в бумажной форме, вам необходимо:

  1. Перечислите данные при вводе почты. Это может означать присвоение каждому листу уникального штрих-кода.
  2. Отсканируйте это. Используйте идентификатор штрих-кода в качестве имени файла. Архивируйте газету.
  3. Заархивируйте данные. Поместите данные в ревизионную систему безопасного архивирования. Файлового сервера будет недостаточно, потому что что-то может случиться с файлами, если они доступны для записи.
  4. Сделайте его доступным для чтения для других систем.

В случае с клиентами, это все счета-фактуры для крупных организаций, которые должны быть перенесены в онлайн-систему (SAP). К настоящему времени архивное хранилище прошло несколько итераций. В настоящее время они переходят на голубой луч.

С другой стороны, в настоящее время все записывается на диски, поэтому, возможно, вам подойдет что-нибудь в этом роде: http://www.eurostor.com/german/iTernity.D.php

Хранение данных в таком формате, как PDF, вероятно, безопасно, потому что есть бесплатные инструменты для их чтения. Объем данных, о которых вы говорите, довольно мал (1200 страниц в год), поэтому даже при разрешении сканирования 300 точек на дюйм вы говорите только о десятках гигабайт в год.

Однако проблема с физическим запоминающим устройством никогда не исчезнет. Какие бы носители вы ни использовали для хранения электронных данных (ленточные, оптические и т. Д.), В конечном итоге необходимо будет обновить их до более новых. Спланируйте и составьте бюджет, чтобы «ускорить развитие данных» к новым форматам, поскольку новые форматы заменяют старые форматы.

Я бы, вероятно, выбрал оптические носители в качестве первого выбора просто потому, что у вас так мало данных. Я бы также планировал записывать 3 раза дубликаты всего и обновлять носители каждые 2-3 года.

Если оптический носитель слишком мал, я бы использовал ленту LTO и обновлял носитель каждые 4–5 лет. Однако это будет довольно дорого для такого небольшого объема данных.

Наше решение: Сканировать в PDF -> Резервное копирование на ленту

У нас есть сканер документов, скорость печати ~ 30 страниц в минуту и ​​создание файлов PDF с оптическим распознаванием текста. Мы сохраняем их на магнитной ленте (в частности, LTO4), срок хранения которой составляет от 50 до 100 лет (найти ленточный накопитель может быть сложно с учетом временных рамок, но есть места для восстановления данных, которые все равно восстановят 8-дюймовые гибкие диски).

думаю Новый сервис Amazon Glacier интересное предложение в этом пространстве.

Amazon Glacier оптимизирован для данных, к которым редко обращаются и для которых подходит время извлечения в несколько часов. С Amazon Glacier клиенты могут надежно хранить большие или маленькие объемы данных всего за 0,01 доллара США за гигабайт в месяц, что является значительной экономией по сравнению с локальными решениями.

Шаг первый, резервное копирование: OCR документов, а затем перегруппируйте все слова в серию романов о католической церкви, Opus Dei и тамплиерах. У вас должно быть достаточно исходных данных примерно для 10 романов и примерно на один год или около того навсегда. Поддерживайте таблицу поиска, которая содержит исходное местоположение слов в исходных документах (в исходном порядке) и его окончательное местоположение в романах; хранить повторяющиеся слова в одной записи в таблице. Закажите издательский договор и опубликуйте миллионы романов. Используйте доход от продажи книг для финансирования операции распознавания текста и перестановки слов. Измельчите оригиналы документов и продайте их как подстилку для хомяков. Иногда может возникнуть необходимость разместить заказы на покупку распятий, антиматерии или билетов на самолет в экзотические места, если вы обнаружите, что во входных документах отсутствует словарный запас.

Шаг второй, восстановление / доступ: нет необходимости хранить копии данных - все, что вам нужно, это справочная таблица и подержанный книжный магазин.

Поскольку справочная таблица является вашей единственной точкой отказа, вам все равно нужно будет создать резервную копию. Благодаря используемой схеме кодирования Хаффмана это будет довольно мало по сравнению с вашими входными документами, поэтому его, вероятно, можно скопировать на DVD. Для резервного копирования за пределами площадки сядьте перед камином и прочитайте справочную таблицу, одновременно снимая себя на видео. Разместите свое видео-перформанс о слиянии искусства и технологий в галерее Тейт Модерн на постоянной экспозиции.

Слишком рано покупать, но похоже, что HDS придумали постоянный механизм хранения данных на основе кварца - возьмите ЧИТАТЬ.

Я должен предложить Humyo.com (куплен Trend Micro - отчество - безопасность)

Они шифруют все пользовательские данные, а их серверы размещаются в Банке Англии в хранилище.

Довольно безопасно :)