Как и во многих других местах, мы просим наших пользователей не сохранять файлы на своих локальных машинах. Вместо этого мы рекомендуем размещать их на файловом сервере, чтобы другие (с соответствующими разрешениями) могли их использовать и чтобы файлы создавались надлежащим образом.
В результате у большинства пользователей большие жесткие диски остаются в основном пустыми. Сейчас 2010 год. Наверняка существует система, позволяющая превратить это пустое пространство в виртуальную сеть хранения данных или библиотеку документов?
Я представляю себе клиентскую программу, которая загружается на компьютеры пользователей и координируется с центральным сервером. Сервер выглядит для пользователей так же, как обычный файловый сервер, но вместо того, чтобы хранить все содержимое файла, он просто записывает, где эти файлы могут быть найдены на различных пользовательских ПК. Затем он координирует свои действия с нужными клиентами для обслуживания файловых запросов. Клиентское программное обеспечение могло бы отвечать на такие запросы напрямую, а также быть достаточно умным для локального кэширования последних файлов. Для избыточности сервер может гарантировать, что файлы копируются на несколько ПК, возможно, позволяя вам определять группы в разных местах, чтобы экземпляр всего репозитория жил в каждой группе для защиты от аварии в одном здании, уничтожая все остальное.
Очевидно, вы бы не указали здесь свой сервер базы данных, но для более простых вещей я вижу несколько преимуществ:
Я также вижу несколько недостатков:
Думайте об этом как об облачной системе хранения данных, которая полностью находится в вашей корпоративной локальной сети и использует ваше существующее пользовательское оборудование.
Наш старый основной файловый сервер должен быть выведен из эксплуатации примерно через 2 года, и я собираюсь заменить его небольшим SAN. Наш текущий файловый сервер использует около 400 ГБ из 1 ТБ общей папки. Мы сохранили его настолько маленьким, потому что наше пространство для резервных копий было ограничено. Я хочу расширить как минимум до 4 ТБ годный к употреблению место после его замены, может быть, намного больше, если цены упадут так, как я ожидал. Думаю, что-то подобное подойдет лучше. Как школа, у нас есть пара компьютерных лабораторий, которые я могу оставить работающими, которые идеально подошли бы для добавления немного дополнительной избыточности в такую систему.
За очень немногими исключениями, наши пользователи заполняют менее 40 ГБ своих жестких дисков емкостью 120 ГБ, а это означает, что я мог легко зарезервировать 65 ГБ для каждой машины. И это будет только увеличиваться, так как новые машины будут поставляться с дисками 250 Гб, и даже они скоро могут стать больше. К моменту замены файлового сервера, учитывая наш график замены настольных компьютеров, я ожидал, что такая система обеспечит 5 ТБ полезного хранилища, даже с учетом избыточности и истории.
К сожалению, самое близкое, что я могу найти, это Dienst, и это просто статья, которая датируется 1994 годом. Я просто использую неправильные модные слова в своих поисках, или это действительно не существует? Если нет, есть ли большой недостаток, который мне не хватает?
Мне кажется, ты описываешь AFS, наиболее распространенной реализацией которого является OpenAFS. Ключевые концепции OpenAFS описаны здесь: http://docs.openafs.org/UserGuide/ch01.html#HDRWQ3.
AFS - это:
Да, большие диски в настольных системах конечных пользователей трагически не используются, когда вы правильно используете централизованное хранилище. Ну что ж. Некоторые недостатки использования гипотетического настольного сетевого распределенного NAS:
Он должен будет справиться с ухудшением работы, вызванным отключением пользовательских компьютеров. Кто-то не пришел сегодня и его машина выключена? Лучше надеяться, что документы будут распространены на включенные машины. Кто-то сегодня работает допоздна, а работает только его машина? Не повезло, извини. Если только ты не также скопировали все на настоящий файловый сервер - а потом, что вы получили?
Все должно иметь хорошее шифрование - в противном случае документы босса, содержащие его план по обналичиванию денег, или документ отдела кадров, который показывает зарплату каждого, копируются на машину почтового служащего Джимми. На котором он запускает LimeWire. Видите, к чему это идет?
Что-то вроде CleverSafe (имеет как версию с открытым исходным кодом, так и коммерческую версию) в основном может делать то, что вы хотите, но управление очень ненадежными узлами может быть проблемой. CleverSafe обрабатывает сбои в работе нескольких узлов, но, возможно, недостаточно быстро для того типа «постоянного оттока» узлов, который вы бы наблюдали при использовании настольных компьютеров в качестве узлов хранения.
Я думаю, что есть аналогичные решения из научных статей, которые я читал в прошлом, но CleverSafe кажется настоящим работающим продуктом, а не просто прототипом. Компания существует с 2004 года.
Программное обеспечение для виртуализации хранилищ SANsymphony 7.0
ниже все цитируется с их веб-сайта:
Основные особенности
Независимый от устройства пул виртуальных дисков, синхронное зеркальное отображение (HA), высокоскоростное кэширование, асинхронная удаленная репликация, тонкое выделение ресурсов, автоматическое многоуровневое хранение, онлайн-снимки, миграция без прерывания работы дисков, непрерывная защита данных (CDP)
Тип доступа
Блокировать дисковый ввод-вывод через физический или виртуальный SAN. Доступ к файловой системе предоставляется через протоколы NFS / CIFS из базовой операционной системы Windows Server. Эти два метода доступа можно комбинировать для удовлетворения требований высокой доступности к унифицированному хранилищу (SAN / NAS).
Поддерживаемые среды хоста
Компьютерные системы под управлением стандартных операционных систем Windows, включая (Windows Server 2000, 2003, 2008, Hyper-V, Windows XP, Windows 7), UNIX, HP-UX, Sun Solaris, IBM AIX, RedHat Linus, Suse Linux, Apple MacOs, VMware ESX / vSphere, Citrix XenServer,
Поддерживаемые диски (серверная часть)
К узлам DataCore можно подключить любые внутренние диски, внешние диски, внешние дисковые массивы, JBOD, твердотельные диски (SSD) и интеллектуальную систему хранения, поддерживаемую Windows Server 2008. Они могут быть подключены напрямую или подключены к SAN.
Это то, что тебе нужно, да?
Самое близкое, что мне приходит в голову, - это Googles MapReduce или бесплатная альтернатива Hadoop, но она предназначена для масштабирования до петабайтной области для действительно больших веб-приложений.
Как правило, ваш сценарий не является тем, что я действительно хотел бы опробовать, поскольку я предполагаю, что административные накладные расходы на управление машинами для этой добавленной службы намного превышают любую выгоду, которую вы можете получить от нее.
Кроме того, я бы заметил определенный риск того, что в Windows (или любой другой ОС) могут возникнуть необнаруженные проблемы, которые могут привести к уязвимости для быстро распространяющегося червя, который может уничтожить всю вашу сеть за считанные минуты, независимо от того, как хорошо и безопасно настроены ваши системы, которые примет все ваши пулы хранения данных.
Кроме того, я не совсем уверен, что объем свободных дисковых ресурсов в клиентских системах будет продолжать расти, поскольку я предполагаю, что в будущем в Интернет будет перенесено гораздо больше приложений, включая офисные приложения и даже Photoshop, что приведет к большой толчок для тонких клиентов (снова).