Я работаю над приложением, которому требуется большой объем дискового пространства, и я хочу обрабатывать хранилище «внутри компании» (намного дешевле, чем, скажем, S3), поэтому у нас будет несколько серверов (изначально 4) с большим объемом хранилища. (По 6 ТБ).
Хранилище должно быть очень гибким и настраиваемым, каждая часть данных должна быть реплицирована как минимум на 2 сервера и должна быть легко читаемой / записываемой из эфира и API устройства / файла / папки UNIX, как обычный диск, я не т не возражаю. Мы также должны иметь возможность легко выгружать контент в наш HTTP CDN (Edgecast), он не должен иметь встроенную поддержку HTTP, но если этого не произойдет, мне придется что-то написать, чтобы получить файлы на HTTP, поэтому они могут быть извлечены сетью CDN.
Я просмотрел множество решений, включая
Все серверы будут работать под управлением RHEL 6, у них есть 4 диска по 1,5 ТБ, которые будут объединены в один раздел RAID1. Все серверы имеют соединения 1 ГБ / с между собой и подключения к Интернету со скоростью 100 МБ / с с неограниченной пропускной способностью. У них 2 процессора по 2,66 ГГц.
Я понимаю, что нет единого идеального ответа, но было бы неплохо получить несколько указателей.
Поскольку вы уже являетесь владельцем магазина RH, Red Hat Enterprise Clustering and Storage Management класс может оказаться весьма полезным.
Нам очень часто задают похожие вопросы, я удивлен, что ни один из этих предыдущих вопросов не появился в поиске, когда вы задали это,
В любом случае я обычно рекомендую GlusterFS или Lustre, но есть много других распределенных файловых систем.
Было бы хорошо, если бы вы могли рассказать немного больше о своей рабочей нагрузке на хранилище. В зависимости от того, требуется ли вам хранилище с низкой задержкой или большим объемом контента, могут потребоваться разные решения для хранения. Для варианта хранения контента посмотрите решения для хранения объектов. (даже их можно разделить дальше - если вам нужно хранить данные в течение длительного времени и не читать слишком часто, рассмотрите решения, которые поддерживают кодирование со стиранием). Если вам нужна низкая задержка, обратите внимание на кластерные файловые системы хранения на основе хоста - в идеале в сочетании с флеш-памятью на хосте. Обратите внимание, что можно также рассматривать хранилище объектов в сочетании с ускорением флэш-кеша на хосте.