Если бы вы настраивали сайт для файлового архива размером 10 ТБ, в основном образов ISO (600 МБ - 5 ГБ), какую архитектуру и хранилище вы бы использовали?
Я хотел бы иметь возможность увеличить емкость доставки, скажем, со 100 одновременных пользователей до 1000 пользователей, не тратя впустую начальное оборудование (если это реально).
Я также хотел бы таким же образом увеличить емкость хранилища с 10 ТБ до 100 ТБ.
На данном этапе я не могу ничего предположить об активном наборе файлов. Это может оказаться всего лишь одним файлом, который можно кэшировать в ОЗУ, но он также может составлять 95% всего архива.
Вы бы использовали один общедоступный сервер с DAS?
Вы бы использовали многоуровневое хранилище, такое как Sun 7410, и расширили бы возможности доставки с помощью модулей кэш-памяти SSD?
А как насчет стандартного оборудования с распределенной файловой системой, такого как MogileFS и GlusterFS?
Как лучше всего создать что-то подобное, чтобы его было легко выращивать?
Для аналогичного размера и расширяемости мы используем Серверы supermicro 3U. Каждый сервер вмещает 14 дисков (на материнской плате имеется 14 встроенных портов sata, поэтому нам не пришлось покупать рейд-карту, и у нас остался 1 слот пустым в корпусах). Каждый диск доступен через АОЕ для интерфейсного сервера. У нас есть блоки RAID-10 из 14 дисков (с linux md), и они собираются вместе с LVM.
Если вы позаботитесь о том, чтобы не помещать любые два зеркальных диска блоков raid-10 на один и тот же внутренний сервер, то эта система является избыточной, она может даже выдержать потерю полного внутреннего сервера.
Его легко развить: просто купите еще один сервер, создайте рейд, расширите lvm на него, и вы готовы к работе. Мы используем XFS который поддерживает изменение размера онлайн.
В настоящее время мы используем диски емкостью 1 ТБ и 1,5 ТБ, а в будущем планируем использовать диски на 2 ТБ. Необязательно, чтобы все диски были одного размера, только если они находятся в одном блоке raid.
Для ваших нужд один сервер, заполненный 14 дисками по 1,5 или 2 ТБ, был бы хорошим началом. Для начала вам даже не понадобится отдельный интерфейсный сервер.
Наша установка может легко обеспечить пропускную способность 1 Гбит / с, я думаю, этого будет более чем достаточно для веб-службы.
Я могу помочь вам с более подробной информацией, если вам нравится идея.
Редактировать:
Еще несколько вещей:
Это своего рода доморощенное решение для хранения вещей бедняков. Если у вас есть бюджет, вы не хотите тратить время попусту и хотите добиться высочайшей надежности корпоративного класса, то вам, вероятно, стоит купить настоящий продукт SAN. Цена может быть в 10-30 раз выше, особенно если вы хотите купить 100 ТБ или больше. Это не означает, что вышеуказанное решение не работает - оно работает, и я думаю, что для многих целей дополнительная цена продукта SAN того не стоит.
по поводу скорости бэкэнда: к сожалению, я не могу назвать точные цифры или тестовые измерения. Но могу сказать, что даже 1 блок raid-10 из 14 дисков быстро. Если вам потребуется больше места, вы будете использовать больше серверных серверов, и общая скорость бэкэнд увеличится еще больше. Более того, если какой-либо из бэкэндов будет страдать от слишком большого количества одновременных пользователей (в чем я сомневаюсь), вы можете перейти от двухстороннего зеркалирования к трехстороннему или даже больше, улучшив скорость, время поиска и даже надежность.
о скорости внешнего интерфейса: интерфейс не должен делать ничего, кроме пересылки пакетов. Современный сервер должен легко поддерживать скорость даже 10 гигабит / с, поэтому в ближайшее время он не может стать узким местом.
Если вам не нужно локальное хранилище, я могу смело рекомендовать Nexsan SATABeast. Он может вместить 42 диска в корпусе 4U и, таким образом, может предоставить вам максимум 40 ТБ необработанного хранилища (RAID5 с 1 глобальным запасным). Он имеет как Fibre Channel, так и iSCSI, с возможностью использования двойных контроллеров с аварийным переключением (активный / активный).