Я хочу отделить нашу функцию обслуживания изображений от нашего основного сервера. У нас есть почти полмиллиона изображений, к любому из которых можно получить доступ в любое время. Я исследовал использование кластера W2k8, подключенного к iSCSI SAN, и мне было интересно, есть ли лучший способ обеспечить избыточный способ обслуживания больших объемов изображений? Было высказано предположение, что потеря SAN и наличие копий изображений на каждом файловом сервере было бы лучшим решением - так ли это? ОС должна быть на базе Windows.
Спасибо,
Андрей
Могу я предложить перейти к Amazon S3 для хостинга изображений? В зависимости от вашей пропускной способности хранение и хостинг дешевы, и я считаю, что они намного надежнее и экономичнее, чем наличие собственной резервной SAN и системы распределения. Есть много успех рассказы.
Я знаю, что вы говорите, что ОС должна быть на базе Windows, но не уверены в ваших требованиях, поскольку интерфейс для S3 находится в Windows.
SAN означает, что вы получаете больше хранилища для определенного количества дисков.
Например. Если у вас есть 2 диска размером 1 ГБ, зеркально отображаемые на 10 хостах, это означает, что вы можете хранить примерно 1 ГБ образов, которые вы можете хранить.
OTOH, если у вас есть те же 20 дисков 1 Гбайт в зеркалированном SAN, вы можете хранить примерно 10 Гб образов.
Еще лучше - у вас есть эти 20 дисков в двух корпусах san, зеркально отображаемых на 2 сайтах, например. 10 дисков на сайте A 10 дисков на сайте B, а A и B являются зеркалами, то вы все равно получаете 10 ГБ хранилища, но повышаете устойчивость данных.
Т.е. сайт A может выйти из строя, и вы по-прежнему можете обслуживать данные с сайта B. (на самом деле у вас, вероятно, будет 9G, то есть 9 активных дисков и диск горячего резерва в каждом корпусе san).
Если вы также распределите свои серверы, по 5 на каждом сайте, вы также увеличите устойчивость всего сайта. Если сайт A выйдет из строя, вы потеряете 5 своих серверов, но остальные 5 по-прежнему будут обслуживать, и вы по-прежнему будете иметь доступ ко всем или своим данным.
Вы также избавляетесь от необходимости синхронизировать данные на 10 серверах с точным источником изображений. В зависимости от того, как вы планируете выполнять резервное копирование, резервное копирование также может быть проще с SAN, поскольку вам нужно будет сделать только одну резервную копию данных.
Единственная причина, по которой я могу потерять SAN, - это то, что вы не можете себе этого позволить и / или ваши требования к данным невелики, и вы не ожидаете, что они сильно вырастут.
Чем больше данных у вас есть, тем больше должна быть ваша экономия с подходом SAN, поскольку шкафы SAN становятся дешевле на каждый G, чем больше лотков / дисков вы вешаете на них.
Если вы используете iSCSI, убедитесь, что у вас есть выделенная VLAN и идеально выделенные коммутаторы для вашей сети iSCSI.
Вы можете обнаружить, что распределенное файловое хранилище является лучшим методом для избыточного хранения большого количества файлов. Обычно они включают специальный API для хранения файлов и доступа к ним, а не использование стандартных файловых операций. Затем система хранения отвечает за избыточное хранение ваших файлов. Классическим примером является Amazon S3, но это, вероятно, не будет идеальным решением для вас. Есть ряд продуктов, которые можно использовать. Я не использовал какие-либо продукты Windows, но вы можете посмотреть на стог сена Facebook, который может быть написан на Java, поэтому потенциально может работать в Windows. Другой пример - Livejournal MogileFS, но он работает на Perl и, когда я в последний раз смотрел, имел единственную точку отказа. Я уверен, что вы легко найдете еще несколько подобных товаров.
Это во многом зависит от ваших целей.
Кластер сделает изображения высокодоступными, но не обязательно повысит производительность.
Используя репликацию DFS, вы можете сделать ваши образы как высокодоступными, так и географически сбалансированными, что обеспечит НАМНОГО повышения производительности в глобальной компании. (Так Microsoft обрабатывает общий ресурс программного обеспечения) Однако, если образы сильно меняются, репликация DFS может немного отставать.
Вы также можете использовать несколько кластеров с балансировкой нагрузки через кластер NLB.
И тогда из вас можно пойти дальше и использовать комбинацию отказоустойчивого кластера, NLB и DFS !!!
На самом деле все зависит от ваших целей.
В нашем случае мы делимся нашими файлами прямо из SAN. Наш массив хранения NetApp представляет собой кластер 3020, который также действует как файловый сервер CIFS. Файлы хранятся непосредственно в сети SAN и предоставляются клиентам. Не уверен, есть ли у вашего проекта такое решение, но использование SAN с совместным использованием CIFS было для нас большим преимуществом.