В настоящее время у нас есть сервер Windows, на котором хранятся изображения для веб-проекта. Проект был действительно успешным, и мы наблюдаем проблемы с производительностью, и нам, очевидно, не хватит места в будущем с текущими 100k или около того изображениями, которые мы сохранили (на локальном диске).
Серверы представляют собой выделенные машины, размещенные в центре обработки данных в Великобритании, какие варианты доступны для масштабируемого хранилища файлов (в идеале мы можем разместить в том же центре обработки данных, поскольку образы должны быть доступны часто).
Для правильного хранения данных вам необходимо использовать дополнительное программное обеспечение, поскольку стандартные файловые службы и службы хранилища не могут консолидировать хранилище в единый пул, распределяя и реплицируя данные между хостами для достижения большей избыточности и производительность.
DFS имеет множество проблем, таких как отсутствие надлежащего механизма «блокировки» хранилища, что может привести к разделению мозга в случае сетевой изоляции, не может реплицировать открытые файлы, и его механизм не может определить, какая реплика «правильная», это может привести к некоторым проблемам в многосерверных средах.
Вы не можете уменьшить объем данных, поскольку мультимедийные данные имеют высокую энтропию, а дедупликация / сжатие не будут работать, а увеличение объема хранилища на одном сервере также является плохой идеей, поскольку в случае отказа этого сервера вы (временно) потеряете все данные.
Чтобы преобразовать существующие серверы на базе Windows в масштабируемые серверы хранения, которые создают единый общий пул хранения, лучшим вариантом будет использование некоторых программно-определяемых решений хранения, которые можно установить и запустить непосредственно в ОС Windows:
1) StarWind VSAN https://www.starwindsoftware.com/starwind-virtual-san
В качестве альтернативы есть хорошие варианты, которые работают как виртуальные машины поверх установленной роли Hyper-V:
2) HP VSA http://www8.hp.com/us/en/products/data-storage/free-vsa.html
3) EMC Unity VSA http://www.emc.com/products-solutions/trial-software-download/unity-vsa.htm
Если вы согласны с инвестициями в Windows Server 2016 Datacenter edition, возможно, вас заинтересует
4) Storage Spaces Direct https://technet.microsoft.com/en-us/windows-server-docs/storage/storage-spaces/storage-spaces-direct-overview
Если Windows не имеет решающего значения, вам обязательно стоит взглянуть на:
5) Цеф http://ceph.com/
Это не простое решение, кроме того, что Windows предлагает из коробки (текущее, и вам нужно RTFM; правда).
Проблема в том, что вы действительно НЕ ХОТИТЕ ОДИН магазин. Как насчет того, чтобы вы начали распределять образы по разным пулам хранения? Затем вы можете добавить дополнительные пулы по мере необходимости. Очевидно, вам нужно вести базу данных о том, что там есть.
Основное преимущество этого подхода заключается в том, что, хотя вы МОЖЕТЕ синхронизировать ужасно большое пространство для хранения и делать на нем резервные копии, это намного проще, если вы можете уменьшить его размер.
Теперь очевидно, что для каждого из этих шардов вы можете использовать что-то вроде дисковых пространств с репликацией DFS или зеркальным отображением более низкого уровня (напрямую с дисковыми пространствами). Благодаря этому любая аппаратная SAN выглядит действительно хорошим выбором (а стоимость лицензирования веб-проектов не так высока, учитывая цены SPLA).
Но даже тогда вы столкнетесь с проблемой в какой-то момент, таким образом, на логическом уровне.
Да, и купите подходящее оборудование. У SuperMicro есть несколько действительно хороших кейсов для интенсивного хранения. Вы говорите о внутреннем жестком диске? А как насчет футляра 2RU с местом для 80 дисков;)