Наше веб-приложение хранит несколько миллионов файлов для долгосрочного архивирования. Мы планируем настроить несколько веб-серверов для обеспечения избыточности и балансировки нагрузки, поэтому нам нужен способ хранения файлов таким образом, чтобы несколько веб-серверов могли читать и записывать файлы.
Два сервера никогда не будут записывать в один и тот же файл одновременно. Фактически, мы пишем один раз и никогда не изменяем файлы. Мы также редко читаем файлы, поскольку это в основном архивная система.
Я думал об использовании общего ресурса NFS / SMB, но кто-то в моей компании упомянул, что NFS / SMB имеет серьезные проблемы с производительностью, когда общий ресурс содержит миллионы файлов.
Все, что мне удалось найти, это проблемы с производительностью, связанные с очень большими каталогами, но поскольку наши каталоги разделены по годам / месяцам / дням / часам (2017/04/24/18), наши каталоги не становятся такими большими ( и при необходимости мы могли бы легко разделить файлы дальше).
Есть ли какие-либо известные проблемы с общими ресурсами SMB или NFS, на которых размещены десятки миллионов файлов? Есть ли лучший вариант?