У меня довольно большое приложение, которое требует одновременного доступа к довольно большому количеству (300+) больших файлов и обращается к ним, читая их все одновременно.
Если все файлы помещаются на 1 диск (если у меня есть даже достаточно большой диск), скорость выполнения приложения падает до минимума. Чтобы обойти это, я распределяю файлы по нескольким физическим дискам и машинам, NFS монтирует разделы и использую сценарии bash для создания множества символьных ссылок, чтобы все файлы находились в одном огромном каталоге. Это творит чудеса для повышения скорости выполнения, разделение на 3 диска увеличивает скорость выполнения в 10 или более раз.
Есть ли у кого-нибудь предложения по менее громоздкому способу настройки? Я опасаюсь, что чередование, как в RAID или Gluster, может работать не очень хорошо, поскольку высокая скорость чтения любого файла никогда не требуется, но всегда требуется большое количество одновременных обращений.
Короче говоря, я бы поместил диски в локальную систему и поэкспериментировал с разными размерами блоков RAID, чтобы оптимизировать производительность, и серьезно подумал бы о покупке SSD вместо этого.