В настоящее время мы храним наши фотографии в такой структуре:
папка \ 1 \ 10000 - 19999.JPG | ORF | TIF (10 000 файлов)
папка \ 2 \ 20000 - 29999.JPG | ORF | TIF (10 000 файлов) и т.д ...
Они хранятся на 4 различных NAS-серверах D-link емкостью 2 ТБ, подключенных к нашей офисной сети (\\ nas1, \\ nas2 и т. Д.).
Проблемы:
1) Когда клиент (только для Windows, Vista и 7) желает просмотреть, скажем, папку \\ nas1 \ folder \ 1 \, производительность оказывается довольно низкой. Проблема. Создание списка в окне проводника занимает много времени. Даже с выключенными иконками.
2) Первоначальный доступ к самому NAS иногда бывает медленным. Проблема.
Диски SAN нам не по карману. Даже с интерфейсом iSCSI / технологией переключения.
Я прочитал много технических страниц, в которых говорилось, что хранение более 100 000 файлов в одной папке не должно быть проблемой. Но мы не решаемся туда сейчас, когда у нас проблемы на уровне 10К.
Весь вклад очень признателен,
/ Т
1: да, Проводнику не нравится 10.000 элементов в каталоге. 1000 лучше. Это НЕ проблема файловой системы - вы можете безопасно хранить 100 000 файлов в папке и эффективно работать с ними из командной строки. Проводник работает медленно.
2: Диск Velociraptor 600 ГБ. 10.000 об / мин. Быстро. Нужно больше, чем получить деньги для SAS. Или подождите, пока все станет дешевле. Если мне нужен грузовик, мне нужно за него заплатить.
Вам нужно взглянуть на программное обеспечение для управления цифровыми активами. Программное обеспечение DAM создано для управления большими коллекциями фото / видео / аудио. Обычно они подкреплены базой данных для управления каталогами мультимедиа. Одним из примеров является MS iView
Бьюсь об заклад, в коробке dlink не хватает ЦП или ОЗУ.
Мы храним миллионы новых файлов изображений в день.
Windows не любит большое количество файлов в папке. На наших машинах с Windows количество папок не превышает 10 КБ.
Linux с использованием SAMBA - лучшее решение для управления уровнем представления, чем CIFS в Windows. Мы накладываем на него apache, чтобы пользователи могли просматривать необработанные файлы, а также у нас есть база данных, которая поможет им получить то, что им нужно, с помощью простого веб-приложения для детализации. Мы написали собственное решение для управления изображениями, так как во всех версиях есть проблемы.
Общее количество файлов на LUN составляет около 80 миллионов или 2 ТБ.
Мы используем rsynch для резервного копирования на другую дисковую систему, а затем отправляем его на ленту, когда том становится неактивным.
Вы должны быть очень осторожны с дисками на каждую группу рейдов и тщательно управлять своими операциями ввода-вывода на всем протяжении технологического стека. очень легко исчерпать запасы бензина, и с большим количеством данных, поступающих на вас, если вы отстанете, вам будет очень больно.
CPU, RAM, Raid-карта, шпиндели, mobo, сеть - все должно быть максимально быстрым из возможных.
Много шпинделей и плата pci 2.0 LSI на LGA1366 Mobo с как минимум x5550 - это то, что нужно.
Нам очень нравится линейка икры seagate для настольных ПК, поскольку она быстрая и дешевая.
Я бы построил нестандартную коробку с большим количеством шпинделей.
Вы должны использовать систему DAM для отслеживания этих изображений. Мне нравится идея хранить их на NAS при условии, что вы можете их резервировать, но вы бы хотели, чтобы приложение, управляемое базой данных, отслеживало, какой файл там находится, и, если возможно, предоставляло базу данных с возможностью поиска по эскизам. Мне повезло с Extensis Portfolio на низком уровне.
Проверять, выписываться: http://www.razuna.com/