Назад | Перейти на главную страницу

Файловая система для множества маленьких файлов

Я использую устройство NetApp в качестве хранилища NAS. У меня много маленьких файлов (30-60к) и каталогов. Например, у меня есть: 30000 каталогов с еще 1000-2000 каталогов.

Многие каталоги пусты, но в большинстве из них много файлов (30 КБ).

Стоит ли менять размер блока на Ext3?

Если вы используете NetApp в качестве NAS, то есть используете такие протоколы NAS, как NFS, CIFS / SMB, http и т. Д., Тогда вы не можете выбирать файловую систему, она использует файловую систему NetApp WAFL, вы не можете ее изменить. .

Если вы используете NetApp для обеспечения совместного использования на уровне блоков, например iSCSI / Fibre-Channel / FCoE, то не имеет значения, что он находится в NetApp - вы можете предположить, что он находится на локальном диске для всех целей. В этом случае, пожалуйста, используйте нашу функцию поиска, так как этот вопрос был задан много раз раньше.

Исходя из ваших требований, я бы порекомендовал ReiserFS. Тесты показывают, что ReiserFS оптимально работает с большим количеством небольших файлов по сравнению с другими файловыми системами. Ext3 далеко не оптимален для вашего сценария, даже с меньшим размером блока.

Однако, как уже упоминалось в одном из других ответов, если вы используете протокол NAS, вы, вероятно, не сможете выбрать файловую систему. Если вы используете его как блочное устройство, взгляните на следующий отрывок из Учебник по файловой системе Linux:

EXT2

  • Рекомендуется перейти на EXT3
  • Не в журнале
  • Контроль доступа POSIX

EXT3

  • Самая популярная файловая система Linux, ограниченная масштабируемость по размеру и количеству файлов
  • В журнале
  • Расширенный контроль доступа POSIX

JFS

  • Высокая производительность и масштабируемость
  • В журнале
  • Расширенный контроль доступа POSIX

ReiserFS

  • Лучшая производительность и масштабируемость при большом количестве файлов и / или небольших файлах
  • В журнале
  • Расширенный контроль доступа POSIX

XFS

  • Лучше всего подходит для очень больших файловых систем, больших файлов и большого количества файлов
  • Журналируемая (также доступна версия файловой системы с асимметричным параллельным кластером)
  • Расширенный контроль доступа POSIX