Относится к этот вопрос об использовании SSD для системы и HDD для данных, за исключением того, что я хочу, чтобы моя система делала это автоматически ...
Возможно ли иметь несколько уровней хранения и автоматически передавать элементы между ними, предпочтительно с использованием бесплатного программного обеспечения с открытым исходным кодом?
Я знаю очень дорогие решения корпоративного класса, такие как EMC SAN->EMC Centera автоматическое архивирование, но мне было интересно, возможно ли такое поэтапное хранение автоматически.
Было бы неплохо иметь в нем несколько уровней: Память-> SSD-> HDD-> более медленный жесткий диск или лента или какое-либо другое архивное решение.
Существуют ли файловые системы, которые могут делать это автоматически? (ZFS, Btrfs, МОЛОТОК?)
любой Unix-варианты хороши, так как мне интересно, как это работает и будет ли он переносимым на Linux или другие разновидности (BSD и т. д.).
Ну, ZFS использует многоуровневое хранилище, называемое Гибридный пул хранения (HSP):
С HSP легко автоматически воспользоваться преимуществами твердотельных накопителей по сравнению с решением только с жесткими дисками. Система, использующая HSP, может быть как быстрее, так и дешевле последней. Видеть эта ссылка для хороших примеров и более подробной информации.
Я думаю есть планы относительно иерархическое управление хранилищем (HSM) для ZFS (см., например, Автоматический перенос данных (ADM) OpenSolaris), но я не знаю его текущего статуса.
TIER, кажется, отвечает вашим потребностям. Это модуль ядра Linux, который может создавать многоуровневое хранилище. Кажется, что он сам узнает шаблон и оптимизирует размещение в хранилище
Ознакомьтесь с решением "lvmts" (LVM Tiered Storage) на основе LVM, которое готовит этот парень:
https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640
Довольно круто.
Некоторые релевантные ссылки. YMMV.
http://code.google.com/p/fscops/ - «Online Hierarchical Storage Manager (OHSM) - первая попытка создать менеджер хранилища данных с открытым исходным кодом корпоративного уровня, который автоматически перемещает данные между дорогостоящими и недорогими носителями».
http://www.tack.ch/unix/dmapi/ - XFS + DMAPI под Linux
http://jfs.sourceforge.net/ - JFS + DMAPI под Linux
Отвечая на свой вопрос тем, что я только что нашел:
Я просто обновлял ядро и смотрел на то, что было добавлено, и теперь есть опция "КЭШЕФИЛИ" что позволяет кэшировать (обычно удаленные) файловые системы в локальную файловую систему. Думаю, я мог бы использовать это для кеширования более медленного механизма хранения (HDD) на более быстрый (SSD), по крайней мере, для одного уровня иерархии.
Контроллеры RAID предлагают некоторые из этих функций.
«Использование твердотельных накопителей перед томами жестких дисков для создания высокопроизводительных пулов кэш-памяти контроллеров»
http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx
На ум приходят снимки LVM2 ... но вы не можете сделать больше одного снимка.
SAM-QFS это существующий продукт Sun, исходный код которого был открыт в прошлом году. Это CDDL, поэтому вы можете напрямую перенести его только на * BSD.