Есть ли файловая система, в которой файлы хранятся под хешем, чтобы не было дубликатов? Может быть под любой операционной системой. Я знаю, что это делает Git, но я ищу что-то, что может работать в режиме реального времени.
ZFS делает это, но это не дедупликация на уровне файлов. Лучше всего два: дедупликация на уровне блоков (промежуточным звеном между дедупликацией блоков и файлов является дедупликация байтов).
В Linux есть SDFS; однако ZFS имеет некоторые лучшие функции, такие как возможность использовать твердотельный накопитель в качестве хранилища хэш-таблиц, поэтому вы не потребляете огромное количество оперативной памяти для своей хеш-таблицы. ZFS называет это L2ARC.
На момент написания этого сообщения, пожалуйста, не используйте ZFS в Linux. В духовке ему нужно постоять еще несколько лет. Используйте BSD для ZFS.
Да. ZFS делает это, хотя может «исказить» ваше определение «реального времени».