У нас есть огромное и постоянно растущее количество изображений Windows и других больших файлов. Я предполагаю, что большинство файлов идентичны в нескольких файлах.
Есть ли система сжатия или, может быть, даже файловая система, которая обнаруживает это?
Да, вам нужен метод, называемый «дедупликация». Это не похоже на сжатие, которое просматривает отдельные файлы, оно ищет повторение на уровне блоков - поэтому, если у вас был миллион копий одного и того же файла, он должен сохраните только одну реальную копию, а затем просто обратитесь к ней с помощью миллиона указателей. Сообщите нам, какую ОС вы ищете, и я постараюсь найти программу, которая сделает это за вас «на сервере». Очень часто это функция системы NAS / SAN, например файловые системы NetApp.
Вы можете попробовать DZO (все еще в бета-версии) из http://essensolabs.com/ который сочетает в себе дедупликацию и сжатие без потерь.
Вы имеете в виду «образы», как в файлах ISO / WIM, или просто структуры каталогов, содержащие различные установочные образы Windows?
Если последнее, Windows Storage Server 2003 R2 использует Одноэкземплярное хранилище, что является причудливым способом сказать, что он обнаруживает несколько копий идентичных файлов, сохраняет их в общем хранилище SIS и размещает ссылки в тех местах, где файлы должны быть. Это происходит в нижней части файловой системы и прозрачно для приложений.
Проблема в том, что вы не можете просто приобрести лицензии на продукт WSS, он доступен только через OEM-партнеров, поэтому вам придется покупать новый компьютер у HP, Dell и т. Д., На котором работает WSS.