Я пытаюсь понять все соответствующие последствия значения --max-obj-size, используемого при создании s3ql файловая система. Мне еще предстоит найти полное описание последствий этой опции, но я смог собрать воедино несколько фрагментов из документации и групп обсуждения.
В основном я нашел причины использовать большие значения --max-obj-size, что заставляет меня задуматься, почему бы не использовать произвольно большое значение (10 МБ? 100 МБ? 1 ГБ?):
Меньшие значения могут снизить пропускную способность (особенно для последовательные чтения).
С версии 1.8 журнал изменений:
На самом деле небольшой размер блока S3QL делает не иметь какое-либо преимущество перед большим размером блока при хранении большого количества маленьких файлов. Однако небольшой размер блока серьезно снижает производительность при хранении файлов большего размера. Это связано с тем, что S3QL эффективно использует динамический размер блока, а значение --blocksize merperformanceely определяет верхний предел.
Пока что единственные преимущества, которые я обнаружил или вообразил для блоков меньшего размера:
Возможно лучшая дедупликация
Параметр --min-obj-size не влияет на дедупликацию. Дедупликация происходит до группировки блоков.
Параметр --max-obj-size влияет на дедупликацию, поскольку он неявно определяет максимальный размер блока.
Нашел Вот:
Может ли кто-нибудь подытожить компромиссы, на которые приходится идти при выборе большего или меньшего --max-obj-size при создании файловой системы s3ql?