У меня есть отдельный диск для каждого из моих серверов OSD ceph. Каждый хост OSD имеет 4 диска с данными. Один диск с журналом обслуживает 4? Общий диск с журналом? Должен ли быть раздел для каждого диска с данными?
Если у вас есть только эти четыре диска на каждый хост OSD, и все диски имеют одинаковую производительность, то обычная / рекомендуемая установка будет состоять в том, чтобы иметь одно OSD на диск (т.е. 4 на сервер), и каждый OSD будет иметь свой файл журнала на одном и том же диск как данные.
Другой популярный (по крайней мере, исторически) вариант - иметь журналы на отдельных дисках, оптимизированные для пропускной способности записи и задержки; обычно твердотельные накопители, в идеале твердотельные накопители с «защитой от потери питания», чтобы они могли быстро подтверждать «синхронизирующую» запись без необходимости записи во флеш-массив (что может быть несколько медленным). В этой настройке принято разделять журнал SSD между несколькими дисками OSD (данными). Например, наши серверы OSD имеют 8 или 10 жестких дисков для Ceph OSD, а журналы распределены по двум SSD.
Если ваши данные и журнал находятся на одном физическом диске, я бы лично поместил их в один раздел / файловую систему. В основном потому, что я был бы обеспокоен тем, что, если бы они были в разных разделах, тогда было бы много движения головы, когда OSD / файловая система чередуется между записью журнала и (фоновой) записью данных. Я не уверен, что это действительно проблема, и, конечно, на SSD это не так. В общем, отдельные разделы дают вам некоторые возможности оптимизации, то есть разные параметры файловой системы или даже типы файловой системы, или вообще отсутствие файловой системы для журнала. Это происходит за счет сложности эксплуатации, например, когда добавление или изменение размера журнала требует перераспределения диска.
В нашей настройке с данными о вращающихся дисках и журналах на (меньшем) отдельных твердотельных накопителях у нас есть один раздел на каждый вращающийся диск (OSD) и выделенный раздел «журнала» на каждом SSD; каждый раздел содержит 4–5 журналов в виде файлов. Размер наших файлов журнала составляет 6 ГБ каждый, поэтому размер разделов журнала составляет 40 ГБ или около того.
Эта установка была разработана на основе многолетнего опыта и соображений относительно срока службы SSD и эффективности файловой системы / SSD (задержка, пропускная способность). Это не обязательно оптимально, но тогда это сложная область ... Журналы OSD имеют особую схему доступа: запись только в кольцевой буфер с частой синхронизацией. И SSD могут иметь большие различия в задержке (особенно при записи) в зависимости от использования (и производительности контроллера и файловой системы); а пики задержки могут усугубляться тем фактом, что Ceph подтверждает запись только тогда, когда N (обычно 3) записи зафиксированы в стабильном хранилище. В общем, я думаю, что это все еще немного (темная?) Наука, и вам обязательно нужно принять ожидаемое шаблоны использования Примите во внимание, поэтому примите все рекомендации с недоверием, особенно эти здесь.
Да, и все, что я сказал, относится к "классическому" Ceph, где данные хранятся в файловой системе, такой как XFS / ext4 / ... С приближающимся "BlueStore" эти соображения могут (все) больше не применяться.