Ceph слишком медленный и как его оптимизировать?

Установка представляет собой 3 кластерных Proxmox для вычислений, 3 кластерных узла хранения Ceph,

ceph01 8 * 150 ГБ SSD (1 используется для ОС, 7 для хранения)
ceph02 8 * 150 ГБ ssds (1 используется для ОС, 7 для хранения)
ceph03 8 * 250 ГБ ssds (1 используется для ОС, 7 для хранения)

Когда я создаю виртуальную машину на узле proxmox с использованием хранилища ceph, я получаю скорость ниже (пропускная способность сети НЕ является узким местом)

Запись на ВМ, где hdd в Ceph

[root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 46.7814 s, 23.0 MB/s

[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 15.5484 s, 69.1 MB/s

Запись на ВМ, где hdd в proxmox
для сравнения ниже приведена виртуальная машина на proxmox, ssd в том же модальном режиме,

[root@localhost ~]# dd if=/dev/zero of=./here bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 10.301 s, 104 MB/s

[root@localhost ~]# dd if=/dev/zero of=./here bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 7.22211 s, 149 MB/s

У меня ниже бассейн цефалона

size/min = 3/2
pg_num = 2048
ruleset = 0

Запуск 3 мониторов на одних и тех же хостах, журналы хранятся в каждом собственном OSD Запуск последней версии proxmox с Ceph Hammer

Есть ли предложения о том, где нам следует искать улучшения? Это пул Ceph? Это журналы? Имеет ли значение, находится ли журнал на том же диске, что и ОС (/ dev / sda) или OSD (/ dev / sdX)?