Кажется, что Linux mdadm производит меньше операций записи и операций в секунду по мере того, как в массив добавляется больше дисков. Например, я протестировал следующие конфигурации, со значениями по умолчанию, кроме изменения планировщика ввода-вывода на дедлайн и профиля настроенного ADM на пропускную способность:
Материнская плата оснащена двумя процессорами E5, оперативной памятью DDR4 и 10 портами SATA3. SSD - это 10 накопителей Samsung 850 Pro. ОС - CentOS 7 64. (CentOS 6.7 была действительно плохой). ФС - это xfs.
Примерно с 4-6 дисками скорость последовательной записи в обход кэша составляет примерно от 800 МБ / с до 1 ГБ / с. Скорость записи с кешем составляет примерно 2-3 ГБ / с.
Выполняя различные тесты fio, iops, кажется, достигает максимума около 80 000 операций в секунду с прямым флагом и, конечно, 800 000+ без прямого флага.
Размер блока по умолчанию - 512 КБ. Перегородки кажутся выровненными правильно.
Когда в массив добавляется больше дисков, скорость ввода-вывода в секунду остается неизменной для всех, примерно 60-80 000 операций в секунду, и не увеличивается линейно с дополнительными дисками.
Кроме того, при добавлении дополнительных дисков скорость последовательной записи резко падает, как если бы это был только один диск. Тестирование одного диска как для операций ввода-вывода в секунду, так и для последовательной записи дает около 70 000 операций ввода-вывода в секунду (на основе процента RW) и 400-500 МБ / с. Последовательные несколько ниже для всех 10 дисков в массиве, между 300-500 МБ / с.
Однако последовательная запись не является преградой на пути к заключению сделки, и мне интересно, есть ли в mdadm узкое место или ограничение, которое упускается из виду. С 4-6 дисками работает отлично. После 6 дисков производительность, похоже, остается такой же или падает, особенно при любой последовательной записи.
РЕДАКТИРОВАТЬ после некоторого дополнительного тестирования я могу получить последовательное ускорение при выполнении очень больших операций записи, таких как 20 ГБ, 40 ГБ 80 ГБ и т. д. Тест dd с 42 ГБ дал 640 МБ / с с fdatasync.
Я также понимаю, что dd не идеален для тестирования SSD - это не мой вопрос, я пытаюсь понять, откуда происходит падение при выходе за пределы 4-6 дисков.