Назад | Перейти на главную страницу

Как изменяется IOPS хранилища в зависимости от емкости диска?

При прочих равных, как изменится производительность IOPS массива хранения, если использовать диски большего размера.

Например, возьмем массив из 10 дисков по 100 ГБ.

Измерьте количество операций ввода-вывода в секунду для последовательной записи блоков размером 256 КБ (или любой другой показатель операций ввода-вывода в секунду)

Предположим, что полученное измеренное значение IOPS составляет 1000 IOPS.

Замените массив на один с 10 дисками по 200 ГБ. Форматирование с такой же конфигурацией RAID, одинаковым размером блока и т. Д.

Можно ли ожидать, что IOPS останется прежним, увеличится или уменьшится? Будет ли изменение примерно линейным? то есть увеличить в 2 раза или уменьшить в 2 раза (поскольку я увеличил емкость диска в 2 раза)

Повторите эти вопросы с 10 дисками по 50 ГБ.

Изменить: больше контекста

Этот вопрос стал результатом разговора между моей командой системных администраторов, которая не очень хорошо разбирается в хранении данных. (Удобно со многими аспектами хранения, но не с деталями управления SAN или чем-то еще). Мы получаем большую кучу новых лотков NetApp с большей емкостью диска на диск - вдвое большей, чем у наших существующих лотков. Появился комментарий, что IOPS новых лотков будет ниже только потому, что диски были больше. Затем для объяснения этого пришла аналогия с автомобилем. Ни один из комментариев меня не устроил, поэтому я хотел передать его команде, то есть Stack-Exchange-land.

По аналогии с автомобилем речь идет о двух машинах с разным ускорением, одинаковой максимальной скоростью и пробегом в четверть мили. Затем измените расстояние на полмили. На самом деле, я не могу вспомнить точную аналогию, но, поскольку я нашел еще одну аналогичную аналогию в interwebz, я подумал, что это, вероятно, обычная аналогия IOPS.

В некотором смысле фактический ответ на вопрос не имеет большого значения для меня, поскольку мы не используем эту информацию для оценки покупки. Но нам действительно нужно оценить лучший способ прикрепления лотков к существующей головке и лучший способ вырезать агрегаты и объемы.

Я знаю, что это, вероятно, гипотетический вопрос ... Но мир ИТ действительно так не работает. Необходимо учитывать реальные ограничения, а также другие вещи, которые жестяная банка влияют на IOPS ...

  • Диски на 50 и 100 ГБ больше не существуют. Думай больше: 72, 146, 300, 450, 600, 900, 1200 ГБ в корпоративных дисках и 500, 1000, 2000, 3000, 4000, 6000 ГБ на носителях ближнего / среднего размера.

  • В современном хранилище так много абстракции; кэширование дисков, кэширование контроллеров, разгрузка SSD и т. д., различия в которых трудно различить.

  • Вам необходимо учитывать различные форм-факторы привода, интерфейсы и скорости вращения. Диски SATA имеют другой профиль производительности, чем SAS или nearline SAS. Диски 7200 об / мин работают иначе, чем 10 000 или 15 000 об / мин. И доступность различных скоростей вращения ограничена определенными возможностями.

  • Схема физического контроллера. Расширители SAS и контроллеры RAID / SAS могут влиять на количество операций ввода-вывода в секунду в зависимости от структуры диска, превышения лимита подписки, от того, является ли соединение внутренним по отношению к серверу или во внешнем корпусе. Большое количество дисков SATA плохо работает с расширителями и в условиях сбоя диска.

  • На некоторые из них может повлиять фрагментация, используемая емкость дискового массива.

  • Когда-либо слышал о кратковременный?

  • Программный и аппаратный RAID, предварительная выборка, адаптивное профилирование ...

Что заставляет вас думать, что емкость могла бы любой влияние на производительность в первую очередь? Можете ли вы предоставить больше контекста?

Редактировать:

Если тип диска, форм-фактор, интерфейс и используемая емкость одинаковы, то заметной разницы в IOPS быть не должно. Допустим, вы переходили с корпоративных дисков SAS 10k объемом 300 ГБ на 600 ГБ. При том же количестве шпинделей вы не увидите разницы в производительности ...

Однако, если дисковые полки NetApp, о которых вы упомянули, используют объединительные платы SAS 6 Гбит / с или 12 Гбит / с вместо прежних 3 Гбит / с, вы можете увидеть изменение пропускной способности при переходе на новое оборудование.

Одно место, где есть является прямая связь между размером диска и IOPS находится в Облако Amazon AWS и другие «облачные сервисы». Два типа сервисов AWS (Магазин эластичных блоков и Служба реляционной базы данных ) обеспечивают более высокий IOPS для дисков большего размера.

Обратите внимание, что это искусственное ограничение размещены Amazon на своих сервисах. Для этого нет никаких аппаратных причин. Однако я видел типы DevOps которые не знакомы с невиртуализированным оборудованием, полагая, что это ограничение применимо также для настольных систем и т.п. Отношение размера диска к количеству операций ввода-вывода в секунду является ограничением облачного маркетинга, а не аппаратным.

Чтобы ответить на ваш вопрос напрямую - при прочих равных = никаких изменений при изменении ГБ.

Вы не измеряете IOPS с помощью ГБ. Вы используете время поиска и задержку.

Я мог бы все это переписать здесь, но в приведенных ниже примерах это уже сделано, и я бы просто повторил это:

https://ryanfrantz.com/posts/calculating-disk-iops.html

http://www.big-data-storage.co.uk/how-to-calculate-iops/

http://www.wmarow.com/strcalc/

http://www.thecloudcalculator.com/calculators/disk-raid-and-iops.html

Я должен отметить, что количество операций ввода-вывода в секунду не является отличным показателем скорости последовательной записи, но давайте продолжим.

Я подозреваю, что время поиска и записи головок дисков довольно стабильно, несмотря на размер дисков. 20 лет назад мы все использовали диски емкостью 60 ГБ с (примерно - конечно, не линейно) одинаковой скоростью чтения / записи.

Я делаю обоснованное предположение, но не думаю, что плотность диска линейно связана с производительностью диска.

Например, возьмем массив из 10 дисков по 100 ГБ.

Измерьте количество операций ввода-вывода в секунду для последовательной записи блоков размером 256 КБ (или любую метрику операций ввода-вывода в секунду)

Предположим, что полученное измеренное значение IOPS составляет 1000 IOPS.

хорошо

Замените массив на один с 10 дисками по 200 ГБ. Форматирование с такой же конфигурацией RAID, одинаковым размером блока и т. Д.

Можно ли ожидать, что IOPS останется прежним, увеличится или уменьшится?

Вероятно, останутся примерно равными друг другу.

Будет ли изменение примерно линейным?

История вращающихся медиа подсказывает мне, что, вероятно, нет никакой связи.

Повторите эти вопросы с 10 дисками по 50 ГБ.

Опять же, примерно эквивалентно.

Ваша скорость во всех этих случаях зависит от того факта, что RAID действует как один диск с десятью записывающими головками, поэтому вы можете отправлять 1/10 часть работы параллельно каждому диску.

Хотя у меня нет точных цифр, чтобы показать вам, мой прошлый опыт подсказывает мне, что увеличить производительность ваших дисков не так просто, как увеличить емкость.

Несмотря на то, что маркетологи говорят вам об инновациях, до появления дешевых (более) твердотельных дисков за последние 20 лет производительность вращающихся носителей не претерпела значительных изменений, по-видимому, есть только так многое можно извлечь из ржавчины и только так быстро мы можем получить наши текущие модели дисковых головок.

Производительность, добавляемая к хранилищу, увеличивается с каждым добавленным шпинделем. Скорость вращения диска является самым большим фактором, поэтому добавление диска со скоростью 10 000 об / мин даст большую производительность (с точки зрения операций ввода-вывода в секунду при произвольном вводе-выводе или МБ / с при потоковом вводе-выводе), чем привод на 7,2 тыс. Об / мин. Размер диска практически не влияет.

Люди говорят, что маленькие диски работают быстрее просто потому, что вам требуется больше шпинделей на один полезный ТБ. Увеличение размера дисков этих шпинделей не снизит производительность, но позволит вам разместить на дисках больше данных, что может привести к увеличению рабочей нагрузки.

Если предположить, что все остальное одинаково, характеристики производительности дисков большей емкости не сильно меняются. Накопитель FC со скоростью вращения 10 000 об / мин имеет очень похожие характеристики независимо от того, 300 ГБ или 3 ТБ. Пластины вращаются с одинаковой скоростью, а головки стремятся с одинаковой скоростью.

Точно так же стабильная пропускная способность - особой разницы нет. Это корень многих проблем с производительностью, поскольку во многих случаях люди покупают терабайты, а не IOP или МБ / с.

И восстановление / копирование диска 3 ТБ займет в 10 раз больше времени, чем диска 300 ГБ.

В результате нам действительно пришлось обратить внимание на значительную избыточную емкость для проектов хранения данных - размеры дисков все еще растут, но их производительность невелика. Итак, по крайней мере, в одном случае мы купили ~ 400 ТБ хранилища, чтобы удовлетворить потребность в 100 ТБ, потому что нам нужны шпиндели.

Если вы вращаете диски (не SSD), то при прочих равных скорость передачи выше, если вы используете внешние дорожки диска. Это произойдет автоматически, если вы используете диск, который заполнен только частично. В то же время, если диск заполнен только частично, ваше среднее движение головы будет меньше, а количество движений головы будет меньше, потому что на дорожку больше данных.

Это верно независимо от того, используете ли вы один диск или RAID-массив.

Теперь, если вы сравниваете диски 100 ГБ и 2000 ГБ, вы можете быть уверены, что все остальное не равно. Но если один и тот же производитель предлагает диски емкостью 500 ГБ, 1 ТБ, 1,5 ТБ и 2 ТБ с одной, двумя, тремя и четырьмя пластинами, тогда все остальное, вероятно, будет равным, и 10 x 500 ГБ будут медленнее, чем 10 x 2 ТБ для хранения 4 ТБ данных. (не будет никакой разницы, если вы сохраните только 100 ГБ, потому что диски на 500 ГБ также будут почти пустыми).

Но для дисков RAID вы будете ограничены не столько скоростью передачи, сколько задержкой вращения. Так что более высокие обороты будут важнее. И вы часто встретите более высокие обороты вместе с более низкой производительностью. С другой стороны, если вы используете высокие обороты / низкую емкость, вы также можете посмотреть на SSD-диски.