есть ли связь между объемом памяти и количеством процессоров, необходимых для его обработки? если у меня есть 100 ГБ данных за ночь, поступающих через толстую трубу удаленно с 50 разных сайтов, так что общий объем данных за 18-часовой период составляет 100 ГБ, и я хотел бы иметь NAS или систему хранения на 20 ТБ, получающую их, делает ли сервер NAS необходимо иметь, например, 1 xeon или должен быть двойной процессор с многоядерностью и т. д.
Назначение NAS - резервирование данных в полевых условиях. Предположим, что нет проблем с пропускной способностью, и мы будем использовать толстые каналы для перемещения данных, меня беспокоит одновременная передача по конвейеру отдельных географических экземпляров 2 ГБ данных, поступающих с 50–100 отдельных сайтов. Я не хочу, чтобы у меня возникали проблемы с чтением / записью или пропадание / сбой синхронизации.
Мне нужно направление, чтобы начать тестирование с этой идеей, так что если мне придется перемещать такой объем данных на сервер NAS каждую ночь.
если это слишком расплывчатый вопрос, я могу уточнить его подробнее, спасибо.
Отношение было бы не столько чистым вопросом space: cpu. В зависимости от решения, к которому вы стремитесь, вам может потребоваться мощность процессора для таких функций, как дедупликация, сжатие, шифрование или вычисление хешей / контрольной суммы.
Простой процесс копирования данных не повлечет за собой больших накладных расходов ЦП, если у вас нет действительно плохо спроектированной системы. Ваша потребность в 100 ГБ на 18 часов в среднем составит 1,58 МБ / секунду - даже нетбук в наши дни справится с этим.
Вам также следует сконцентрироваться на бэкэнде ввода-вывода, который вы используете. Хотя запись 1,58 МБ / с не кажется такой уж сложной задачей, использование для этого 50–100 одновременных процессов приведет к большой загрузке случайной записи. Жесткие диски плохо справляются со случайными (записывающими) нагрузками, так как они потребуют много времени, требующего головных поисков, поэтому вам понадобится что-то, что смягчает случайность - например, кэш записи DRAM или SSD.
Вычислительная мощность, необходимая для обработки хранилища, зависит от многих факторов. В наши дни обработка хранилища - это распределенный процесс. Но разные места, где встречается обработка:
Все вышеперечисленное обеспечивает многократную обработку входящих запросов к хранилищу. Выполнение 6,2 МБ / с ввода-вывода чистой записи вызовет определенную нагрузку, но диапазон нагрузки, испытываемой системой, может варьироваться от незначительной до критической, в зависимости от того, как действуют все вышеперечисленные факторы.
Например, Windows Server 2008R2 на реальном серверном оборудовании с парой дисков на аппаратном RAID-контроллере может потреблять эти 6,2 МБ / с днем и ночью и почти не беспокоиться (без плохих драйверов), даже на относительно старом 64-битном Pentium. 4 процессора. FreeNAS на базе процессора Core2, выполняющего ту же скорость записи по AFP, может не справиться с этим.
Это длинный способ сказать, что сохраненные терабайты - очень плохой предиктор загрузки процессора.