Я разрабатываю систему видеонаблюдения, которая записывает и транслирует множество видеопотоков со многих удаленных IP-камер.
Один сервер будет работать на одной машине, которая обрабатывает около 500 видеопотоков (250 кбит / с на видеопоток). Один сервер будет частью большой серверной фермы, которая управляется одним простым сервером (здесь неважно).
Теперь я инженер-программист, и они поручили мне найти подходящее оборудование для работы моих серверов ... И я понятия не имею, что мне нужно!
Могу ли я установить Linux и настроить пару быстрых жестких дисков в RAID, и могу ли я иметь такую же производительность, как какое-нибудь дорогое решение для хранения данных?
Сколько процессоров мне нужно, материнская плата, другие?
Жесткие диски какой марки лучше всего подходят для этого?
Есть ли водяное охлаждение для HDD?
Простите за глупые вопросы, но я пишу софт, использую ПК и это все детали оборудования, которые мне нужно знать на работе ... :)
1. Могу ли я установить Linux и настроить пару быстрых жестких дисков в RAID, и могу ли я иметь такую же производительность, как какое-нибудь дорогое решение для хранения?
Нет. Я бы по крайней мере выбрал приличный аппаратный рейд-контроллер (моя ставка - Adaptec). Основная причина в том, что ваша установка Linux плохо настраивается просто из-за отсутствия оптимизированного оборудования. А именно: вы не можете безопасно использовать кэширование с обратной записью, потому что в случае сбоя питания диски могут стать помешанными. Вы МОЖЕТЕ сделать это в Adaptec 5805Z или 5805 с BBU, потому что в случае сбоя питания встроенный кеш в безопасности (в течение некоторого или более длительного времени - BBU работает 2 дня, модель Z записывает данные во флеш-модуль). Технически, кстати, это я все еще использую Linux (на контроллере).
2.Сколько процессоров мне нужно, материнская плата, другие?
Совершенно неактуально. Вы не привязаны к ЦП, если не выполняете сжатие. Достаточно любого процессора, даже ATOM. Опять же, если вы не делаете больше, чем просто пропускаете потоки через диск, у вас вряд ли возникнет проблема с процессором.
3. Жесткие диски какой марки лучше всего подходят для этого?
Western Digital. Конкретнее: Velociraptors, если вам нужна достойная производительность по приемлемой цене. Единственный привод со скоростью вращения 10 000 об / мин, уступающий намного более дорогому диску SAS. В зависимости от ваших потребностей в вводе-выводе вы можете обойтись большими и медленными дисками. Это нужно проверить, и многое зависит от вашего кода.
Приобретите сервер от SuperMicro - 2 стойки в высоту, место для 24 жестких дисков (форм-фактор 2,5). Достаточно места для расширения. Я бы, возможно, начал с 8 дисков в конфигурации RAID 10. Несколько клеток могут быть подчинены друг другу. Требуется контроллер SAS RAID (как упомянутые выше Adaptecs).
4. Существует ли водяное охлаждение жестких дисков?
Да, но для сервера это совершенно не актуально. Это в основном для osmoen, создающего бесшумный ПК с полным водяным охлаждением и желающего избавиться от высокой температуры HD без вентилятора.
Как долго вам нужно хранить записи?
Вы будете загружать примерно 16 МБ в секунду или около 1,25 ТБ в день.
Ваш дисковый массив должен быть большим, но не очень быстрым. Если ваше записывающее программное обеспечение немного буферизует, у вас даже не будет много iops. Я легко вижу, как программный рейд Linux, как вы упомянули, справляется с этой нагрузкой, особенно если вы дадите ему пару ГБ оперативной памяти для буферизации. Это предполагает достойное программное обеспечение.
Если вы не перекодируете видео в другой формат, вам не понадобится для этого много процессора, подойдет любой современный Intel / AMD. Вам понадобится гигабитный нетверк.
В марка трудно ответить, я бы получил некоторую избыточность (raid5) и купил бы дешевые диски SATA от любого уважаемого бренда.
Для охлаждения (и надежности) я бы получил массивное шасси, в котором поместится необходимое вам количество дисков. Шасси будет обеспечивать необходимый поток воздуха для охлаждения дисков. Имея текущую информацию, я не вижу необходимости переходить на водяное охлаждение.
Я отказываюсь от своего первоначального ответа, так как я перепутал 125 мегабит со 125 гигабитами. Мне стыдно.
Но, конечно, от этого все становится немного проще :)
Итак, на ваши вопросы:
Вроде, как бы, что-то вроде. Вы можете получить неплохую производительность, которой в данном случае должно быть более чем достаточно. Я бы рекомендовал использовать как можно больше дисков и, возможно, аппаратный RAID-контроллер. Это позволяет, среди прочего, легко заменять поврежденные диски без каких-либо проблем со стороны ОС. И, кстати, приобретите чехол с отсеками для дисков с возможностью горячей замены.
Это в основном зависит от того, что вы хотите делать. Системная плата серверного уровня с двумя сокетами для 4-ядерного CPUS и соответствующими процессорами должна подойти только для хранения. Тем не менее, я бы порекомендовал много оперативной памяти, чтобы иметь буфер на случай, когда по какой-либо причине запись на диск останавливается на короткое время. Подумайте хотя бы 16 или 24 ГБ.
В этом сценарии важно время доступа, поэтому вам следует выбрать HD серверного уровня со скоростью не менее 10 000 об / мин или лучше, а может быть, даже 15 000 об / мин. Емкость зависит от того, как долго вы хотите хранить данные (125 Мегавсего бит / с для вашего потока вы получите около 50 ГБ / час).
Почему водяное охлаждение? Я не знаю ни одной системы, предлагающей водяное охлаждение для отсеков для дисков с возможностью горячей замены.
Я предлагаю спросить этих ребят из MIT: http://www.media.mit.edu/cogmac/projects/hsp.html
В рамках проекта Human Speechome Project они записали 3 года с использованием 11 высококачественных камер и 14 микрофонов в одном доме. В доме был дисковый массив на 5 ТБ с кластером из 10 узлов. После сжатия каждый день накапливалось 300гб. Периодически данные передавались на серверную ферму MIT через переносные диски.
У вас действительно примерно в 100 раз больше видеопотоков, чем у них, но у них все еще может быть важная информация, которую вы, скорее всего, сможете получить через быстрый разговор по электронной почте. Их оборудованию более 5 с половиной лет.
Вот 20-минутный доклад Теда о проекте: http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html (если мало времени, прокрутите до отметки 1 мин 00 сек и посмотрите пару минут).
Публикация: http://www.media.mit.edu/cogmac/publications/cogsci06.pdf