Моя организация собирается инвестировать либо в виртуализацию RedHat с KVM, либо в VMware ESX. Некоторые из наших работ связаны с биоинформатикой, интенсивно использующей диск, такой как BLAST, которая, как мы обнаружили, в основном ограничена диском, а не процессором.
Я мало знаю о сетевых хранилищах, SAN, iSCSI и т. Д., Но был бы признателен за некоторые указания, на которых стоит сосредоточить внимание на технологии хранения. Мне кажется, что самым быстрым решением было бы локально подключенное твердотельное хранилище, но тогда у нас не будет преимуществ миграции виртуальных машин для переключения при отказе и балансировки нагрузки.
Какое решение для хранения данных примерно за 6-8 тысяч долларов мы должны рассмотреть?
Хранилище с прямым подключением будет намного быстрее, чем любое хранилище SAN или NAS начального уровня. Если у вас нет очень строгих требований к аварийному восстановлению (и исходя из вашего бюджета хранения, я могу предположить, что у вас, вероятно, нет, даже если заинтересованные стороны вашего бизнеса так думают), тогда стратегия горячего аварийного переключения не стоит усилий. Вы получите гораздо больше незапланированных простоев из-за проблем с конфигурацией, чем вы можете получить из-за аппаратного сбоя с современным серверным оборудованием. Таким образом, простота вашей системы, вероятно, действительно сократит время простоя.
Мой ответ: Будь проще. Используйте «голый» сервер соответствующей емкости с виртуальными машинами для дополнительных приложений, если они вам действительно нужны. Linux намного лучше справляется с несколькими рабочими нагрузками на одном сервере, чем Windows. Вы можете chroot приложений, если вам нужно.
Современный сервер от известного производителя довольно надежен с резервными вентиляторами, дисками и блоками питания. Они не так часто терпят неудачу. Вы не получите надежного средства аварийного восстановления за 4000 долларов, и если это ваш бюджет на хранилище, бизнес на самом деле не считает эту систему критически важной.
Редактировать: 6000-8000 долларов по-прежнему не собираются получить значимую возможность аварийного восстановления с производительным диском. На этом уровне бюджета прямое прикрепление и KISS принесут вам лучшую отдачу от вложенных средств.
Я согласен с тем, что сказал Обеспокоенный Танбридж. Забудьте о недорогих SAN или NAS. Скорее всего, производительность будет хуже, чем с обычным DAS.
Если вам нужен быстрый доступ к диску в DAS, выберите SSD. Производительность SSD превосходит любой жесткий диск на порядки.
РЕДАКТИРОВАТЬ : Поскольку я получил за это -1, вот несколько источников: сравнение диска 7.2k и X-25E и Сравнение SAS / SSD / SATA.
И цитируя AnandTech:
Для остальных из нас, составляющих, вероятно, 90% рынка, Intel X25-E - это не что иное, как удивительный: он предлагает по крайней мере в 3-13 раз лучшую производительность OLTP при менее чем десятой части энергопотребления классических дисков SAS. Откровенно говоря, мы больше не видим причин покупать диски SAS или FC для критически важных для производительности баз данных OLTP, если только размеры баз данных действительно огромны. С того момента, как вы используете много шпинделей и большинство ваших жестких дисков пусты, твердотельные накопители Intel SLC имеют гораздо больший смысл.
У вас будет выбор между SLC (одноуровневая ячейка) и MLC (многоуровневая ячейка). SLC намного (как минимум в 5 раз) быстрее, чем MLC, когда дело доходит до записи. В зависимости от того, сколько серверов вы хотите установить, вы должны поместить их в RAID10, чтобы получить еще большую производительность.
Intel X-25E (SLC) 32 ГБ можно купить за 375 долларов. Intel X-25M (MLC) на 160 ГБ можно купить за 405 долларов.
Все стоит обсудить. Виртуализация имеет накладные расходы (x%, зависит от технологии), но это все. Все остальное идентично.
Остальное действительно зависит от ваших потребностей. Тем не менее ....
не более чем примерно за 4 тыс. долларов
... никуда вас не приведет. Не на более дорогом решении. Забудьте о SAN.
Лучше всего выбрать с точки зрения бюджета, чтобы обратить внимание на SuperMicro - у них есть серверные корпуса с 24-72 дисками. Кроме того, хороший высокопроизводительный контроллер SAS (Adaptec 5805QZ), и вы можете подключить МНОГО дисков в хорошей конфигурации RAID 10. У меня есть один из них (корпус с 24 дисками), использующий сейчас 12 дисков в 2 группах RAID (один для виртуализации, один для виртуализированного сервера БД как проходной диск).
Это в значительной степени ваш лучший выбор - в конце концов, ввод-вывод зависит от того, что может предоставить подсистема. При ограниченном бюджете о SAN не может быть и речи. ISCSI может быть, но недорогие решения просто менее (намного) эффективны.
Согласитесь с ConcernedOfTunbridgeWellsW - хранилище с прямым подключением - лучший вариант.
Мои знания в области генетики немного устарели, но я считаю, что ваши проблемы возникают из-за пропускной способности диска, а не из-за задержки диска (это разные проблемы с разными решениями). В наши дни объем хранилища не является проблемой, даже при более сложных структурах индексации.
Но даже 4 тысячи долларов - это не большой бюджет. К тому времени, когда вы купите SCSI-корпус, блок питания, адаптер и кабели, у вас уже не на что будет покупать диски!
OTOH, тот факт, что вы ищете систему хранения, подразумевает, что у вас уже есть процессор и память.
Начиная с нуля, наиболее экономичным способом достичь того, что вам нужно, вероятно, будет система с большим количеством дисков SATA среднего уровня (вероятно, как RAID5), трудно найти корпуса / блоки питания, которые легко справятся с этим. Конечно, я бы рекомендовал модернизировать ваш корпус / блок питания, а не использовать отдельный корпус, подключенный через SCSI или сеть.
Но я ожидал, что если вы обнаружите, что проблема в ЦП, то вы получите гораздо больше производительности при выполнении сравнения на DSP / GPU.
HTH
С.