Пробую построить грид-кластер на базе CentOS. Все машины будут иметь похожую структуру (некоторые с большим количеством процессоров, чем другие), и мне просто нужно будет поместить задания в очередь, а затем запустить их на доступных узлах. Одно задание на процессор, остальные остаются в очереди.
Джон Т. был исключительно полезен указывая на меня Gnu Queue что швы, чтобы быть хитом того, что я притворяюсь (работа будет по существу сценариями ванны). Я все еще изучаю проблему, прежде чем принять его ответ, но прошу сообщество дать некоторые отзывы, поскольку сайт Gnu Queue швы указывает на то, что проект мертв уже несколько лет.
Я также изучил Sun Grid Engine и это тоже похоже на кандидата на эту работу, к сожалению, Oracle сейчас убивает проект и Univa еще не выпустили свой порт.
Я просто хочу начать с правильной ноги, поэтому мой вопрос: Был ли у вас практический опыт использования такого рода кластеризации (грид-вычислений)? Что бы вы порекомендовали.
Заранее спасибо.
Мы используем Кондор для очередей заданий и т. д.
Если вам не нужна настоящая система очередей, GNU parallel может быть достаточно для одновременного запуска заданий в каждой системе. Если вам нужен настоящий планировщик, то Менеджер ресурсов TORQUE и, возможно, планировщик вроде Мауи может понадобиться.
Вы также можете отказаться от CentOS в пользу live CD, например ПеликанHPC. По крайней мере, тогда конфигурация была бы проще (по крайней мере, для того, что она может делать). Предполагая, что вы в каком-то университете, там вообще нет никого, кто занимается HPC и / или кластеризацией? И нет преподавателей с контактами в национальной лаборатории или аналогичном учреждении, которые могли бы предложить процессорное время для вашего проекта?
И этот вопрос может быть кандидатом на переход на Serverfault.