Недавно я написал несколько научных программ, предназначенных для запуска из командной строки, и сейчас я работаю над созданием веб-интерфейса для этого программного обеспечения, чтобы сделать его более доступным для ученых, которые не так разбираются в терминале. Реализация внешнего интерфейса будет тривиальной задачей, но на стороне серверной части я хочу убедиться, что у меня не выполняется слишком много запросов одновременно (что приведет к зависанию сервера). У меня была эта проблема несколько лет назад (когда у меня было намного меньше опыта), и я просто собрал решение, основанное на сценариях Perl, MySQL и crontab. Мне нужна аналогичная функциональность для этой новой системы, но мне трудно поверить, что для этого нет хотя бы одного зрелого решения с открытым исходным кодом.
Во-первых, подходит ли для этого термин управление нагрузкой? (если нет, не стесняйтесь редактировать заголовок) Во-вторых, есть ли какие-либо решения с открытым исходным кодом для того, что я пытаюсь сделать?
Спасибо!
Я думаю, что вам нужна система управления ресурсами, такая как SGE (Sun Grid Engine, теперь Orcale Grid Engine, но есть хорошие вилки).
SGE обычно используется в компьютерной ферме или кластере высокопроизводительных вычислений (HPC) и отвечает за прием, планирование, диспетчеризацию и управление удаленным и распределенным выполнением большого количества автономных, параллельных или интерактивных пользовательских заданий. Он также управляет и планирует распределение распределенных ресурсов, таких как процессоры, память, дисковое пространство и лицензии на программное обеспечение.
SGE (вилки):
Также посмотрите SLURM: