У меня есть 400 трудоемких задач веб-извлечения, которые я хочу запустить, но вместо того, чтобы просто запускать их одну за другой, я хочу запускать, т.е. 6 за раз, чтобы ускорить общее время задачи. В идеале я хочу создать 400 задач, выбрать, что я хочу, чтобы 6 выполнялись одновременно одновременно, а затем программное обеспечение планировщика будет следить за тем, чтобы 6 всегда выполнялись, когда одно завершает, запускается следующий в списке . Это возможно?
Если вышеупомянутое идеальное решение недоступно, я думал о создании 6 отдельных списков задач, в каждом из которых будет 1/6 от общего списка. Тогда задачи можно будет запускать все одновременно, и каждый отдельный список задач будет запускаться следующий в списке, когда закончится предыдущий.
Любые идеи?
В Linux, этого можно добиться с помощью xargs:
cat cmds | xargs -n 1 -P 6 -0 bash -c
где cmds - это список команд для выполнения с помощью bash
В Windows Я предлагаю вам попробовать решить эту проблему с помощью PowerShell. Есть множественный вопросы по этой теме при переполнении стека