Запуск нескольких рабочих с использованием Celery

Теперь я обновил свой ответ после комментария от MartinP относительно дочерних процессов, порождающих рабочие, а не потоков:

Сельдерей worker и worker processes разные вещи (Прочтите это для справки).

Когда рабочий запускается, он порождает определенное количество дочерних процессов.

По умолчанию количество этих процессов равно количеству ядер на этой машине.

В Linux вы можете проверить количество ядер через:

$ nproc --all

В противном случае вы можете указать это самостоятельно, например:

$ celery -A proj worker --loglevel=INFO --concurrency=2

В приведенном выше примере есть один воркер, который сможет порождать 2 дочерних процесса. Обычно рекомендуется запускать одного рабочего на каждую машину, и значение параллелизма будет определять, сколько процессов будет выполняться параллельно, но если для запуска требуется несколько рабочих, вы можете запустить их, как показано ниже:

$ celery -A proj worker -l info --concurrency=4 -n wkr1@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr2@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr3@hostname

Обратитесь к сельдерею документы для получения дополнительной информации

Я нашел это

http://docs.celeryproject.org/en/latest/reference/celery.html?highlight=parallel

Вы можете искать Примитивы холста там вы можете увидеть, как создавать группы для параллельного выполнения.

class celery.group (task1 [, task2 [, task3 [,… taskN]]]) Создает группу задач, которые будут выполняться параллельно.

В противном случае хороший способ - пойти на канал IRC и задать специальные вопросы. Обычно есть люди, которые очень хорошо это знают и могут вам помочь.

Похоже, ваш рабочий просто запускает один процесс / поток. Вероятно, вам просто нужно добавить --concurrency или -c аргумент при запуске рабочего для создания нескольких (параллельных) рабочих экземпляров.

celery -A proj worker -c 4