En un entorno con 8 núcleos, el apio debe poder procesar 8 tareas entrantes en paralelo de forma predeterminada. Pero a veces, cuando se reciben nuevas tareas, el apio las coloca tras un largo proceso de ejecución.
Jugué con la configuración predeterminada, dejando que un trabajador consumiera de una cola.
celery -A proj worker --loglevel=INFO --concurrency=8
¿Entiendo mal que un trabajador con una concurrencia de 8 puede procesar 8 tareas de una cola en paralelo?
¿Cómo es la forma preferida de configurar el apio para prevenir el comportamiento descrito anteriormente?
Respuestas
2 para la respuesta № 1En pocas palabras, la concurrencia es el número detrabajos que se ejecutan en un trabajador. Captura previa es el número de trabajos que se encuentran en una cola en el propio trabajador. Usted tiene 1 de 2 opciones aquí. El primero es establecer el multiplicador de captación previa en 1. Esto significará que el trabajador solo mantendrá, en su caso, 8 trabajos adicionales en su cola. El segundo que recomendaría sería crear 2 colas diferentes, una para su Tareas de ejecución corta y otra para tus tareas de larga duración.