Python中Django集成Celery后如何分布式部署worker？

问题核心： Django集成Celery后，分布式部署worker的本质是让多个独立的worker进程（或容器）连接到同一个消息中间件（如RabbitMQ/Redis），并监听同一个或一组队列。

关键步骤：

1. 统一消息中间件：所有worker和Django应用必须配置相同的Broker（如CELERY_BROKER_URL='redis://10.0.1.1:6379/0'）和结果后端（如果需要）。
2. 部署多个worker实例：
   • 同一服务器：直接启动多个worker进程，指定不同的节点名。

   celery -A proj worker --loglevel=info --hostname=worker1@%h
   celery -A proj worker --loglevel=info --hostname=worker2@%h
   

   • 不同服务器：在每台服务器上安装项目代码、依赖，并运行上述命令。确保它们能访问同一个Broker。
3. 队列路由（高级）：可通过CELERY_TASK_ROUTES将特定任务定向到专用队列，然后让特定worker只消费该队列，实现任务隔离和优先级处理。

   # settings.py
   CELERY_TASK_ROUTES = {
       'app.tasks.cpu_intensive': {'queue': 'high_cpu'},
       'app.tasks.io_heavy': {'queue': 'high_io'},
   }
   

   启动专用worker：

   celery -A proj worker --loglevel=info --queues=high_cpu
   

一句话总结： 配好同一个Broker，在多台机器上跑celery worker命令就行。