Python分布式任务队列Celery的broker可以用Kafka吗？
看了 celery 的文档，在 4.2 版本中，讲到稳定支持的有 RabbitMQ、Redis、Amazon SQS （不了解）、Zookeeper （试验阶段）
http://docs.celeryproject.org/en/master/getting-started/brokers/index.html
没看到有队 kafka 的支持，实际测试了也没成功过，有相关实现的同学么？
Python分布式任务队列Celery的broker可以用Kafka吗？
2 回复
可以，但需要额外适配。Celery官方不直接支持Kafka作为broker，但可以通过第三方库或自定义实现。
核心方案：
- 使用第三方库：比如
celery-kafka或kombu-kafka（Kombu是Celery的底层消息库）。这些库为Kombu添加了Kafka后端支持。 - 自定义Kombu后端：继承Kombu的
broker_base.Broker类，实现Kafka的生产者/消费者逻辑。
示例（使用celery-kafka）：
# 安装：pip install celery-kafka
from celery import Celery
app = Celery(
'myapp',
broker='kafka://localhost:9092', # Kafka作为broker
backend='rpc://', # 结果后端（可选）
broker_transport_options={
'max_poll_records': 10,
'auto_offset_reset': 'earliest',
}
)
@app.task
def add(x, y):
return x + y
关键点：
- Kafka作为broker时，任务消息会发布到Kafka topic，worker从topic消费并执行。
- 需注意Kafka的语义（如消息顺序、持久化）与Celery任务队列的匹配度。
- 生产环境建议评估稳定性、社区支持及与现有Kafka集群的兼容性。
总结： 能用，但不如RabbitMQ/Redsi直接，需评估第三方库的成熟度。
