Python分布式任务处理框架Celery的使用问题

最近一直在捯饬分布式任务处理的问题，在探索的路途中感觉发现了一个宝—celery。 感觉好牛逼的一个分布式任务处理的开源框架。但仔细找了找相关资料，除了国外官网的资料，目测国内百度上面搜了搜也都是一些入门的小栗子，完全没有体现出 celery 的正常实力水平。

难道各位大神没有用过 celery 吗？
还是我太 low 了，已经没人玩 celery 了。。。

难道各位不用 分布式任务处理吗，还请各位给小弟指点迷津
Python分布式任务处理框架Celery的使用问题

30 回复

django + celery 使用中，但是 celery 有时候会莫名其妙的暂停。。。所以在坑中。


我无法理解你的问题

我也是，要用做个消息队列，但是国内教程很少，很笼统

看来还有有同一个战壕的战友， 我找到国内某位先驱写的 国外官网翻译，不管是版本较低（ 3.1.7 ），而且只翻译了最基本一点儿，后面都没有翻译。
最近常时不时查看国外官网，每次都要用绊脚的英语去 yy 官网用意，快累到死。
真想接着这位大神的脚步一起把这玩意都翻译完，以造福大众。但感觉他那个站好像不更了，指路中----》
http://docs.jinkan.org/docs/celery/
就是上面这个站，好想找他一起接着撸 代码

你是怎么个停法

看来你也找了有一阵子真实案例了吧。有没有什么成效

官方文档差不多够用了吧

有个 http://python-rq.org/ 似乎更轻量一点。

我不会用 celery 不会用 rq 所以用了 huey https://github.com/coleifer/huey

够用是够用，但对于英语战斗力较低的同学来说（譬如本人），还是有些望而却步。


等我把 celery 这个坑趟平了，再去试试哦

celery 确实强大，我之前也用过， django 配合 celery 有个库，但是我一直搞不定特定任务进特定队列的功能，爬了好多文 官方文档也看了 就是解决不了。后来发现，我好像不需要这么强大的东西，直接用了最简单的异步框架，目前很完美

试试 huey 相当好用

我是一直看文档做的，我感觉文档很详细了啊

国外官网吗？

python 项目基本 celery 标配啊,国内资料少那也是没办法的事,费尽心思写一篇 celery 的博客可能还不如一个 spring mvc 集成教程阅读来的多(非黑)
stackoverflow+官方文档基本就能解决一切了

我前两天刚试了试 router 功能， 貌似可以跑通。要不要和你分享一下

我觉得长期是应该提升英文水平，短期可以看看董伟明的博客不知道有没有帮助 https://zhuanlan.zhihu.com/p/22304455

一直在用 celery，不过用的 redis 的 backend 没有遇到过啥坑，很稳定

分布式爬虫项目，对于 redis broker，耗时任务会出现卡死，简单粗暴重启解决。

我用的 Rabbitmq ，感觉 这个 Rabiitmq 在别的地方没怎么见过，可能是我太孤陋寡闻了吧……

还想问大家目前都用的 celery 的哪个版本。
我目前用的是 3.1.25 （因为用 4.0.0 时发现 Rabbitmq 和 celery 中的 flower 老是无法正常连接，别告诉我你们没有遇到
-_-!）

目测是你的 flower 和 celery 启动顺序问题导致看不到 worker


broker 从 redis 换成 Rabiitmq
异步任务中涉及网络连接的部分超时、重试机制要确定
全局超时时间可以调小点

国外的文档也不难看懂啊…

我仔细回想了一下，我遇到的应该是 4.0.0 celery 无法在 rabbitmq 中创建 queue，导致 所有 worker 能找到 broker 但是订阅不到 queue。flower 中是能看到 worker 的。

还有想问问大家都是怎么来运行大批量 worker 的：

目前本人使用 docker compose 批量启动运行大量包含 celery 的容器 worker 来运行的，
内部运行的程序主体 是通过 docker 中 volumes 文件映射 将 同一 host 主机中的 所有 worker 类 docker 全部映射到 同一文件路径，然后各 host 再通过 git 来更新迭代代码。（不知道大家都在用什么方法，感觉自己应该不是最 low 的一个吧）

最近正在用，选用 celery 主要是因为和 django 配合有 djcelery 这个现成的第三方扩展可以在 django 运行时动态添加删除定时任务

其实基本上 req 都设置 timeout, 目前基本上每天都上项目 Celery Flower 看看。看看日志，暂停了就简单粗暴的 restart。之前在一个新的项目中有读取不到 celery task，然后重启 redis 后竟然可以了：）。

能解决时区的问题吗？我用的是 django-celery-beat,如果是默认的 UTC 时区，就没什么问题。改成东八区就出问题了~

回到顶部