Python中关于Celery在Windows下无法进行time limit（超时限制）的解决办法

曾经在配置文件里设置了超时限制， CELERYD_TASK_SOFT_TIME_LIMIT ，本来在 Linux 下是能用的。

当然，这里插一句，也曾经设置过 CELERY_TASK_RESULT_EXPIRES 和 CELERYD_TASK_TIME_LIMIT ，不过没起作用。

后来因为某些原因，程序迁移到了 windows 下，结果发现报错如下：
UserWarning: Soft timeouts are not supported: on this platform: It does not have the SIGUSR1 signal.&*

查了下文档：
http://docs.celeryproject.org/en/latest/userguide/workers.html#time-limits
发现：
“Time limits do not currently work on Windows and other platforms that do not support the SIGUSR1 signal.”

另外看了下，在 @app.task()这样的形式，去在括号里添加 timeout 和 time limit 之类的内容，据说也是不行的。

那么问题来了，难道 windows 下 celery 无法设置超时么？如果必须在 win 下运行的话，有其他解决办法么？
Python中关于Celery在Windows下无法进行time limit（超时限制）的解决办法


7 回复

我也遇到这个问题了，请问你解决了没？


这个问题我遇到过。在Windows上，Celery的time_limit和soft_time_limit确实可能失效，主要是因为Windows不支持POSIX信号，而Celery默认使用信号机制来中断超时任务。

核心原因：Celery的worker进程默认使用SIGALRM信号来中断超时任务。Windows没有完整的POSIX信号支持，所以这个机制在Windows上无法正常工作。

解决方案：你需要将Celery的执行池（pool）从默认的prefork（基于进程）切换为threads或solo。线程池在Windows上能更好地处理任务中断。

具体步骤：

  1. 修改启动命令：启动worker时指定--pool=threads或--pool=solo。

    celery -A your_project worker --pool=threads --concurrency=10

    或者

    celery -A your_project worker --pool=solo
    • threads：使用线程池，支持并发。
    • solo：单线程执行，适合开发调试，但无并发能力。

  2. 代码配置（可选）：你也可以在Celery配置中设置默认的pool。

    # celery.py 或你的配置模块
app.conf.update(
    worker_pool = 'threads',  # 或 'solo'
    worker_concurrency = 10,  # 如果使用threads，设置线程数
)

重要说明：

  • 使用threads池时，由于Python的GIL限制，任务如果是CPU密集型，并发性能可能不如prefork。但对于I/O密集型任务（如网络请求、数据库操作）或需要超时控制的情况，它是Windows下的可行方案。
  • solo池简单，但一次只能执行一个任务，不适合生产环境。
  • 这个改动只影响worker执行任务的方式。你的任务代码（@app.task装饰的函数）和调用方式完全不需要修改。

总结：在Windows下用--pool=threads启动worker就能解决time limit失效的问题。

在 win 下没解决，完全迁移到 linux 下了，win 下部分机制用不了。

如果不设置 time limit 的话，每个 task 的默认限制时长是多少秒呢

似乎会一直等待你跑完为止，不会限制。

给个笨一点的建议，如果你非要在 win 下，可以自己写时长计数，然后自己 kill 掉，不要用 celery 自带的 time limit，那玩意儿也有 bug。

恩，多谢，我去试试
celery 这东西真烦啊

回到顶部