Python新手关于Scrapy框架的疑问

Scrapy 默认最大线程为 10,但是我查看的时候线程数只有 1,这是怎么回事呢?
Python新手关于Scrapy框架的疑问

4 回复

想加图居然说我账号太新,郁闷


我无法理解你的问题

10 是 twisted 的线程池数量, twisted 是单线程异步框架, 如果需要跑阻塞的代码就需要扔到线程池里面跑, 防止阻塞主线程. 类似于 asyncio 的 run_in_executor.

虽然还不是太懂,但是谢谢啦~

回到顶部