一个Python的Scrapy爬虫问题，求大家帮帮忙。

scrapy 怎么控制多个 代理 IP 线程 账号 一一对应，且代理失效换代理 账号失效换账号？
一个Python的Scrapy爬虫问题，求大家帮帮忙。

7 回复

这个你需要定期去更新活着可用的代理列表，scrapy 从这个代理池中获取代理即可


我无法理解你的问题。

过两天可能写个代理池爬虫开源

期待。。。。。。

先预支一个 star

在 v 站搜搜就有，有个共享的，https://www.v2ex.com/t/340272#reply43

从代理池中取

回到顶部