Python 爬虫问题如何解决?

我有 7 个网站需要爬,但是每个网站抓的数据很少很少,这个 scrapy 里面是 7 个 spider 处理还是放在 start_urls 里面处理比较好
Python 爬虫问题如何解决?

4 回复

网站结构差不多就在一个 spider 文件中完成,解析代码肯定是爬完一个又得改一下的,丢一个 start_urls 列表也没啥问题


我无法理解你的问题。

怎么简单怎么做,目前来看丢 start_urls 比较简单

支持 1 楼

回到顶部