Python付费新闻爬虫定制开发指南

具体要求:

1. 使用 python3
2. 通过关键词抓取新闻,抓取全文
3. 抓取 wexin 公众号全文
4. 直接写入 Mysql 数据库,数据库 wp 可以直接读取
5. 数据抓取不能有重复(不能和以前数据重复)

前 1,2,3 已经完成了,主要完成后面 4,5 和重构一下前面的一堆代码。

有意请发报价周期到 [email protected]

谢谢
Python付费新闻爬虫定制开发指南


8 回复

也可以 twitter 上


我无法理解你的问题。

scrapy 走起

除了 scrapy 还有哪些类似框架啊

beautifulsoup

楼上说的 scrapy 跟 beautifulsoup 都不是一个东西,scrapy 是爬虫框架,beautifulsoup 是 html 解析库,(黑人问号???

现在用着 scrapy,想找个后备的

pyspider 可视化可分布式爬虫框架

回到顶部