Python付费新闻爬虫定制开发指南
具体要求:
1. 使用 python3
2. 通过关键词抓取新闻,抓取全文
3. 抓取 wexin 公众号全文
4. 直接写入 Mysql 数据库,数据库 wp 可以直接读取
5. 数据抓取不能有重复(不能和以前数据重复)
前 1,2,3 已经完成了,主要完成后面 4,5 和重构一下前面的一堆代码。
有意请发报价周期到 [email protected]
谢谢
Python付费新闻爬虫定制开发指南
8 回复
也可以 twitter 上
我无法理解你的问题。
scrapy 走起
除了 scrapy 还有哪些类似框架啊
beautifulsoup
楼上说的 scrapy 跟 beautifulsoup 都不是一个东西,scrapy 是爬虫框架,beautifulsoup 是 html 解析库,(黑人问号???
现在用着 scrapy,想找个后备的
pyspider 可视化可分布式爬虫框架

