开源一个Python实现的Google爬虫项目

这个项目写了一段时间了，主要功能就是实时爬取 googlesearch 的结果。google 反爬很严格，我这边也没有很好的办法，后面可能也不太搞了，就整理了开源出去，希望能给其他人一些思路。 github: https://github.com/FastSchnell/googlebridge

目前只支持 python2.7，有兴趣的可以试一下下载 wget http://googlebridge.com/googlebridge.py 运行 python googlebridge.py

phonegap100 1楼作者

支持 py3 啊

我无法理解你的问题

phonegap100 3楼作者

没测过欸~

楼主代码写得挺认真的，建议了解下 requests, urlparse, pyquery 或 BeautifulSoup, jinja2 这几个库，能剩不少代码。

有办法爬 Google image 吗?

jinja 在爬虫中有什么应用？

我也好奇呢。但楼主代码里有 html 模版。

不用三方库为了简化部署。里面有 html 模版是因为脚本跑起来就是一个网站。

关键是对谷歌反爬机制的研究我也写过一个轮循谷歌全球域名有点效果 https://github.com/howie6879/MagicGoogle

难道用反代不是更方便些不？