Python爬虫中,大众点评是否将IP地址加密到Cookie中或能识别代理IP?
为什么买到的代理都被识别出来了,自己的 ip 又可以爬取,但是爬取评论必须要 cookie,所以我怀疑是不是 ip 被加密到 cookie 里面,有没有老哥说说
Python爬虫中,大众点评是否将IP地址加密到Cookie中或能识别代理IP?
这不是很正常的操作嘛?自己做一下 Web 开发就知道了啊,很多框架,比如 flask-login,默认的安全级别就是会加入 ip 地址验证的,建议你去爬手机客户端还靠谱一点。
我无法理解你的问题。
客户端的信息被隐藏了,都是乱码
我做过大众点评的采集,貌似是这样的。不过我的解决方案就是 IP 代理池,完全没问题啊。
代理 ip 也分质量的
我也是有 ip 代理池,免费的自己抓的,付费的也用了,都被识别出来,本机 ip 才可以,你用的哪一家的 ip
大象代理那里买的,做个重试机制,重试 10 次 不行的话,再换 IP
大佬能分享下代码吗?谢谢
好的,我试一试,顺便问一下,有没有出现 302 被重定向到验证页面?我是用 cookie 登陆去抓评论的,您也抓评论吗?
现在我再解决 ip 问题,过一会我放到 github,在 你
嗯,我也抓的评论。 貌似有 302 的情况,不过我做了判断,只处理 status_code 200,其他的情况 我都是立刻更换代理,然后重试。
老哥,我换了大象代理,依旧不行啊,你模拟登陆了没有,我是用 cookie 模拟登陆的,你呢?
我也是用 cookie 持续会话,没遇到你这个问题
能分享一下源码吗
我也是遇到这个问题,似乎 IP 代理被识别出来了,你们都是登录过去抓的吗?如果要大规模抓取,这样岂不是要有很多账号?
楼主 github 地址多少,我关注一波
最近几天在爬,使用的芝麻 HTTP 代理 ip,付费的,遇到最后有评论的详情页面,就会被秒识别代理,直接 ban.而用本机 ip 可以正常获取几十个商户的信息,然后需要验证,暂时没找到解决办法.想找到怎么用付费的代理爬取


