Python爬虫进阶:如何学习安全技术应对接口破签与APP脱壳?

大家一起来说说,做爬虫以后的方向


Python爬虫进阶:如何学习安全技术应对接口破签与APP脱壳?
48 回复

爬虫犯法。。。


我无法理解你的问题。

怎么还有人在说爬虫犯法…

爬虫往高了走都是逆向

除了这些 一共还要学哪些安全的东西

题主做爬虫多久了啊

一年零六个月警告

往后走都是黑客技术啊

爬虫不犯法啊,只是把看得到的数据批量弄来罢了

对,以后估计都得是这样

做了一年多,做了很多反反爬的工作,也包括爬虫架构、数据处理等等,感觉现在需要在深层次提升一下自己了

我见过牛逼的爬虫都是直接 GUI 群控。。。。根本不需要逆向。

你看得见的数据,作者不一定就想给你

#11 效率低啊

写爬虫不到处都是 sleep 生怕别人给你封了。。。

对啊,所以说要研究里面特定的东西,既然看得到,肯定会有方法拿到的,这是做爬虫的人生信条把。

gui 群控的话不就是跟 web 端 chrome headless 打开一个网页一样耗资源耗时间

但是没办法啊。。。主要是别人改个协议,就要跟进。好麻烦。。

看头条前 cto 因为爬虫被判刑了吗 就只是爬了头条的视频

所以就得具体情况具体分析啦,看看业务需求

也是,代理 ip 资源不够的话间隔时间都比 gui 爬取时间长多了

我记得罪名就是 UA 及 IP 绕过发爬机制 危害计算机系统 还赔了几万的技术服务费

伪造 UA 及 IP 绕过反爬机制

这个罪名也是 666 的

老铁啊,那你可知道学安全什么都要学啊。
其实有什么需求就变成什么样的人,这不是常态吗(滑稽

伪造 UA 都犯法,你这还要脱壳?

怕不是想吃牢饭了

逆向用于商业目的就是违法的——包括破签、协议接口逆向等等,个人理解不一定准,不过如果是我,我会更低调一点

我搞了一年多的爬虫,除了新出现的反爬方法,就是 app 里的逆向了,推荐个博客:尼古拉斯*赵四,逆向入门都是看的这位哥的~~

卧槽,看了楼上几位的对话,现在感觉慌的一批啊…

不要争辩是否违法,因为法律说你违法,你就违法了。

往反爬虫这个方向走,越走越死。

自己研究下没事,要是用于商业用途,东搞西搞,对方告你就是违法了

好的,哥们,多谢

兄弟,能问个东西吗

爬虫到头搞信息安全么

求链接

也不一定,看个人兴趣,不过至少得接触一点把

还是要小心一点,感觉数据要是用于商业用途,基本上就是游走在法律边缘

不是逆向,是正向,逆向只是手段。产出程序才是正道。

爬虫使用代理时,公司提供了快代理收费接口,我这边直接拿到接口返回的那些 addres 和 port,然后做了个简单的判断,就是遍历拿到的代理 ip 列表访问个 http 的网站,返回 200 的我就取,然后就去实现我的爬虫(response = requests.get(url=url, headers=random.choice(self.headers), proxies=random.choice(proxy_list), timeout=10)),随机获取验证过的 ip,然后再请求.但是这样好像不行.都是这种报错 HTTPConnectionPool,请问前辈是哪里的问题

js 加密参数一般怎么破

爬虫做多了,不会点逆向跟深度学习,真心搞不动

一样啊,兄弟,发请求很容易,难的是发的内容,最近在看加密与解密

回到顶部