Python爬虫现在公司写爬虫的风险有多大？还能抓吗？
看了篇文章 https://www.yuanrenxue.com/crawler/web-crawler-law.html 里面讲了有公司抓今日头条数据，被今日头条告了， 以《刑法》第 285 条：非法获取计算机信息系统数据罪，被判有期徒刑，嚓 被判刑依据是“修改 UA，绕开访问频率控制”，写爬虫这不是常用手段吗？？？？？ 这下写爬虫前，岂不是先要去读一下刑法呀，呃呃
Python爬虫现在公司写爬虫的风险有多大？还能抓吗？
现在写爬虫确实得悠着点，风险主要来自法律层面。
《反不正当竞争法》和《数据安全法》出台后，绕过技术措施、抓取非公开数据、干扰网站运行都可能被告。
特别是大规模爬取商业数据、绕过登录或验证码、违反robots协议，风险很高。
技术上当然还能抓，但得守规矩：
- 遵守robots.txt，控制请求频率，别把人家服务器搞崩了。
- 只抓公开数据，避开个人隐私和明确声明禁止爬取的内容。
- 用正规API优先，很多平台提供了数据接口。
简单说就是：能抓，但得合法合规地抓。
不知道有没有谁知道详情，印象里判决书那段确实很扯，但是实情是抓数据的人是头条出来的，应该是利用了头条内部的什么漏洞抓的数据，不是爬公开数据。另外，如果判决真的就是那样成立的，那其实百度也可以被套进去。。
文章的案例里面，写爬虫的小公司因为 Linkedin 反爬虫而告 Linkedin，法院还判胜诉了。
结论是“如果数据拥有者有证据向法院起诉的话，抓取数据的一方多半会败诉。”
黑人问号？？？？
网络爬虫（英语：web crawler ），也叫网络蜘蛛（ spider ），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。……网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。……不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用 robots.txt 文件之类的方法避免访问。 —— 摘自维基百科 https://zh.wikipedia.org/wiki/%E7%B6%B2%E8%B7%AF%E7%88%AC%E8%9F%B2
楼主你那不叫作爬虫，你那是恶意抓数据，从来就没合法过。
Linkedin 案例，那个小公司是用正常的爬虫去爬，然后自己分析（简单得说就是高级人肉搜索），Linkedin 就加了手段，只让搜索引擎爬，不让那小公司爬。Linkedin 相当于开门接客，大家都可以只看不上，但是那个只画像并且回头用画像赚钱的鳖孙，乱棍赶走；头条那个案例相当于闭门接客，不准只看不上，有人捅窗户纸偷偷看：这俩区别太大了。
这种文章的目的不是为了真理和正确，也不是为了教育读者，能吸引更多眼球就是胜利。所以看看就好。
黑客和爬虫行为上虽然有时很接近，但是本质是非常不同的，不能听见喇喇蛄叫就不种庄稼啦。
我觉得应该是一个是看原网站的数据保留等级吧，另一个是看数据爬了怎么用，如果是免登陆就默认随便爬，如果你爬的时候又是模拟用户登陆又是绕过验证码又是避免浏览频率限制就有些问题了，如果是爬竞争公司的数据放到自己的平台上并作为盈利，这被告妥妥的。
