Python爬虫中关于百度爬虫的一些问题需要讨论

问题:关于百度转码为百度网站的内容显示的问题如下图:

alt hello

原网站如下图:

alt hello

请问:

1. 百度每天抓数十万的网站,他们的正文提取,标题提取,发表时间统一格式化,文章出处等,都是专人去写 xpath, re, css selector, bs 吗?
2. 还有个问题,数十万的网站,他们的文章翻页有上千种,他们怎么去做到的翻页问题,难道也是专人去写 xpath, re, css selector, bs 吗?
3. 很多网站做了图片、视频防盗链,但是百度将原网站所有的图片、视频等全包同步到了自己的存储器里面,请问,对于防盗链的网站的资源,他们也是专人去做处理吗?
4. 本人是个爬虫新手,遇到的问题就是上面的问题,其实这几个问题也是通用爬虫的问题,求各位给点意见和建议。
5. 不胜感激涕零。

Python爬虫中关于百度爬虫的一些问题需要讨论

7 回复

有人给解答一下吗


我无法理解你的问题

/t/309948

1.2.
都是可以机器识别的。

3.爬虫的 referer 一般是空或者是网站 url,都不会碰到防盗链问题。

对了,关于 1.2. 记得有开源实现,google 网页 正文 识别 。

会有抓取模版匹配的。

正文抽取算法:
1.基于文本长度的算法,计算字符集密度
2.K-means,聚类中心点取值算法
3.标签模板





谢谢回答。

回到顶部