Python中如何爬取类似这样的文章?

Snipaste_2018-07-04_20-46-21.png

右上选择月份,显示该月份的最后一篇,然后往前翻

http://www.sandeechan.com/blog/?m=200707


Python中如何爬取类似这样的文章?

4 回复

看 url 也能看出来怎么抓了。。。。。。http://www.sandeechan.com/blog/?m=200707&paged=3


我无法理解你的问题。

定位 html 标记,使用 xpath 提取 option value。

<select id=“archives-dropdown-2” name=“archive-dropdown” onchange=“document.location.href=this.options[this.selectedIndex].value;”>

<option value="">選擇月份</option>
<option value=“http://www.sandeechan.com/blog/?m=201103”> 2011 年 三月 &nbsp;(31)</option>
<option value=“http://www.sandeechan.com/blog/?m=201102”> 2011 年 二月 &nbsp;(28)</option>
<option value=“http://www.sandeechan.com/blog/?m=201101”> 2011 年 一月 &nbsp;(31)</option>
<option value=“http://www.sandeechan.com/blog/?m=201012”> 2010 年 十二月 &nbsp;(31)</option>

</select>

直接从页面固定位置获取下一页的 url 不就好了吗,然后接着请求下一页

回到顶部