Python中如何使用requests作者的新项目requests-html

requests-html是requests作者Kenneth Reitz开发的库，它基于requests并集成了HTML解析功能（使用pyquery），主要特点是内置了JavaScript支持（通过Pyppeteer）和更简洁的API。

基本用法示例：

from requests_html import HTMLSession

# 创建会话
session = HTMLSession()

# 发送请求并渲染JavaScript（如果需要）
r = session.get('https://example.com')
r.html.render()  # 这会启动无头浏览器执行JS

# 使用CSS选择器查找元素
links = r.html.find('a')
for link in links:
    print(link.text, link.attrs.get('href'))

# 搜索包含特定文本的元素
about_element = r.html.search('About {}')[0]

# 获取所有链接
all_links = r.html.absolute_links

关键特性：

1. JavaScript渲染：render()方法可以执行页面中的JavaScript代码
2. CSS选择器：使用类似jQuery的语法查找元素
3. 数据提取：内置的search()方法支持类似正则表达式的文本搜索
4. 异步支持：可以使用AsyncHTMLSession进行异步请求

简单爬虫示例：

from requests_html import HTMLSession

session = HTMLSession()
r = session.get('https://news.ycombinator.com')
r.html.render(sleep=2)  # 等待2秒让JS执行

articles = []
for item in r.html.find('.athing'):
    title = item.find('.titleline')[0].text
    link = item.find('.titleline a')[0].attrs['href']
    articles.append({'title': title, 'link': link})

print(f"抓取了 {len(articles)} 篇文章")

注意：首次使用render()时会自动下载Chromium，这可能需要一些时间。

总结：requests-html适合需要处理JavaScript渲染页面的简单爬虫任务。

非程序猿表示非常感兴趣。requests 太好用了，太是适合我等毫无基础的小白了，轻松上手。

这个应该是之前用了 bs4,后来又改用其他的，但是依赖里面没有去掉，因为昨天我看的时候代码才 200 行