Python中headless浏览器如何抓取网页中的ajax请求并用js模拟发送？

import asyncio
from pyppeteer import launch

async def capture_ajax_requests():
    # 启动headless浏览器
    browser = await launch(headless=True)
    page = await browser.newPage()
    
    # 监听网络请求
    requests = []
    def on_request(request):
        if request.resourceType == 'xhr' or request.resourceType == 'fetch':
            requests.append({
                'url': request.url,
                'method': request.method,
                'headers': request.headers,
                'postData': request.postData
            })
    page.on('request', on_request)
    
    # 访问目标页面
    await page.goto('https://example.com')
    await page.waitFor(3000)  # 等待页面加载和AJAX请求
    
    # 提取并模拟发送请求
    for req in requests:
        # 使用fetch API模拟发送
        await page.evaluate('''(reqData) => {
            return fetch(reqData.url, {
                method: reqData.method,
                headers: reqData.headers,
                body: reqData.postData
            }).then(r => r.text());
        }''', req)
    
    await browser.close()
    return requests

# 运行
requests = asyncio.get_event_loop().run_until_complete(capture_ajax_requests())
print(f"捕获到 {len(requests)} 个AJAX请求")

核心步骤：

1. 用Pyppeteer启动headless浏览器并监听XHR/Fetch请求
2. 访问页面让JavaScript执行，捕获所有AJAX请求详情
3. 通过page.evaluate()在页面上下文中用fetch API重新发送请求
4. 可以修改请求参数或添加自定义逻辑

关键点：

• 监听request事件时过滤resourceType为xhr或fetch
• 保存请求的URL、方法、头部和POST数据
• 在页面上下文中用JavaScript的fetch API重新发送
• 可以结合page.waitForSelector()等待特定元素出现后再捕获请求

建议：优先使用浏览器原生API模拟，避免直接解析复杂JS。