Python中scrapy如何对接selenium进行动态网页爬取？

在Scrapy里整合Selenium来处理动态加载页面，核心思路是用Selenium的WebDriver替换Scrapy默认的下载器中间件。下面是一个可以直接跑的方案：

首先装好依赖：

pip install scrapy selenium

然后创建middlewares.py，写个自定义中间件：

from scrapy.http import HtmlResponse
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

class SeleniumMiddleware:
    def __init__(self):
        chrome_options = Options()
        chrome_options.add_argument('--headless')  # 无头模式
        chrome_options.add_argument('--no-sandbox')
        self.driver = webdriver.Chrome(options=chrome_options)
    
    def process_request(self, request, spider):
        if request.meta.get('selenium'):
            self.driver.get(request.url)
            time.sleep(2)  # 等JS加载
            html = self.driver.page_source
            return HtmlResponse(url=request.url, body=html, encoding='utf-8', request=request)

在settings.py里启用这个中间件，并调整下载延迟：

DOWNLOADER_MIDDLEWARES = {
    'your_project.middlewares.SeleniumMiddleware': 543,
}
DOWNLOAD_DELAY = 2

最后在爬虫里标记需要Selenium处理的请求：

class MySpider(scrapy.Spider):
    name = 'dynamic_spider'
    
    def start_requests(self):
        yield scrapy.Request(
            url='https://example.com',
            meta={'selenium': True},  # 触发Selenium处理
            callback=self.parse
        )
    
    def parse(self, response):
        # 现在response包含JS渲染后的完整HTML
        yield {'html': response.text}

记得在爬虫关闭时关掉WebDriver，可以在爬虫里加：

def close(self, reason):
    self.crawler.engine.downloader.middleware.driver.quit()

这样就能用Scrapy+Selenium抓动态内容了。简单说就是让Selenium渲染页面，再把HTML塞回Scrapy的响应流里继续处理。