Python中写Scrapy爬虫时，遇到了js跳转页面，大家有没有好的解决方法

遇到Scrapy爬虫处理JS跳转页面，我通常用Selenium或Playwright来模拟浏览器执行JavaScript。Scrapy本身不支持JS渲染，所以得结合这些工具。

下面是个实用方案，用Scrapy+Selenium处理JS跳转：

import scrapy
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from scrapy.http import HtmlResponse

class JsRedirectSpider(scrapy.Spider):
    name = 'js_redirect'
    
    def __init__(self):
        # 初始化Selenium WebDriver
        self.driver = webdriver.Chrome()  # 需要安装chromedriver
        # 或者用Firefox: webdriver.Firefox()
    
    def start_requests(self):
        url = 'https://example.com/page-with-js-redirect'
        yield scrapy.Request(url, callback=self.parse_with_selenium)
    
    def parse_with_selenium(self, response):
        # 用Selenium打开页面
        self.driver.get(response.url)
        
        # 等待JS执行完成（根据实际情况调整等待条件）
        try:
            # 等待某个元素出现，表明页面加载完成
            WebDriverWait(self.driver, 10).until(
                EC.presence_of_element_located((By.ID, "target-element"))
            )
        except:
            # 或者简单等待几秒
            import time
            time.sleep(3)
        
        # 获取渲染后的页面源码
        page_source = self.driver.page_source
        
        # 创建Scrapy Response对象
        rendered_response = HtmlResponse(
            url=self.driver.current_url,
            body=page_source.encode('utf-8'),
            encoding='utf-8'
        )
        
        # 现在可以用Scrapy选择器解析渲染后的页面
        # 例如：rendered_response.css('div.content').get()
        
        # 继续处理数据...
        yield {
            'url': self.driver.current_url,
            'title': self.driver.title,
            'content': page_source[:500]  # 示例：取前500字符
        }
    
    def closed(self, reason):
        # 爬虫结束时关闭浏览器
        self.driver.quit()

如果不想用Selenium这种重量级方案，还有几个轻量级选择：

1. Scrapy-Splash：专门为Scrapy设计的JS渲染服务

# settings.py
SPLASH_URL = 'http://localhost:8050'

# spider中
yield scrapy.Request(
    url,
    self.parse,
    meta={'splash': {'args': {'wait': 2.0}}}
)

1. 直接分析JS代码：有时跳转只是简单的window.location.href，可以直接从JS代码里提取目标URL。

2. Requests-HTML：比Selenium轻量，支持JS执行

from requests_html import HTMLSession
session = HTMLSession()
r = session.get(url)
r.html.render()  # 执行JS

简单总结：Selenium/Playwright最通用，Scrapy-Splash集成更方便。

如果只是这个，正则匹配下 url 继续爬啊