Python中Scrapy下载管道遇到301重定向报错如何解决？

在Scrapy下载管道里遇到301重定向报错，通常是因为请求被重定向到了HTTPS或其他URL，但处理不当。主要问题出在Request.meta的dont_redirect设置或中间件配置上。

直接解决方案：

在你的爬虫请求里加上dont_redirect和handle_httpstatus_list参数，像这样：

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url,
                                 meta={'dont_redirect': True,
                                       'handle_httpstatus_list': [301]},
                                 callback=self.parse)
    
    def parse(self, response):
        # 检查状态码
        if response.status == 301:
            # 从响应头获取重定向目标
            redirect_url = response.headers.get('Location')
            if redirect_url:
                # 重新发起请求到新URL
                yield scrapy.Request(redirect_url.decode(), callback=self.parse)
        else:
            # 正常处理响应
            # ... 你的解析代码 ...
            pass

如果问题在下载中间件：

检查settings.py，确保重定向中间件是启用的（默认就是开的）：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 543,
}

有时候网站会返回非标准的301状态码，可以在设置里扩展处理的状态码列表：

HTTPERROR_ALLOWED_CODES = [301]

根本原因： Scrapy的RedirectMiddleware默认会自动处理301/302重定向。但如果网站重定向逻辑特殊（比如循环重定向、重定向到不同协议），或者响应头信息不标准，就可能报错。手动处理能让你更精确地控制重定向流程。

一句话建议： 在Request的meta里设置dont_redirect=True并手动处理301响应，是最直接可靠的方法。