Python中Scrapy的RetryMiddleware不生效，如何解决？

遇到Scrapy的RetryMiddleware不生效的问题，通常是因为配置或自定义逻辑覆盖了默认行为。下面是一个完整的排查和解决方案。

首先，确保你在 settings.py 中正确启用了重试中间件并设置了相关参数：

# settings.py
RETRY_ENABLED = True  # 默认就是True，但检查一下没坏处
RETRY_TIMES = 2  # 除第一次请求外，重试次数
RETRY_HTTP_CODES = [500, 502, 503, 504, 408]  # 需要重试的HTTP状态码
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
}

如果已经配置了但还是不生效，最常见的原因是你的spider或自定义中间件返回了 None 或抛出了异常，阻止了重试逻辑的执行。检查你的spider代码：

import scrapy
from scrapy.downloadermiddlewares.retry import get_retry_request

class MySpider(scrapy.Spider):
    name = 'example'
    
    def start_requests(self):
        yield scrapy.Request('http://example.com', callback=self.parse, errback=self.errback)
    
    def parse(self, response):
        # 如果在这里直接返回None或item，错误处理链会中断
        if response.status == 404:
            self.logger.warning('Page not found')
            # 不要直接return，让异常传播或返回Request对象
            return
        # ... 正常解析逻辑
    
    def errback(self, failure):
        # 自定义errback可能会覆盖默认重试逻辑
        # 如果你在这里处理了failure但没有重新yield request，重试就不会发生
        self.logger.error(f'Request failed: {failure.value}')
        # 若要保留重试，可以调用原始重试逻辑：
        # return get_retry_request(failure.request, failure.value, spider=self)

另一个常见坑点是自定义了 DOWNLOADER_MIDDLEWARES 但顺序不对，或者你的中间件返回了 Response/Request 对象。中间件顺序很重要，RetryMiddleware通常应该在550左右。检查你的自定义中间件：

# middlewares.py
from scrapy.downloadermiddlewares.retry import RetryMiddleware

class CustomRetryMiddleware(RetryMiddleware):
    def process_response(self, request, response, spider):
        # 如果你的逻辑在这里直接返回了response，原始RetryMiddleware就不会执行
        if response.status in [403, 429]:
            # 特殊状态码，你可能想自定义重试逻辑
            reason = f'Status {response.status}'
            return self._retry(request, reason, spider) or response
        # 确保调用父类方法以保留默认重试行为
        return super().process_response(request, response, spider)
    
    def process_exception(self, request, exception, spider):
        # 同样，确保异常处理调用父类
        return super().process_exception(request, exception, spider)

然后在settings中正确配置中间件顺序：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomRetryMiddleware': 540,  # 比默认RetryMiddleware优先级高
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
}

最后，用这个简单的测试spider验证重试是否工作：

import scrapy
from scrapy.utils.test import get_crawler

class TestRetrySpider(scrapy.Spider):
    name = 'test_retry'
    start_urls = ['http://httpbin.org/status/500']  # 模拟服务器错误
    
    custom_settings = {
        'RETRY_TIMES': 2,
        'RETRY_HTTP_CODES': [500],
        'LOG_LEVEL': 'DEBUG',  # 查看重试日志
    }
    
    def parse(self, response):
        self.logger.info(f'最终成功: {response.url}')

运行后查看日志，你应该看到类似 Retrying <GET http://...> (failed 1 times): 500 Internal Server Error 的消息。

总结一下：检查设置、中间件顺序和自定义回调是否干扰了重试链。