Python中使用Scrapy爬取豆瓣读书时，如何解决无法多页面爬取的问题？

遇到Scrapy爬豆瓣读书只能抓一页的问题，通常是分页逻辑没处理好。核心在于正确提取下一页链接并交给Scrapy跟进。

下面是一个可运行的示例，重点在parse方法里的分页处理：

import scrapy
from urllib.parse import urljoin

class DoubanBookSpider(scrapy.Spider):
    name = 'douban_book'
    allowed_domains = ['book.douban.com']
    start_urls = ['https://book.douban.com/tag/小说']

    def parse(self, response):
        # 1. 提取当前页的书籍信息
        books = response.css('ul.subject-list li.subject-item')
        for book in books:
            item = {
                'title': book.css('h2 a::attr(title)').get(),
                'link': book.css('h2 a::attr(href)').get(),
                'rating': book.css('span.rating_nums::text').get(),
            }
            yield item

        # 2. 关键：提取下一页链接
        next_page = response.css('span.next a::attr(href)').get()
        if next_page:
            # 豆瓣用的是相对路径，需要拼接完整URL
            next_url = urljoin(response.url, next_page)
            yield scrapy.Request(next_url, callback=self.parse)

常见问题排查点：

1. 检查CSS选择器是否正确匹配到“下一页”链接（豆瓣的下一页通常在span.next > a里）
2. 确保用urljoin处理相对路径
3. 确认目标网站没有反爬机制阻止翻页（可尝试添加headers和DOWNLOAD_DELAY）

一句话建议： 重点检查分页链接提取逻辑和URL拼接是否正确。