Python中如何使用Scrapy框架实现翻页功能

在Scrapy里实现翻页功能，主要就是处理下一页链接的提取和跟进。核心思路是在parse方法里找到下一页的链接，然后生成一个新的Request对象去请求它。下面是一个典型的例子，假设我们要爬取一个图书列表网站，它的翻页按钮链接在a.next-page这个CSS选择器里。

import scrapy

class BookSpider(scrapy.Spider):
    name = 'book_spider'
    start_urls = ['http://example.com/books?page=1']

    def parse(self, response):
        # 1. 首先解析当前页面的数据（比如图书列表）
        books = response.css('div.book-item')
        for book in books:
            # 这里提取每本书的详细信息，比如书名、价格
            item = {
                'title': book.css('h2::text').get(),
                'price': book.css('.price::text').get()
            }
            yield item

        # 2. 关键部分：找到并跟进“下一页”链接
        next_page = response.css('a.next-page::attr(href)').get()
        if next_page is not None:
            # 构建绝对URL（如果next_page是相对路径）
            next_page_url = response.urljoin(next_page)
            # 创建一个新的Request对象，回调函数仍然是parse，这样就能递归地处理所有页面
            yield scrapy.Request(next_page_url, callback=self.parse)

代码解释：

1. 数据解析：在parse方法里，先用response.css提取当前页面的主要数据（比如div.book-item里的每本书信息），并yield这些数据项。
2. 翻页逻辑：这是重点。用response.css('a.next-page::attr(href)').get()尝试获取“下一页”链接的href属性。
   • 如果找到了（next_page is not None），就用response.urljoin(next_page)把它拼成一个完整的URL。这一步很重要，因为网页上的链接经常是相对路径（比如/books?page=2）。
   • 然后，yield scrapy.Request(next_page_url, callback=self.parse)。这行代码会调度一个新的请求去抓取下一页，并且指定回调函数还是parse自己。这样，Scrapy就会自动一页一页地抓下去，直到没有下一页链接为止。

几个实用技巧：

• 分页URL规律明显：如果页码直接体现在URL里（比如?page=2），你也可以直接用字符串格式化或urljoin来构造下一页URL，不一定非要从页面里提取。这样更稳定，尤其是当网站没有明确的“下一页”按钮时。

  # 假设你知道总页数，或者想爬固定页数
  for page in range(2, 11): # 从第2页爬到第10页
      next_url = f'http://example.com/books?page={page}'
      yield scrapy.Request(next_url, callback=self.parse)
  

• 处理JavaScript加载：如果“下一页”按钮是通过JavaScript动态加载的（在初始HTML里看不到），简单的CSS选择器就抓不到了。这时候你可能需要用scrapy-splash或scrapy-playwright这样的中间件来渲染JavaScript。

总结：核心就是找到下一页链接并递归调用parse方法。