Python中Scrapy如何在一个Spider中指定对应Pipeline输出到多张表

在Scrapy里，一个Spider的数据想分到不同的数据库表，直接在process_item里根据item类型判断就行。别搞太复杂。

下面是个完整例子。假设我们爬两种数据：ProductItem存商品表，ReviewItem存评论表。

1. 先定义Items（items.py）

import scrapy

class ProductItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    # 其他字段...

class ReviewItem(scrapy.Item):
    product_id = scrapy.Field()
    content = scrapy.Field()
    # 其他字段...

2. 关键在Pipeline（pipelines.py）

import pymysql

class MultiTablePipeline:
    def open_spider(self, spider):
        # 连接数据库
        self.conn = pymysql.connect(
            host='localhost',
            user='your_user',
            password='your_pass',
            database='your_db',
            charset='utf8mb4'
        )
        self.cursor = self.conn.cursor()
    
    def close_spider(self, spider):
        self.conn.commit()
        self.cursor.close()
        self.conn.close()
    
    def process_item(self, item, spider):
        if isinstance(item, ProductItem):
            self._insert_product(item)
        elif isinstance(item, ReviewItem):
            self._insert_review(item)
        return item
    
    def _insert_product(self, item):
        sql = """
            INSERT INTO products (name, price) 
            VALUES (%s, %s)
        """
        self.cursor.execute(sql, (
            item.get('name'),
            item.get('price')
        ))
    
    def _insert_review(self, item):
        sql = """
            INSERT INTO reviews (product_id, content) 
            VALUES (%s, %s)
        """
        self.cursor.execute(sql, (
            item.get('product_id'),
            item.get('content')
        ))

3. 在settings.py启用Pipeline

ITEM_PIPELINES = {
    'your_project.pipelines.MultiTablePipeline': 300,
}

4. Spider里正常yield两种item

class MySpider(scrapy.Spider):
    name = 'example'
    
    def parse(self, response):
        # 解析商品
        product = ProductItem()
        product['name'] = 'xxx'
        product['price'] = 99.9
        yield product
        
        # 解析评论
        review = ReviewItem()
        review['product_id'] = 1
        review['content'] = '很好用'
        yield review

核心思路：Pipeline里用isinstance()判断item类型，然后走不同的插入逻辑。这样结构清晰，也好维护。

简单说就是：在Pipeline里判断item类型，分别处理。