Python中Scrapy抓取的数据插入数据库时如何处理外键关联？

核心思路： 在 pipelines.py 中，先插入主表数据获取其自增ID，再插入关联的从表数据。

关键代码示例：

import pymysql
from itemadapter import ItemAdapter

class DatabasePipeline:
    def __init__(self):
        self.conn = pymysql.connect(host='localhost', user='root', password='', database='test')
        self.cursor = self.conn.cursor()

    def process_item(self, item, spider):
        # 1. 插入主表（例如：文章表）
        article_sql = """
            INSERT INTO articles (title, content) 
            VALUES (%s, %s)
        """
        self.cursor.execute(article_sql, (item['title'], item['content']))
        article_id = self.cursor.lastrowid  # 获取刚插入文章的自增ID
        
        # 2. 插入从表（例如：评论表），使用上面获取的article_id作为外键
        for comment in item['comments']:
            comment_sql = """
                INSERT INTO comments (article_id, comment_text) 
                VALUES (%s, %s)
            """
            self.cursor.execute(comment_sql, (article_id, comment))
        
        self.conn.commit()
        return item

    def close_spider(self, spider):
        self.cursor.close()
        self.conn.close()

补充说明：

• 确保数据库表已正确定义外键约束
• 使用事务保证数据一致性（如代码中的commit）
• 对于多对多关系，需要先插入两端主表，再插入关联表

一句话建议： 按依赖顺序插入，用lastrowid获取外键值。