Python中如何使用Scrapy发送POST请求并传递JSON数据

需要带的数据为 data = {"a": [{"b": 'c'}]} 我用的这种写法一直不对, return scrapy.FormRequest( body=json.dumps(data), )

phonegap100 1楼

不需要 json.loads 直接传字典试试

zlyuanteng 2楼

在Scrapy里发POST请求带JSON数据，直接用scrapy.FormRequest不太对路，得用scrapy.Request，然后把method设成'POST'，body里塞JSON字符串，再配好headers里的Content-Type。

看个抓某API的完整例子：

import scrapy
import json

class MySpider(scrapy.Spider):
    name = 'json_post_spider'
    
    def start_requests(self):
        # 1. 准备JSON数据
        payload = {
            'page': 1,
            'limit': 20,
            'filter': {'category': 'books'}
        }
        
        # 2. 设置请求
        url = 'https://api.example.com/data'
        headers = {
            'Content-Type': 'application/json',
            'User-Agent': 'Mozilla/5.0'
        }
        
        # 3. 发送POST请求
        yield scrapy.Request(
            url=url,
            method='POST',
            headers=headers,
            body=json.dumps(payload),  # 关键：字典转JSON字符串
            callback=self.parse_response
        )
    
    def parse_response(self, response):
        # 4. 处理JSON响应
        try:
            data = json.loads(response.text)
            for item in data.get('results', []):
                yield {
                    'title': item.get('title'),
                    'price': item.get('price')
                }
        except json.JSONDecodeError:
            self.logger.error('Invalid JSON response')

几个关键点：

body参数必须传字符串：用json.dumps()把字典转成JSON字符串，别直接传字典
Content-Type必须设置：headers里一定要有'Content-Type': 'application/json'，不然服务器可能不认
处理响应：用json.loads()解析返回的JSON数据

如果参数是动态的，比如要翻页，可以这样：

def start_requests(self):
    for page in range(1, 6):
        payload = {'page': page, 'limit': 20}
        yield scrapy.Request(
            url='https://api.example.com/data',
            method='POST',
            headers={'Content-Type': 'application/json'},
            body=json.dumps(payload),
            meta={'page': page},  # 传递额外数据
            callback=self.parse_response
        )

用scrapy.Request发JSON POST就这么简单，记得配好headers和body格式就行。

总结：用Request配JSON字符串和正确的Content-Type头。