Python中如何高效地将10亿级JSON数据插入PostgreSQL并充分利用单台服务器性能？

核心思路： 别用单条INSERT硬怼，用COPY或批量插入，配合连接池和异步IO把硬件跑满。

具体做法：

1. 数据准备与分批：

import ijson
import asyncio
from asyncpg import create_pool
import ujson

async def batch_insert():
    # 1. 用ijson流式读取大JSON文件，避免内存爆炸
    with open('huge_data.json', 'r') as f:
        objects = ijson.items(f, 'item')  # 根据实际JSON结构调整路径
        
        # 2. 分批处理，每批5000-20000条
        batch = []
        for obj in objects:
            batch.append((
                obj['id'],
                ujson.dumps(obj['data']),  # 如果字段是JSONB
                obj['timestamp']
            ))
            
            if len(batch) >= 10000:
                await insert_batch(batch)
                batch = []
        
        if batch:
            await insert_batch(batch)

async def insert_batch(batch):
    # 3. 用asyncpg连接池，控制并发连接数（通常CPU核数*2 + 1）
    pool = await create_pool(
        user='user', password='pass',
        database='db', host='localhost',
        min_size=5, max_size=20  # 根据服务器内存调整
    )
    
    async with pool.acquire() as conn:
        # 4. 使用COPY FROM（最快）
        await conn.copy_records_to_table(
            'your_table',
            records=batch,
            columns=['id', 'data', 'timestamp']
        )
        
        # 或者用 executemany（次选）
        # await conn.executemany(
        #     "INSERT INTO table VALUES($1, $2, $3)",
        #     batch
        # )

1. 关键配置：

• PostgreSQL配置：max_connections调高，shared_buffers设为内存25%，wal_buffers 16-32MB，synchronous_commit = off（导入期间）
• 表设置：导入前删索引，导入后重建；用UNLOGGED表（数据可丢失时）

1. 如果JSON是数组文件：

import pandas as pd
import psycopg2
from sqlalchemy import create_engine

# 分块读取 + 批量插入
chunk_iter = pd.read_json('data.json', lines=True, chunksize=50000)
engine = create_engine('postgresql://user:pass@localhost/db')

for chunk in chunk_iter:
    chunk.to_sql('table', engine, if_exists='append', index=False, method='multi')

一句话总结： 流式读取 + 批量COPY + 连接池 + 调参。

机械硬盘的顺序写速度还是可以的，楼主这种情况基本上就是顺序写。好点的硬盘可以达到几百 M/s，不过随机 IOPS 确实低，这个没办法。

不会 python 的吧，PIL 的存在，首先就应该考虑多进程。