Python中如何高效读取4GB以上的大JSON文件到内存？
尝试用 pickle.loads 读到内存，直接内存溢出了，试着用 pandas.read_json()读取，但是报错，Excepted object or value 黔驴技穷，不知道该咋弄了
Python中如何高效读取4GB以上的大JSON文件到内存？
对于读取4GB以上的大JSON文件，传统方法如json.load()会一次性加载整个文件到内存，容易导致内存溢出。这里推荐几种高效处理大JSON文件的方法：
1. 使用ijson库进行流式解析
import ijson
def process_large_json(file_path):
with open(file_path, 'rb') as f:
# 流式解析JSON数组中的每个对象
objects = ijson.items(f, 'item')
for obj in objects:
# 逐条处理数据
process_single_item(obj)
2. 使用jsonlines格式（如果文件是每行一个JSON对象）
import json
def read_jsonlines(file_path):
with open(file_path, 'r', encoding='utf-8') as f:
for line in f:
data = json.loads(line.strip())
# 处理单条数据
3. 分块读取结合json.loads
def read_json_in_chunks(file_path, chunk_size=1024*1024): # 1MB chunks
buffer = ""
with open(file_path, 'r', encoding='utf-8') as f:
while True:
chunk = f.read(chunk_size)
if not chunk:
break
buffer += chunk
# 这里需要根据JSON结构实现更复杂的分块解析逻辑
4. 使用pandas的chunksize参数（如果文件是JSON数组）
import pandas as pd
chunk_size = 10000
for chunk in pd.read_json('large_file.json', lines=True, chunksize=chunk_size):
# 处理每个数据块
process_dataframe(chunk)
建议：对于4GB以上的JSON文件，优先考虑ijson进行流式解析。
将你的需求映射为数据接口由 c++来处理，C++用 rapidjson 来读取
rapidjson 如果还是不行，就用 c++写一个针对文件的、有限功能的 json 库
如果自己搞不定，就外包
首先，先搞清楚你把数据加载到内存后打算干吗。
这坨数据就是比你内存大，和格式无关。哪怕它是再精简不过的 bin 格式，哪怕我用 c，都无法解决 8G 内存读取 800G 数据的矛盾。
唯一的出路，就是根据数据格式和需求确定解析和计算模式，部分解析，部分计算，分治然后汇总。
建议的几种读取方式：
1，SAX 了解一下，事件流驱动的 xml 解析思路，搬到 json 上毫无问题。
2，切割原 json 文件，给它补上恰当的开始、关闭符来确保结构。
3，自己实现解析器，最 low 的状态机实现起来很简单的。然后一边解析一边处理一边丢弃。
4，如果 json 数据有某种特征，预处理一下。（比如结构体其实不复杂元素也不多，但里面有个字段的值超大，那么先文本处理 json，把这个字段抽取出来形成外部文件，json 内只留个文件名索引）其实很多超大数据集要么结构简单只是数据条数多，要么条数不多但单条比较大，很容易做针对性处理。
这个本来是很多个文件处理后生成的一个字典，然后用 pickle dump 出去，生成一个临时中间文件，避免下次使用的时候还要经过计算生成，但是在 load 的时候，不知道为什么内存占用会成倍的增长。
额 是我的描述出了点问题，pickle.dump 是异于 json.dump 的，是一个超大的字典，dump 出去有 4 个多 G，但是 load 的时候内存占用成倍的增长，直接溢出
大多数应用程序都必须检索整个对象，然后仅过滤出所需数据以进行进一步分析。借助 S3 Select，应用程序可以将过滤和访问对象内部数据的繁重工作卸载到 Amazon S3 服务。
https://aws.amazon.com/cn/about-aws/whats-new/2018/04/amazon-s3-select-is-now-generally-available/?nc1=f_ls
