使用 Python 处理大文件有什么推荐的方式么？

话说为什么不能 append 了…

再说具体一些吧，就是把文件内容读出来做一些处理然后存到另外的文件去。

不知哪位处理过类似的需求

处理大文件的核心思路是避免一次性加载到内存。推荐使用迭代读取和流式处理。

1. 文本文件：逐行读取

with open('large_file.txt', 'r', encoding='utf-8') as f:
    for line in f:  # 每次只读取一行到内存
        process(line)  # 你的处理函数

2. CSV文件：使用csv模块迭代

import csv
with open('large.csv', 'r') as f:
    reader = csv.reader(f)
    for row in reader:
        process_row(row)

3. 二进制文件：分块读取

chunk_size = 1024 * 1024  # 每次读取1MB
with open('large.bin', 'rb') as f:
    while chunk := f.read(chunk_size):
        process_chunk(chunk)

4. Pandas处理大CSV：指定chunksize

import pandas as pd
chunk_iter = pd.read_csv('huge.csv', chunksize=10000)
for chunk in chunk_iter:
    process_dataframe(chunk)

5. 使用生成器管道处理

def read_lines(filename):
    with open(filename) as f:
        for line in f:
            yield line.strip()

def filter_lines(lines, keyword):
    for line in lines:
        if keyword in line:
            yield line

# 使用
lines = read_lines('large.log')
filtered = filter_lines(lines, 'ERROR')
for line in filtered:
    print(line)

关键工具总结：

• open()的迭代读取
• csv.reader逐行解析
• pandas.read_csv(chunksize=)
• 生成器(yield)构建处理管道
• 对于超大数据考虑Dask或PySpark

一句话建议：用迭代代替一次性加载，内存不够就分块。

可能还是在 io，for fn in en_files 这个依赖系统硬盘缓存的，如果行数多但每行字少的时候很慢，主进程一次一行的分配任务会把主进程的 cpu 耗尽，不如一次 readlines 几千行塞到各个进程里在内存里由各个进程逐行处理。而且不知道为什么 python 解析 utf8 奇慢，全英文的转成其他编码的再处理。我以前遇到是这种问题。