Python多进程写入文件时遇到问题，如何解决？

多进程写文件最常见的问题是并发写入导致数据错乱或文件损坏。核心解决方案是使用进程锁（multiprocessing.Lock）或让子进程将数据返回给主进程，由主进程统一写入。

这里给你两个最实用的方案：

方案一：使用进程锁（适合简单场景）

import multiprocessing as mp

def worker(lock, data, filename):
    # 模拟一些处理
    result = f"Processed: {data}\n"
    
    with lock:  # 获取锁，确保同一时间只有一个进程写入
        with open(filename, 'a', encoding='utf-8') as f:
            f.write(result)

if __name__ == '__main__':
    lock = mp.Lock()
    filename = 'output.txt'
    
    # 清空或创建文件
    with open(filename, 'w', encoding='utf-8') as f:
        pass
    
    processes = []
    for i in range(5):
        p = mp.Process(target=worker, args=(lock, f'data_{i}', filename))
        processes.append(p)
        p.start()
    
    for p in processes:
        p.join()
    
    print("写入完成")

方案二：使用队列+主进程写入（推荐，性能更好）

import multiprocessing as mp

def worker(queue, data):
    # 模拟处理
    result = f"Processed: {data}"
    queue.put(result)  # 将结果放入队列

def writer_process(queue, filename):
    """专门的写入进程"""
    with open(filename, 'w', encoding='utf-8') as f:
        while True:
            data = queue.get()
            if data == 'STOP':  # 停止信号
                break
            f.write(data + '\n')
            f.flush()  # 及时写入磁盘

if __name__ == '__main__':
    queue = mp.Queue()
    filename = 'output.txt'
    
    # 启动写入进程
    writer = mp.Process(target=writer_process, args=(queue, filename))
    writer.start()
    
    # 启动工作进程
    workers = []
    for i in range(5):
        p = mp.Process(target=worker, args=(queue, f'data_{i}'))
        workers.append(p)
        p.start()
    
    # 等待所有工作进程完成
    for p in workers:
        p.join()
    
    # 发送停止信号给写入进程
    queue.put('STOP')
    writer.join()
    
    print("写入完成")

简单总结：小文件用锁，大量数据用队列。

想起来一个问题。貌似传给 multiprocessing.Process 构造函数的参数必须是 pickable 的，而文件对象不是 pickable 的，你第一个问题有可能出在这儿了。

感谢，我表述有问题。直接上代码

https://gist.github.com/kingmo888/a7cdc36f77397f65ac19fb49f5795814

这种情况下，不会写入任何东西。