Python中多线程和多进程如何同时共用？

在Python里同时用多线程和多进程，核心思路是让进程负责CPU密集型任务，线程负责I/O密集型任务。最常见的方式是用multiprocessing创建进程池，每个进程内部再用concurrent.futures开线程池。

看个具体例子，假设我们要处理一堆文件（I/O多）并对内容做复杂计算（CPU多）：

import concurrent.futures
import multiprocessing
from multiprocessing import Pool
import threading
import os

# 这是CPU密集型任务，放在进程里
def cpu_intensive_task(data_chunk):
    # 模拟复杂计算
    result = sum(i*i for i in range(10000))
    return f"Process {os.getpid()}: {result}"

# 这是I/O密集型任务，在线程池里处理
def io_intensive_task(file_path):
    # 模拟文件读取
    with threading.Lock():
        print(f"Thread {threading.get_ident()} reading {file_path}")
    # 这里可以实际读取文件
    return f"Processed {file_path}"

# 混合工作函数：每个进程执行这个函数
def hybrid_worker(file_paths):
    results = []
    # 在进程内部创建线程池处理I/O
    with concurrent.futures.ThreadPoolExecutor(max_workers=4) as thread_pool:
        thread_results = list(thread_pool.map(io_intensive_task, file_paths))
        results.extend(thread_results)
    
    # 对处理后的数据做CPU密集型计算
    cpu_result = cpu_intensive_task(thread_results)
    results.append(cpu_result)
    
    return results

def main():
    # 模拟一批文件路径
    all_files = [f"file_{i}.txt" for i in range(20)]
    
    # 将文件分成4批，给4个进程处理
    chunk_size = len(all_files) // 4
    file_chunks = [all_files[i:i+chunk_size] for i in range(0, len(all_files), chunk_size)]
    
    # 创建进程池
    with Pool(processes=4) as process_pool:
        # 每个进程处理一批文件，内部再用线程池
        all_results = process_pool.map(hybrid_worker, file_chunks)
    
    # 展平结果
    flat_results = [item for sublist in all_results for item in (sublist if isinstance(sublist, list) else [sublist])]
    
    for result in flat_results:
        print(result)

if __name__ == "__main__":
    main()

这里的关键点：

1. multiprocessing.Pool创建了4个进程
2. 每个进程执行hybrid_worker函数
3. 在hybrid_worker内部，用ThreadPoolExecutor创建线程池处理I/O任务
4. 线程任务完成后，在同一个进程内做CPU密集型计算

这样既利用了多进程绕过GIL做并行计算，又用多线程高效处理I/O。注意数据传递要用pickleable的对象，进程间通信可以用multiprocessing.Queue。

简单说就是进程管计算，线程管I/O，各司其职。

一般来说，可以认为 Windows 不能直接使用 multiprocessing，也就是不支持多进程。