Python多线程问题如何解决？

gil

h691938207 2楼

Python里多线程的问题，核心就一个：全局解释器锁（GIL）。这玩意儿让Python的多线程在CPU密集型任务上基本没用，因为同一时间只有一个线程能执行Python字节码。

如果你的任务是I/O密集型（比如网络请求、读写文件），用threading模块没问题，线程在等待I/O时GIL会被释放，其他线程可以干活。举个例子，爬虫同时请求多个网址：

import threading
import requests

def fetch_url(url):
    response = requests.get(url)
    print(f"{url}: {len(response.content)} bytes")

urls = ["https://httpbin.org/delay/1"] * 5  # 模拟5个延迟1秒的请求
threads = []
for url in urls:
    t = threading.Thread(target=fetch_url, args=(url,))
    t.start()
    threads.append(t)

for t in threads:
    t.join()
print("所有请求完成")

如果你的任务是CPU密集型（比如计算圆周率、图像处理），别用threading，改用multiprocessing创建真正的进程，每个进程有独立的Python解释器和内存空间，能绕过GIL用上多核：

from multiprocessing import Pool
import math

def compute(n):
    # 模拟一个耗时的CPU计算
    return sum(math.sqrt(i) for i in range(n))

if __name__ == '__main__':
    with Pool(processes=4) as pool:  # 创建4个进程
        results = pool.map(compute, [10**6] * 8)  # 8个任务并行
    print(f"计算结果: {results[:2]}...")  # 只打印前两个结果示意

新选择：concurrent.futures 这个高级接口更简洁，线程池用ThreadPoolExecutor，进程池用ProcessPoolExecutor，用法几乎一样：

from concurrent.futures import ThreadPoolExecutor, as_completed
import requests

with ThreadPoolExecutor(max_workers=5) as executor:
    futures = {executor.submit(requests.get, url): url for url in urls}
    for future in as_completed(futures):
        data = future.result()
        print(f"{futures[future]}: {len(data.content)} bytes")

简单总结：I/O瓶颈用线程，CPU瓶颈用进程。