Python中requests多线程处理时遇到无法访问的URL问题如何解决？

问题核心： requests库本身不是线程安全的，直接在多线程中使用可能导致连接池冲突或异常。你需要为每个线程创建独立的Session对象，或者使用线程安全的连接适配器。

解决方案：

import requests
from concurrent.futures import ThreadPoolExecutor, as_completed
from threading import Lock
import logging

# 设置日志，方便查看错误
logging.basicConfig(level=logging.INFO)

def fetch_url(url, timeout=5):
    """
    每个线程使用独立的Session对象访问URL
    """
    session = requests.Session()  # 关键：每个线程有自己的Session
    try:
        response = session.get(url, timeout=timeout)
        response.raise_for_status()  # 检查HTTP错误
        return url, response.status_code, len(response.content)
    except requests.exceptions.RequestException as e:
        return url, f"ERROR: {type(e).__name__}", str(e)
    finally:
        session.close()  # 关闭会话释放资源

def main():
    urls = [
        "https://httpbin.org/get",
        "https://httpbin.org/status/404",
        "https://invalid.url.that.does.not.exist",
        "https://httpbin.org/delay/2"
    ]
    
    results = []
    # 使用线程池控制并发数
    with ThreadPoolExecutor(max_workers=4) as executor:
        # 提交所有任务
        future_to_url = {executor.submit(fetch_url, url): url for url in urls}
        
        # 收集结果
        for future in as_completed(future_to_url):
            url = future_to_url[future]
            try:
                result = future.result()
                results.append(result)
                logging.info(f"完成: {result}")
            except Exception as e:
                logging.error(f"任务异常 {url}: {e}")
    
    # 输出汇总结果
    print("\n=== 结果汇总 ===")
    for url, status, info in results:
        print(f"{url[:50]:<50} | {str(status):<15} | {info}")

if __name__ == "__main__":
    main()

关键点说明：

1. 独立Session：requests.Session() 不是线程安全的。上面的代码在每个线程内部创建独立的Session实例，避免共享导致的竞争条件。

2. 异常处理：网络请求可能因各种原因失败（超时、DNS解析失败、连接拒绝等）。代码通过捕获requests.exceptions.RequestException来妥善处理这些情况，避免整个程序崩溃。

3. 资源清理：使用finally块确保Session被关闭，防止连接泄漏。

4. 线程池控制：ThreadPoolExecutor可以方便地管理线程数量，避免创建过多线程。

如果你的程序需要更高的并发性能，可以考虑：

• 使用aiohttp进行异步IO（更适合高并发场景）
• 使用requests配合urllib3的连接池配置

简单建议： 为每个线程创建独立的Session对象是解决此问题最直接有效的方法。