Python中Urllib2如何读取响应长度并诊断出错原因

try except 没有起作用…程序没有中断…

import urllib2
import sys

def fetch_url_with_debug(url):
    """
    使用urllib2获取URL响应，并诊断常见错误
    """
    req = urllib2.Request(url)
    
    try:
        # 1. 发送请求
        response = urllib2.urlopen(req)
        
        # 2. 读取响应内容并获取长度
        content = response.read()
        content_length = len(content)
        
        # 3. 获取响应头中的Content-Length（服务器声明的长度）
        headers = response.info()
        declared_length = headers.getheader('Content-Length')
        
        print("=" * 50)
        print("响应诊断信息：")
        print(f"URL: {url}")
        print(f"HTTP状态码: {response.code}")
        print(f"实际读取的内容长度: {content_length} bytes")
        
        if declared_length:
            declared_length = int(declared_length)
            print(f"服务器声明的Content-Length: {declared_length} bytes")
            
            # 检查长度是否匹配
            if content_length != declared_length:
                print(f"⚠️  警告: 实际长度({content_length})与声明长度({declared_length})不匹配")
                print("可能原因: 1) 服务器错误 2) 压缩传输 3) 分块编码")
        else:
            print("服务器未提供Content-Length头")
        
        # 4. 显示响应头（调试用）
        print("\n响应头信息:")
        for header in headers.headers:
            print(f"  {header.strip()}")
            
        return content
        
    except urllib2.HTTPError as e:
        print(f"HTTP错误 {e.code}: {e.reason}")
        print(f"错误URL: {e.url}")
        if hasattr(e, 'headers'):
            print("错误响应头:")
            for header in e.headers.headers:
                print(f"  {header.strip()}")
        return None
        
    except urllib2.URLError as e:
        print(f"URL错误: {e.reason}")
        # 更详细的错误诊断
        if hasattr(e.reason, 'errno'):
            print(f"系统错误码: {e.reason.errno}")
        return None
        
    except Exception as e:
        print(f"其他错误: {type(e).__name__}: {str(e)}")
        return None

# 使用示例
if __name__ == "__main__":
    # 测试正常URL
    print("测试1: 正常URL")
    fetch_url_with_debug("http://httpbin.org/get")
    
    print("\n" + "="*50 + "\n")
    
    # 测试404错误
    print("测试2: 不存在的URL")
    fetch_url_with_debug("http://httpbin.org/status/404")
    
    print("\n" + "="*50 + "\n")
    
    # 测试网络错误
    print("测试3: 无法连接的URL")
    fetch_url_with_debug("http://nonexistent-domain-xyz.com/")

代码说明：

1. 获取响应长度：

   • len(response.read()) 获取实际读取的内容字节数
   • headers.getheader('Content-Length') 获取服务器声明的长度

2. 错误诊断：

   • HTTPError: 处理HTTP状态码错误（404、500等）
   • URLError: 处理网络连接错误（DNS解析失败、连接超时等）
   • 通用异常捕获：处理其他意外错误

3. 关键检查点：

   • 对比实际长度和Content-Length头
   • 显示完整的响应头信息
   • 提供具体的错误代码和原因

常见问题诊断：

• 长度不匹配：可能服务器使用了分块传输或压缩
• HTTPError：检查URL是否正确，服务器是否正常运行
• URLError：检查网络连接，DNS解析，防火墙设置

一句话建议： 实际读取长度比Content-Length头更可靠，务必处理所有可能的异常。