Python爬虫在断网时能捕获到哪些异常？

在Python爬虫中，当网络连接中断时，主要会捕获到requests库或urllib库抛出的与连接相关的异常。

常见异常：

1. requests.exceptions.ConnectionError 这是最直接的异常，表示底层网络连接失败，包括DNS查询失败、拒绝连接、服务器无响应等。断网时一定会触发此异常或其子类。

   import requests
   from requests.exceptions import ConnectionError
   
   try:
       response = requests.get('http://www.example.com', timeout=5)
       print(response.status_code)
   except ConnectionError as e:
       print(f"连接失败: {e}")
   

2. requests.exceptions.Timeout 如果设置了超时（timeout参数），在断网或网络极慢的情况下，连接阶段或读取响应阶段超过指定时间就会抛出此异常。它是ConnectionError的子类。

   import requests
   from requests.exceptions import Timeout
   
   try:
       response = requests.get('http://www.example.com', timeout=2)  # 2秒超时
       print(response.status_code)
   except Timeout:
       print("请求超时")
   

3. urllib.error.URLError (使用urllib时) 如果使用标准库的urllib.request，在断网时会抛出URLError，其reason属性通常是一个socket.error或TimeoutError。

   from urllib.request import urlopen
   from urllib.error import URLError
   
   try:
       response = urlopen('http://www.example.com', timeout=5)
       print(response.read()[:100])
   except URLError as e:
       print(f"URL错误: {e.reason}")
   

4. 底层的socket.error (或OSError) 上述高级库的异常通常封装了底层的socket错误。在极少数直接使用socket编程的情况下，断网会引发socket.error（Python 3中合并入OSError），如[Errno 101] Network is unreachable。

处理建议： 在爬虫代码中，使用try...except块捕获requests.exceptions.ConnectionError和requests.exceptions.Timeout（或urllib.error.URLError）即可有效处理断网情况，并进行重试或记录日志。

一句话总结：主要捕获ConnectionError和Timeout异常进行重试处理。

Timeout exception