Python selenium chrome 使用代理做爬虫时，如何判断获取的页面是否正常

在Selenium Chrome中使用代理爬虫时，判断页面是否正常可以通过以下代码实现：

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, WebDriverException
import time

def check_page_status_with_proxy(proxy_url, target_url, timeout=30):
    """
    使用代理检查页面状态
    
    Args:
        proxy_url: 代理地址，格式如 'http://username:password@host:port'
        target_url: 目标网址
        timeout: 超时时间（秒）
    """
    options = webdriver.ChromeOptions()
    
    # 添加代理
    options.add_argument(f'--proxy-server={proxy_url}')
    
    # 其他常用选项
    options.add_argument('--headless')  # 无头模式
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    
    driver = None
    try:
        # 初始化驱动
        driver = webdriver.Chrome(options=options)
        driver.set_page_load_timeout(timeout)
        
        # 访问页面
        start_time = time.time()
        driver.get(target_url)
        load_time = time.time() - start_time
        
        # 检查1: 页面标题
        page_title = driver.title
        title_valid = bool(page_title and page_title.strip())
        
        # 检查2: 页面源码长度
        page_source = driver.page_source
        source_length = len(page_source)
        source_valid = source_length > 100  # 假设正常页面源码至少100字符
        
        # 检查3: 状态码（通过JavaScript获取）
        status_code = driver.execute_script("""
            return window.performance.getEntriesByType('navigation')[0].responseStatus || 200;
        """)
        
        # 检查4: 关键元素是否存在
        body_exists = driver.execute_script("return document.body !== null")
        
        # 检查5: 控制台错误（如果有）
        logs = driver.get_log('browser')
        js_errors = [log for log in logs if log['level'] == 'SEVERE']
        
        # 综合判断
        is_normal = all([
            title_valid,
            source_valid,
            status_code == 200,
            body_exists,
            load_time < timeout
        ])
        
        return {
            'status': 'normal' if is_normal else 'abnormal',
            'title': page_title,
            'source_length': source_length,
            'load_time': f"{load_time:.2f}s",
            'status_code': status_code,
            'has_body': body_exists,
            'js_errors': len(js_errors),
            'proxy_used': proxy_url
        }
        
    except TimeoutException:
        return {'status': 'timeout', 'error': f'页面加载超过{timeout}秒'}
    except WebDriverException as e:
        return {'status': 'driver_error', 'error': str(e)}
    except Exception as e:
        return {'status': 'unknown_error', 'error': str(e)}
    finally:
        if driver:
            driver.quit()

# 使用示例
if __name__ == "__main__":
    proxy = "http://user:pass@proxy.example.com:8080"
    url = "https://example.com"
    
    result = check_page_status_with_proxy(proxy, url)
    print(f"页面状态: {result}")
    
    # 简单判断
    if result['status'] == 'normal':
        print("✅ 页面正常加载")
    else:
        print(f"❌ 页面异常: {result.get('error', '未知错误')}")

这段代码通过五个维度判断页面是否正常：1）页面标题有效性；2）源码长度检查；3）HTTP状态码；4）body元素存在性；5）加载时间。同时捕获超时和驱动异常，确保代理失效时能正确识别。

总结：多维度检查比单一判断更可靠。