Python中关于爬虫与代理的使用问题

在Python里搞爬虫，用代理主要就两个目的：一是隐藏真实IP，避免被目标网站封禁；二是访问一些有地域限制的资源。

最常用的库是requests，设置代理非常简单，直接在请求里加个proxies参数就行。代理格式一般是http://或https://开头的URL。

import requests

# 你的代理地址，这里用免费代理示例（实际使用时建议用可靠的高匿代理）
proxies = {
    'http': 'http://123.45.67.89:8080',
    'https': 'http://123.45.67.89:8080',
}

try:
    # 发送带代理的请求
    response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
    response.raise_for_status()  # 检查请求是否成功
    print('通过代理获取的IP:', response.json())
except requests.exceptions.RequestException as e:
    print(f'请求出错: {e}')

关键点：

1. 代理类型：要和你访问的网址协议匹配（http或https），通常两个都设置上更省事。
2. 异常处理：网络请求和代理都不稳定，必须用try...except包起来，并设置合理的timeout。
3. 代理质量：免费代理大多不稳定、速度慢还可能泄露信息。正经项目建议用付费的高匿代理服务，或者自己搭代理池轮换IP。

如果项目复杂，比如要管理大量代理IP、自动处理失效代理，可以用aiohttp做异步爬虫，或者用专门的代理中间件（像scrapy-rotating-proxies这种）。但核心原理都一样：发请求的时候把代理地址带过去。

简单来说，就是选对代理，然后在requests里配好就行。