Python爬虫使用代理IP请求时遇到问题,求指教如何解决?

7492 Traceback (most recent call last):
7493 File “/home/shenjianlin/my_project/run.py”, line 60, in <module>
7494 run().get_spider()
7495 File “/home/shenjianlin/my_project/run.py”, line 56, in get_spider
7496 qimingpian().get_id_and_front_url()
7497 File “/home/shenjianlin/my_project/qimingpian_person/qimingpian_person.py”, line 180, in get_id_and_front_url
7498 self.get_agency_content(811018, “http://vip.qimingpian.com/#/detailorg?src=magic&ticket=8577e8587d5d5be8809e3d26a42419ac&id=8fc80fa3b229f9160f1186fb428e1dc7”, auth, proxies,user_index)
7499 File “/home/shenjianlin/my_project/qimingpian_person/qimingpian_person.py”, line 342, in get_agency_content
7500 proxies=proxies)).text)
7501 File “/usr/lib/python3.4/site-packages/requests/sessions.py”, line 559, in post
7502 return self.request(‘POST’, url, data=data, json=json, **kwargs)
7503 File “/usr/lib/python3.4/site-packages/requests/sessions.py”, line 512, in request
7504 resp = self.send(prep, **send_kwargs)
7505 File “/usr/lib/python3.4/site-packages/requests/sessions.py”, line 622, in send
7506 r = adapter.send(request, **kwargs)
7507 File “/usr/lib/python3.4/site-packages/requests/adapters.py”, line 495, in send
7508 raise ConnectionError(err, request=request)
7509 requests.exceptions.ConnectionError: (‘Connection aborted.’, BadStatusLine("’’",))
Python爬虫使用代理IP请求时遇到问题,求指教如何解决?


2 回复

遇到代理IP请求的问题,通常有几个常见原因和解决方法。

首先,检查代理IP的格式是否正确。使用requests库时,代理格式应为字典:{'http': 'http://ip:port', 'https': 'https://ip:port'}。如果是需要认证的代理,格式是'http://user:pass@ip:port'

其次,确认代理IP本身是否有效。很多免费代理不稳定,建议先用requests.get('http://httpbin.org/ip', proxies=proxies, timeout=5)测试一下,看返回的IP是否已切换。

另外,注意目标网站是否有反爬机制。有些网站会检测并屏蔽代理IP,这时需要更换高质量代理或添加合适的请求头(如User-Agent)。

最后,确保网络环境允许使用代理。在公司内网或某些环境下,可能需要额外配置。

总结:先测试代理IP本身是否可用,再检查代码格式和网络环境。


可能是你的代理失效了

回到顶部