Python爬虫下载图片时,为什么总是下载到同一张假图片?浏览器直接打开图片地址也无法显示原图

获取到 http://www.zhuoku.com 网站的图片地址,下载回来的都是同一张假图片,在浏览器直接打开图片地址显示的也不是原图。请教各位大佬这个问题如何解决。
Python爬虫下载图片时,为什么总是下载到同一张假图片?浏览器直接打开图片地址也无法显示原图

9 回复

如果用的不是同一套 cookies 的话,那就是封 IP 了,上代理池吧.


这个问题很常见,通常是因为网站使用了反爬机制,比如对图片URL进行了动态混淆或验证。

核心原因在于,你从网页HTML源码里直接提取到的图片链接(比如 .jpg 结尾的URL),很可能是一个“占位符”或“陷阱”链接。当你用 requests.get() 去请求这个链接时,服务器会检查你的请求头(尤其是 RefererUser-Agent),如果不符合“正常浏览器”的访问模式,它就不会返回真实的图片数据,而是返回一张固定的、错误的图片(比如一张1x1像素的图,或者提示“禁止盗链”的图片)。

关键检查点和解决方案:

  1. 模拟完整请求头:这是最基本的一步。你不能只发一个光秃秃的GET请求。至少需要带上 User-AgentReferer(如果需要的话)。

    import requests
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
        'Referer': 'https://目标网站.com/',  # 填写图片所在页面的URL
    }
    
    img_url = '你从源码里找到的图片链接'
    response = requests.get(img_url, headers=headers)
    
    with open('image.jpg', 'wb') as f:
        f.write(response.content)
    
  2. 检查真实图片地址:在浏览器里打开开发者工具(F12),切换到 Network(网络)选项卡,然后刷新图片所在的页面。在请求列表里找到图片类型的请求(通常是 ImgMedia 分类)。重点看这个请求的 HeadersResponse

    • Headers:看看浏览器实际发送的请求头和你用Python模拟的是否一致,特别是 CookieReferer
    • Response:看看服务器返回的真实响应URL。有时初始请求会被302重定向到另一个真实的图片地址。你需要用代码处理这个重定向,或者直接请求重定向后的最终URL。requests 默认会自动处理重定向,你可以通过 response.url 查看最终地址。
  3. 可能涉及动态加载:有些图片是通过JavaScript动态加载的,HTML源码里根本没有。这种情况下,你需要分析网页加载过程中的XHR/Fetch请求,找到获取图片真实地址的API接口,然后模拟请求那个接口。

一句话总结:别信源码里的链接,用浏览器开发者工具看真实的网络请求并完全模拟它。

通常就是 cookies、refer url、IP,逐个排查。

大概是因为给识别出机器人网站给你返回了错误的图片,换个 IP 试试

应该是缺了 refer 头,在 headers 中加上。

加上来路就好了,常见的图片防盗链。
Referer

图片地址 http://bizhi.zhuoku.com/2018/04/25/Bugatti/2019-Bugatti-Chiron-Sport-10.jpg
在这个下 http://www.zhuoku.com/zhuomianbizhi/jing-car/20180425160320(10).htm
htm 可以直接访问不用加 referer,在该页面显示图片正常,图片右击新标签页打开也正常
(浏览器打开正常应该不是封 IP 吧)

代码如下返回了错误的图片
import urllib.request
import requests
import re

headers = {
‘Host’:‘www.zhuoku.com’,
‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36’,
‘Referer’:‘http://www.zhuoku.com/zhuomianbizhi/jing-car/20180425160320(10).htm’
‘Cookie’:‘cck_lasttime=1535598582789; cck_count=0; bdshare_firstime=1535598583191’
}
url = ‘http://www.zhuoku.com/zhuomianbizhi/jing-car/20180425160320(10).htm’
req = requests.get(url, headers = headers)
req.encoding = ‘GBK’
html = req.text
picurl = re.findall(r’<img id=“imageview” src="(.?)"’, html)[0]
picname = re.findall(r’thumbs/tn_(.
?)"’, html)[0]
path = ‘F:\PyDowns\zhuoku\’ + picname
urllib.request.urlretrieve(picurl, path)

打开 20180425160320(10)
request headers 为
GET 20180425160320(10) HTTP/1.1
Host: com
Proxy-Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8
Accept-Encoding: gzip, deflate
Accept-Language: en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7,zh-TW;q=0.6

其中图片的 request headers 为
GET 2019-Bugatti-Chiron-Sport-10 HTTP/1.1
Host: com
Proxy-Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
Accept: image/webp,image/apng,image/,/*;q=0.8
Referer: 20180425160320(10)
Accept-Encoding: gzip, deflate
Accept-Language: en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7,zh-TW;q=0.6
(由于论坛回复机制删除了 URL )

urllib.request.urlretrieve() 函数不能提交 header 信息?
下载图片时(等同直接访问图片地址)就会触发防盗,返回错误的图片

这个方法也是不行
content = requests.get(picurl, headers =headers).content
with open(‘F:\PyDowns\zhuoku\demo.jpg’, ‘wb’) as fp:
fp.write(content)

回到顶部