Python中Scrapy利用XPath无法获取img标签完整src的解决方法

这个问题我遇到过。Scrapy用XPath提取img的src时，如果网站用的是相对路径或者懒加载，确实会拿不到完整URL。核心是要用response.urljoin()处理相对路径，还要注意那些data-src之类的属性。

看这个例子：

import scrapy

class ImageSpider(scrapy.Spider):
    name = 'image_spider'
    start_urls = ['http://example.com']
    
    def parse(self, response):
        # 方法1：处理相对路径
        img_urls = response.xpath('//img/@src').getall()
        for img_url in img_urls:
            full_url = response.urljoin(img_url)  # 关键在这里
            yield {'image_url': full_url}
        
        # 方法2：处理懒加载（比如data-src）
        lazy_urls = response.xpath('//img/@data-src').getall()
        for lazy_url in lazy_urls:
            full_url = response.urljoin(lazy_url)
            yield {'lazy_image_url': full_url}
        
        # 方法3：同时检查多个可能的属性
        for img in response.xpath('//img'):
            src = img.xpath('@src').get()
            data_src = img.xpath('@data-src').get()
            srcset = img.xpath('@srcset').get()
            
            # 优先级：src > data-src > srcset
            target_url = src or data_src or (srcset.split(',')[0].split()[0] if srcset else None)
            
            if target_url:
                full_url = response.urljoin(target_url)
                yield {'final_url': full_url}

主要就这几点：

1. 绝对要用response.urljoin()把相对路径转成完整URL
2. 有些网站用data-src做懒加载，得单独处理
3. srcset属性可能有多个图片，取第一个就行
4. 实在不行就上正则或者用urllib.parse.urljoin()

总结：记得用urljoin处理相对路径。

是的,谢谢,我来查查 extract()