Python中使用Scrapy采集百度贴吧，如何按内容或标题关键字筛选帖子？XPath写了总是采不到怎么办？

核心问题：XPath写不对导致采不到数据。 百度贴吧页面结构复杂，直接按文本内容匹配容易失败。给你两个直接能用的方案：

方案一：使用contains()结合多个属性匹配（更可靠）

import scrapy

class TiebaSpider(scrapy.Spider):
    name = 'tieba'
    start_urls = ['https://tieba.baidu.com/f?kw=python']
    
    def parse(self, response):
        # 关键：同时匹配标题文本和@title属性，避免动态加载干扰
        for post in response.xpath('//li[@class=" j_thread_list clearfix"]'):
            title_text = post.xpath('.//a[@class="j_th_tit "]/text()').get()
            title_attr = post.xpath('.//a[@class="j_th_tit "]/@title').get()
            
            # 筛选逻辑：标题或内容包含指定关键词
            keyword = "爬虫"
            if (title_text and keyword in title_text) or (title_attr and keyword in title_attr):
                yield {
                    'title': title_text.strip(),
                    'link': response.urljoin(post.xpath('.//a[@class="j_th_tit "]/@href').get())
                }

方案二：用CSS选择器+正则过滤（更简洁）

def parse(self, response):
    keyword = "爬虫"
    for post in response.css('li.j_thread_list'):
        # 提取所有文本节点合并后判断
        full_text = ''.join(post.css('a.j_th_tit ::text').getall())
        if keyword in full_text:
            yield {
                'title': full_text.strip(),
                'link': response.urljoin(post.css('a.j_th_tit::attr(href)').get())
            }

为什么你的XPath可能失效：

1. 贴吧页面有大量<script>干扰，用//a[contains(text(),"关键词")]会匹配到脚本内容
2. 标题实际显示文本可能在@title属性里，不在元素文本节点
3. 页面懒加载导致部分元素初始状态为空

调试技巧（临时添加）：

# 在parse方法开头临时添加，保存实际页面结构
with open('debug.html', 'w', encoding='utf-8') as f:
    f.write(response.text)

总结：优先用方案一的属性+文本双保险匹配。