Python中如何使用xpath提取title标签内的文字？

import requests
from lxml import etree

# 获取网页内容
url = "https://example.com"
response = requests.get(url)
html_content = response.content

# 解析HTML
parser = etree.HTMLParser()
tree = etree.fromstring(html_content, parser)

# 使用XPath提取title标签文字
# 方法1：直接定位title标签
title_text = tree.xpath('//title/text()')[0]
print(f"方法1提取结果: {title_text}")

# 方法2：更精确的定位（指定html和head层级）
title_text = tree.xpath('/html/head/title/text()')[0]
print(f"方法2提取结果: {title_text}")

# 方法3：使用string()函数获取标签内所有文本（包括子标签）
title_text = tree.xpath('string(//title)')
print(f"方法3提取结果: {title_text}")

核心要点：

1. //title 表示在整个文档中查找所有title标签
2. /text() 获取标签的直接文本内容
3. 如果title标签内有其他标签，用string(//title)获取全部文本
4. 结果返回列表，需要用[0]获取第一个匹配项

常见问题处理：

# 处理可能不存在的title标签
titles = tree.xpath('//title/text()')
if titles:
    print(titles[0])
else:
    print("未找到title标签")

# 处理多个title标签（虽然不常见）
all_titles = tree.xpath('//title/text()')
for title in all_titles:
    print(title)

一句话建议： 用//title/text()基本够用，有嵌套标签时改用string()函数。