Golang高效XML查询与XPath解析插件库xmlquery的使用

xmlquery是一个用于XML文档的XPath查询包，允许您使用XPath表达式从XML文档中提取数据或评估。

概述

xmlquery具有内置的查询对象缓存功能，可以缓存最近使用的XPATH查询字符串。启用缓存可以避免为每个查询重新编译XPath表达式。

安装

$ go get github.com/antchfx/xmlquery

快速入门

以下是一个基本示例，展示如何使用xmlquery解析XML并执行XPath查询：

import (
	"github.com/antchfx/xmlquery"
)

func main(){
	s := `<?xml version="1.0" encoding="UTF-8" ?>
<rss version="2.0">
<channel>
  <title>W3Schools Home Page</title>
  <link>https://www.w3schools.com</link>
  <description>Free web building tutorials</description>
  <item>
    <title>RSS Tutorial</title>
    <link>https://www.w3schools.com/xml/xml_rss.asp</link>
    <description>New RSS tutorial on W3Schools</description>
  </item>
  <item>
    <title>XML Tutorial</title>
    <link>https://www.w3schools.com/xml</link>
    <description>New XML tutorial on W3Schools</description>
  </item>
</channel>
</rss>`

	doc, err := xmlquery.Parse(strings.NewReader(s))
	if err != nil {
		panic(err)
	}
	channel := xmlquery.FindOne(doc, "//channel")
	if n := channel.SelectElement("title"); n != nil {
		fmt.Printf("title: %s\n", n.InnerText())
	}
	if n := channel.SelectElement("link"); n != nil {
		fmt.Printf("link: %s\n", n.InnerText())
	}
	for i, n := range xmlquery.Find(doc, "//item/title") {
		fmt.Printf("#%d %s\n", i, n.InnerText())
	}
}

基本用法

解析XML

从URL解析XML：

doc, err := xmlquery.LoadURL("http://www.example.com/sitemap.xml")

从字符串解析XML：

s := `<?xml version="1.0" encoding="utf-8"?><rss version="2.0"></rss>`
doc, err := xmlquery.Parse(strings.NewReader(s))

从文件解析XML：

f, err := os.Open("../books.xml")
doc, err := xmlquery.Parse(f)

流式解析XML

对于大型XML文件，可以使用流式解析来节省内存：

f, _ := os.Open("../books.xml")
p, err := xmlquery.CreateStreamParser(f, "/bookstore/book")
for {
	n, err := p.Read()
	if err == io.EOF {
		break
	}
	if err != nil {
		panic(err)
	}
	fmt.Println(n)
}

带过滤条件的流式解析：

f, _ := os.Open("../books.xml")
p, err := xmlquery.CreateStreamParser(f, "/bookstore/book", "/bookstore/book[price>=10]")
for {
	n, err := p.Read()
	if err == io.EOF {
		break
	}
	if err != nil {
		panic(err)
	}
	fmt.Println(n)
}

XPath查询示例

查找所有书籍作者

list := xmlquery.Find(doc, "//book//author")
// 或
list := xmlquery.Find(doc, "//author")

查找第二本书

book := xmlquery.FindOne(doc, "//book[2]")

查找最后一本书

book := xmlquery.FindOne(doc, "//book[last()]")

查找所有书籍并只获取id属性

list := xmlquery.Find(doc,"//book/@id")
fmt.Println(list[0].InnerText) // 输出@id值

查找id为bk104的所有书籍

list := xmlquery.Find(doc, "//book[@id='bk104']")

查找价格低于5的所有书籍

list := xmlquery.Find(doc, "//book[price<5]")

计算所有书籍的总价格

expr, err := xpath.Compile("sum(//book/price)")
price := expr.Evaluate(xmlquery.CreateXPathNavigator(doc)).(float64)
fmt.Printf("total price: %f\n", price)

计算书籍数量

expr, err := xpath.Compile("count(//book)")
count := expr.Evaluate(xmlquery.CreateXPathNavigator(doc)).(float64)

高级功能

解析UTF-16 XML文件

f, _ := os.Open(`UTF-16.XML`)
// 将UTF-16 XML转换为UTF-8
utf16ToUtf8Transformer := unicode.UTF16(unicode.LittleEndian, unicode.IgnoreBOM).NewDecoder()
utf8Reader := transform.NewReader(f, utf16ToUtf8Transformer)
// 设置`CharsetReader`
options := xmlquery.ParserOptions{
	Decoder: &xmlquery.DecoderOptions{
		CharsetReader: func(charset string, input io.Reader) (io.Reader, error) {
			return input, nil
		},
	},
}
doc, err := xmlquery.ParseWithOptions(utf8Reader, options)

使用自定义命名空间前缀查询

s := `<?xml version="1.0" encoding="UTF-8"?>
<pd:ProcessDefinition xmlns:pd="http://xmlns.xyz.com/process/2003" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:xsd="http://www.w3.org/2001/XMLSchema">
<pd:activity name="Invoke Request-Response Service">
<pd:type>RequestReplyActivity</pd:type>
<pd:resourceType>OpClientReqActivity</pd:resourceType>
<pd:x>300</pd:x>
<pd:y>80</pd:y>
</pd:activity>
</pd:ProcessDefinition>`
nsMap := map[string]string{
	"q": "http://xmlns.xyz.com/process/2003",
	"r": "http://www.w3.org/1999/XSL/Transform",
	"s": "http://www.w3.org/2001/XMLSchema",
}
expr, _ := xpath.CompileWithNS("//q:activity", nsMap)
node := xmlquery.QuerySelector(doc, expr)

创建XML文档

doc := &xmlquery.Node{
	Type: xmlquery.DeclarationNode,
	Data: "xml",
	Attr: []xml.Attr{
		xml.Attr{Name: xml.Name{Local: "version"}, Value: "1.0"},
	},
}
root := &xmlquery.Node{
	Data: "rss",
	Type: xmlquery.ElementNode,
}
doc.FirstChild = root
channel := &xmlquery.Node{
	Data: "channel",
	Type: xmlquery.ElementNode,
}
root.FirstChild = channel
title := &xmlquery.Node{
	Data: "title",
	Type: xmlquery.ElementNode,
}
title_text := &xmlquery.Node{
	Data: "W3Schools Home Page",
	Type: xmlquery.TextNode,
}
title.FirstChild = title_text
channel.FirstChild = title

fmt.Println(doc.OutputXML(true))
fmt.Println(doc.OutputXMLWithOptions(WithOutputSelf()))

常见问题

Find() vs QueryAll()，哪个更好？

Find和QueryAll都做同样的事情：搜索所有匹配的XML节点。Find如果提供的XPath查询无效则会panic，而QueryAll会返回一个错误。

我可以保存查询表达式对象用于下一次查询吗？

是的，可以。我们提供了QuerySelector和QuerySelectorAll方法；它们接受您的查询表达式对象。缓存查询表达式对象可以避免重新编译XPath查询表达式，从而提高查询性能。

xmlquery是一个功能强大且高效的XML处理库，特别适合需要复杂查询和大文件处理的场景。通过合理使用其提供的各种功能，可以轻松处理各种XML数据处理需求。