Golang流式ETL数据转换与JSON输出插件库omniparser的使用

概述

Omniparser是一个原生Golang ETL解析器，它以流式方式处理各种格式的输入数据（包括CSV、txt、固定长度/宽度、XML、EDI/X12/EDIFACT、JSON和自定义格式），并根据JSON编写的模式将数据转换为所需的JSON输出。

最低Golang版本要求：1.16

主要特性

• 支持多种输入格式：CSV、txt、固定长度/宽度、XML、EDI/X12/EDIFACT、JSON和自定义格式
• 流式处理数据，避免内存溢出
• 使用JSON模式定义数据转换规则
• 支持自定义函数和自定义文件格式
• 高性能的时间解析功能
• 可扩展性架构

快速开始示例

下面是一个使用omniparser处理CSV文件的完整示例：

package main

import (
	"fmt"
	"log"
	"os"

	"github.com/jf-tech/omniparser"
	"github.com/jf-tech/omniparser/extensions/omniv21/fileformat"
)

func main() {
	// 1. 创建omniparser实例
	parser, err := omniparser.NewSchema(
		"example", // schema名称
		[]byte(`{
			"file_format": "csv2",
			"file_declaration": {
				"delimiter": ",",
				"has_header_line": true
			},
			"transform_declarations": {
				"FINAL_OUTPUT": { 
					"object": {
						"name": { "xpath": "record/name" },
						"age": { "xpath": "record/age", "type": "int" },
						"email": { "xpath": "record/email" }
					}
				}
			}
		}`), // schema内容
		fileformat.CSVFileFormat)
	if err != nil {
		log.Fatal(err)
	}

	// 2. 打开输入文件
	file, err := os.Open("input.csv")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	// 3. 创建内容读取器
	contentReader, err := parser.NewContentReader("example", file)
	if err != nil {
		log.Fatal(err)
	}

	// 4. 读取并转换数据
	for {
		record, err := contentReader.Read()
		if err != nil {
			if err.Error() == "EOF" {
				break // 正常结束
			}
			log.Fatal(err)
		}
		
		// 5. 输出转换后的JSON
		fmt.Println(string(record.Raw()))
	}
}

假设input.csv内容如下：

name,age,email
John Doe,30,john@example.com
Jane Smith,25,jane@example.com

输出结果将是：

{"name":"John Doe","age":30,"email":"john@example.com"}
{"name":"Jane Smith","age":25,"email":"jane@example.com"}

XML处理示例

下面是一个处理XML文件的示例：

package main

import (
	"fmt"
	"log"
	"os"

	"github.com/jf-tech/omniparser"
	"github.com/jf-tech/omniparser/extensions/omniv21/fileformat"
)

func main() {
	// 1. 创建schema
	parser, err := omniparser.NewSchema(
		"xml_example",
		[]byte(`{
			"file_format": "xml",
			"transform_declarations": {
				"FINAL_OUTPUT": {
					"array": {
						"xpath": "/catalog/book",
						"object": {
							"id": { "xpath": "@id" },
							"title": { "xpath": "title" },
							"author": { "xpath": "author" },
							"price": { "xpath": "price", "type": "float" }
						}
					}
				}
			}
		}`),
		fileformat.XMLFileFormat)
	if err != nil {
		log.Fatal(err)
	}

	// 2. 打开XML文件
	file, err := os.Open("books.xml")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	// 3. 创建内容读取器
	contentReader, err := parser.NewContentReader("xml_example", file)
	if err != nil {
		log.Fatal(err)
	}

	// 4. 读取并转换数据
	for {
		record, err := contentReader.Read()
		if err != nil {
			if err.Error() == "EOF" {
				break
			}
			log.Fatal(err)
		}
		fmt.Println(string(record.Raw()))
	}
}

假设books.xml内容如下：

<catalog>
   <book id="bk101">
      <author>Gambardella, Matthew</author>
      <title>XML Developer's Guide</title>
      <price>44.95</price>
   </book>
   <book id="bk102">
      <author>Ralls, Kim</author>
      <title>Midnight Rain</title>
      <price>5.95</price>
   </book>
</catalog>

输出结果将是：

{"id":"bk101","title":"XML Developer's Guide","author":"Gambardella, Matthew","price":44.95}
{"id":"bk102","title":"Midnight Rain","author":"Ralls, Kim","price":5.95}

使用自定义函数

omniparser支持使用JavaScript编写自定义转换函数：

package main

import (
	"fmt"
	"log"
	"os"

	"github.com/jf-tech/omniparser"
	"github.com/jf-tech/omniparser/extensions/omniv21/fileformat"
)

func main() {
	// 1. 创建schema，包含JavaScript自定义函数
	parser, err := omniparser.NewSchema(
		"custom_func_example",
		[]byte(`{
			"file_format": "csv2",
			"file_declaration": {
				"delimiter": ",",
				"has_header_line": true
			},
			"transform_declarations": {
				"FINAL_OUTPUT": {
					"object": {
						"full_name": {
							"custom_func": {
								"name": "javascript",
								"args": [
									{ "xpath": "record/first_name" },
									{ "xpath": "record/last_name" },
									{ "const": " " }
								],
								"script": "return args[0] + args[2] + args[1];"
							}
						},
						"age": { "xpath": "record/age", "type": "int" }
					}
				}
			}
		}`),
		fileformat.CSVFileFormat)
	if err != nil {
		log.Fatal(err)
	}

	// 2. 打开CSV文件
	file, err := os.Open("people.csv")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	// 3. 创建内容读取器
	contentReader, err := parser.NewContentReader("custom_func_example", file)
	if err != nil {
		log.Fatal(err)
	}

	// 4. 读取并转换数据
	for {
		record, err := contentReader.Read()
		if err != nil {
			if err.Error() == "EOF" {
				break
			}
			log.Fatal(err)
		}
		fmt.Println(string(record.Raw()))
	}
}

假设people.csv内容如下：

first_name,last_name,age
John,Doe,30
Jane,Smith,25

输出结果将是：

{"full_name":"John Doe","age":30}
{"full_name":"Jane Smith","age":25}

总结

Omniparser是一个功能强大的Golang ETL库，具有以下优势：

1. 支持多种输入格式
2. 流式处理，内存效率高
3. 使用JSON模式定义转换规则，配置灵活
4. 支持JavaScript自定义函数
5. 高性能和可扩展性

通过上面的示例，您可以快速开始使用omniparser进行数据转换和处理。更多高级用法和详细文档可以参考项目的官方文档。