使用scany高效扫描数据库数据到Go结构体

scany是一个轻量级的Go库，用于将数据库行高效地扫描到Go结构体、映射或切片中。它是对标准库database/sql的补充，提供了更便捷的数据映射功能。

scany的主要特点

1. 支持将SQL查询结果映射到结构体、映射和基本类型
2. 自动处理列名与结构体字段名的映射
3. 支持嵌套结构体
4. 性能高效，几乎零开销
5. 与标准库database/sql无缝集成

安装scany

go get github.com/georgysavva/scany/v2

基本用法

1. 映射到结构体

package main

import (
	"context"
	"database/sql"
	"fmt"
	"log"

	_ "github.com/lib/pq"
	"github.com/georgysavva/scany/v2/dbscan"
	"github.com/georgysavva/scany/v2/sqlscan"
)

type User struct {
	ID       int    `db:"id"`
	Username string `db:"username"`
	Email    string `db:"email"`
	Age      int    `db:"age"`
}

func main() {
	// 初始化数据库连接
	db, err := sql.Open("postgres", "user=postgres dbname=test sslmode=disable")
	if err != nil {
		log.Fatal(err)
	}
	defer db.Close()

	// 查询单条记录到结构体
	var user User
	err = sqlscan.Get(context.Background(), db, &user, "SELECT id, username, email, age FROM users WHERE id = $1", 1)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Printf("User: %+v\n", user)

	// 查询多条记录到结构体切片
	var users []*User
	err = sqlscan.Select(context.Background(), db, &users, "SELECT id, username, email, age FROM users WHERE age > $1", 18)
	if err != nil {
		log.Fatal(err)
	}
	for _, u := range users {
		fmt.Printf("User: %+v\n", u)
	}
}

2. 映射到map

// 查询单条记录到map
var userMap map[string]interface{}
err = sqlscan.Get(context.Background(), db, &userMap, "SELECT id, username, email, age FROM users WHERE id = $1", 1)
if err != nil {
	log.Fatal(err)
}
fmt.Printf("User map: %+v\n", userMap)

// 查询多条记录到map切片
var usersMap []map[string]interface{}
err = sqlscan.Select(context.Background(), db, &usersMap, "SELECT id, username, email, age FROM users WHERE age > $1", 18)
if err != nil {
	log.Fatal(err)
}
for _, um := range usersMap {
	fmt.Printf("User map: %+v\n", um)
}

3. 自定义列名映射

scany默认使用db标签来映射列名到结构体字段。如果没有db标签，它会将列名转换为小写并与字段名匹配。

type Product struct {
	ID          int     `db:"product_id"`  // 显式指定列名
	Name        string  // 自动匹配为"name"
	Price       float64 `db:"price"`
	Description string  `db:"-"` // 忽略此字段
}

4. 处理嵌套结构体

type Address struct {
	Street  string `db:"street"`
	City    string `db:"city"`
	Country string `db:"country"`
}

type UserWithAddress struct {
	User
	Address Address `db:"address"` // 嵌套结构体
}

// 查询时需要使用JOIN获取地址信息
var userWithAddr UserWithAddress
err = sqlscan.Get(context.Background(), db, &userWithAddr, `
	SELECT 
		u.id, u.username, u.email, u.age,
		a.street, a.city, a.country
	FROM users u
	JOIN addresses a ON u.id = a.user_id
	WHERE u.id = $1
`, 1)

高级用法

1. 自定义扫描器

type NullString struct {
	sql.NullString
}

func (ns *NullString) Scan(value interface{}) error {
	return ns.NullString.Scan(value)
}

type UserWithNullString struct {
	ID       int        `db:"id"`
	Username string     `db:"username"`
	Bio      NullString `db:"bio"`
}

// 使用自定义扫描器处理NULL值
var userWithBio UserWithNullString
err = sqlscan.Get(context.Background(), db, &userWithBio, "SELECT id, username, bio FROM users WHERE id = $1", 1)

2. 使用dbscan API进行更灵活的控制

// 创建dbscan API实例
api, err := dbscan.NewAPI()
if err != nil {
	log.Fatal(err)
}

// 执行查询
rows, err := db.QueryContext(context.Background(), "SELECT id, username, email, age FROM users")
if err != nil {
	log.Fatal(err)
}
defer rows.Close()

// 手动扫描到结构体切片
var users []User
err = api.ScanAll(&users, rows)
if err != nil {
	log.Fatal(err)
}

3. 性能优化建议

1. 预编译查询语句并使用sql.Stmt
2. 对于大量数据，考虑分批处理
3. 只查询需要的列
4. 对于频繁使用的查询，考虑缓存结果

与类似库的比较

1. sqlx: 功能更全面但更重量级，scany更轻量专注
2. gorm: ORM框架，scany只是映射工具
3. 标准库database/sql: scany提供了更便捷的映射功能

scany特别适合那些已经使用标准库database/sql但需要更便捷数据映射功能的项目。

总结

scany是一个简单高效的数据库扫描工具，它通过提供简洁的API和灵活的配置选项，大大简化了从数据库到Go结构体的映射过程。它的轻量级设计和与标准库的无缝集成使其成为许多项目的理想选择。