Golang中如何连接Github上的Sqlite数据库

在Go中连接GitHub上的SQLite数据库，需要先将数据库文件下载到本地或内存中。以下是几种实现方法：

方法1：直接下载到本地文件系统

package main

import (
    "database/sql"
    "fmt"
    "io"
    "net/http"
    "os"
    
    _ "github.com/mattn/go-sqlite3"
)

func main() {
    // GitHub SQLite数据库文件URL（使用raw链接）
    dbURL := "https://github.com/username/repo/raw/main/database.db"
    
    // 下载数据库文件
    resp, err := http.Get(dbURL)
    if err != nil {
        panic(err)
    }
    defer resp.Body.Close()
    
    // 创建本地临时文件
    tmpFile, err := os.CreateTemp("", "github-db-*.db")
    if err != nil {
        panic(err)
    }
    defer os.Remove(tmpFile.Name()) // 程序结束时删除临时文件
    defer tmpFile.Close()
    
    // 复制数据到临时文件
    _, err = io.Copy(tmpFile, resp.Body)
    if err != nil {
        panic(err)
    }
    
    // 连接SQLite数据库
    db, err := sql.Open("sqlite3", tmpFile.Name())
    if err != nil {
        panic(err)
    }
    defer db.Close()
    
    // 执行查询
    rows, err := db.Query("SELECT * FROM users")
    if err != nil {
        panic(err)
    }
    defer rows.Close()
    
    // 处理查询结果
    for rows.Next() {
        var id int
        var name string
        err = rows.Scan(&id, &name)
        if err != nil {
            panic(err)
        }
        fmt.Printf("ID: %d, Name: %s\n", id, name)
    }
}

方法2：下载到内存数据库

package main

import (
    "database/sql"
    "fmt"
    "io"
    "net/http"
    
    _ "github.com/mattn/go-sqlite3"
)

func main() {
    dbURL := "https://github.com/username/repo/raw/main/database.db"
    
    // 下载数据库到内存
    resp, err := http.Get(dbURL)
    if err != nil {
        panic(err)
    }
    defer resp.Body.Close()
    
    // 读取全部数据到字节切片
    dbData, err := io.ReadAll(resp.Body)
    if err != nil {
        panic(err)
    }
    
    // 创建内存数据库连接
    // 使用:memory:作为数据源，然后通过ATTACH DATABASE加载数据
    db, err := sql.Open("sqlite3", ":memory:")
    if err != nil {
        panic(err)
    }
    defer db.Close()
    
    // 将下载的数据写入内存数据库
    // 注意：这需要先将数据保存到临时文件或使用VFS
    // 以下是使用临时文件的变通方法
    tmpFile, err := os.CreateTemp("", "tempdb-*.db")
    if err != nil {
        panic(err)
    }
    defer os.Remove(tmpFile.Name())
    
    // 写入数据到临时文件
    err = os.WriteFile(tmpFile.Name(), dbData, 0644)
    if err != nil {
        panic(err)
    }
    
    // 从临时文件复制到内存数据库
    _, err = db.Exec(fmt.Sprintf("ATTACH DATABASE '%s' AS source", tmpFile.Name()))
    if err != nil {
        panic(err)
    }
    
    // 复制表结构到内存数据库
    _, err = db.Exec("CREATE TABLE main.users AS SELECT * FROM source.users")
    if err != nil {
        panic(err)
    }
    
    // 现在可以在内存中查询数据
    rows, err := db.Query("SELECT COUNT(*) FROM users")
    if err != nil {
        panic(err)
    }
    defer rows.Close()
    
    var count int
    if rows.Next() {
        rows.Scan(&count)
        fmt.Printf("Total users: %d\n", count)
    }
}

方法3：使用缓存机制（避免重复下载）

package main

import (
    "crypto/sha256"
    "database/sql"
    "encoding/hex"
    "fmt"
    "io"
    "net/http"
    "os"
    "path/filepath"
    "time"
    
    _ "github.com/mattn/go-sqlite3"
)

type GitHubSQLite struct {
    repoURL   string
    cacheDir  string
    cacheTime time.Duration
}

func NewGitHubSQLite(repoURL, cacheDir string, cacheTime time.Duration) *GitHubSQLite {
    return &GitHubSQLite{
        repoURL:   repoURL,
        cacheDir:  cacheDir,
        cacheTime: cacheTime,
    }
}

func (g *GitHubSQLite) GetDatabase() (*sql.DB, error) {
    // 创建缓存目录
    os.MkdirAll(g.cacheDir, 0755)
    
    // 生成缓存文件名（基于URL的哈希）
    hash := sha256.Sum256([]byte(g.repoURL))
    cacheFile := filepath.Join(g.cacheDir, hex.EncodeToString(hash[:])+".db")
    
    // 检查缓存是否有效
    needDownload := true
    if info, err := os.Stat(cacheFile); err == nil {
        if time.Since(info.ModTime()) < g.cacheTime {
            needDownload = false
        }
    }
    
    // 如果需要则下载
    if needDownload {
        resp, err := http.Get(g.repoURL)
        if err != nil {
            return nil, err
        }
        defer resp.Body.Close()
        
        file, err := os.Create(cacheFile)
        if err != nil {
            return nil, err
        }
        defer file.Close()
        
        _, err = io.Copy(file, resp.Body)
        if err != nil {
            return nil, err
        }
    }
    
    // 打开数据库连接
    return sql.Open("sqlite3", cacheFile)
}

func main() {
    // 使用示例
    dbURL := "https://github.com/username/repo/raw/main/data.db"
    githubDB := NewGitHubSQLite(dbURL, "./cache", 24*time.Hour)
    
    db, err := githubDB.GetDatabase()
    if err != nil {
        panic(err)
    }
    defer db.Close()
    
    // 使用数据库
    var version string
    err = db.QueryRow("SELECT sqlite_version()").Scan(&version)
    if err != nil {
        panic(err)
    }
    fmt.Printf("SQLite version: %s\n", version)
}

注意事项

1. GitHub速率限制：GitHub API有请求限制，频繁下载可能被限制

2. 文件大小：大文件下载可能需要较长时间和更多内存

3. 连接字符串：SQLite连接字符串支持多种模式：

   // 文件模式
   sql.Open("sqlite3", "./database.db")
   
   // 内存模式
   sql.Open("sqlite3", ":memory:")
   
   // 只读模式
   sql.Open("sqlite3", "file:database.db?mode=ro")
   

4. 依赖安装：

go get github.com/mattn/go-sqlite3

这些方法提供了从GitHub连接SQLite数据库的完整解决方案，可根据具体需求选择适合的实现方式。