Golang 实现类似 tail 命令的文件追踪库

在 Golang 中，可以使用 github.com/hpcloud/tail 库来实现类似 Unix tail -f 命令的功能，实时追踪文件的变化。下面我将详细介绍如何使用这个库。

安装 tail 库

首先安装 tail 库：

go get github.com/hpcloud/tail

基本用法示例

package main

import (
	"fmt"
	"log"
	"time"

	"github.com/hpcloud/tail"
)

func main() {
	// 配置 tail
	config := tail.Config{
		Follow:    true,  // 持续追踪文件变化
		ReOpen:    true,  // 文件被轮转或删除后重新打开
		MustExist: false, // 文件不存在时不报错
		Poll:      true,  // 使用轮询而非inotify(适用于所有文件系统)
		Location:  &tail.SeekInfo{Offset: 0, Whence: 2}, // 从文件末尾开始读取
	}

	// 开始追踪文件
	t, err := tail.TailFile("/var/log/example.log", config)
	if err != nil {
		log.Fatal(err)
	}

	// 处理文件内容
	for line := range t.Lines {
		fmt.Println(line.Text)
	}

	// 清理资源
	err = t.Stop()
	if err != nil {
		log.Fatal(err)
	}
}

高级功能示例

1. 处理文件轮转

config := tail.Config{
	Follow:    true,
	ReOpen:    true,  // 关键设置，允许重新打开文件
	MustExist: false,
	Poll:      true,
	Location:  &tail.SeekInfo{Offset: 0, Whence: 2},
}

t, err := tail.TailFile("/var/log/rotating.log", config)
if err != nil {
	log.Fatal(err)
}

for line := range t.Lines {
	fmt.Printf("New line: %s\n", line.Text)
	
	// 可以在这里添加自定义处理逻辑
	if strings.Contains(line.Text, "ERROR") {
		sendAlert(line.Text)
	}
}

2. 从指定位置开始读取

// 从文件开头读取
location := &tail.SeekInfo{Offset: 0, Whence: 0}

// 从当前位置读取100字节后开始
// location := &tail.SeekInfo{Offset: 100, Whence: 1}

// 从文件末尾前100字节开始
// location := &tail.SeekInfo{Offset: -100, Whence: 2}

config := tail.Config{
	Follow:    true,
	Location:  location,
	ReOpen:    true,
	MustExist: false,
}

t, err := tail.TailFile("data.log", config)
// ... 其余处理代码

3. 错误处理

t, err := tail.TailFile("app.log", tail.Config{Follow: true})
if err != nil {
	log.Fatalf("Failed to tail file: %v", err)
}

go func() {
	for line := range t.Lines {
		fmt.Println(line.Text)
	}
}()

// 等待10秒后停止
time.Sleep(10 * time.Second)

if err := t.Stop(); err != nil {
	log.Printf("Error stopping tail: %v", err)
}

性能考虑

1. 轮询 vs Inotify:

   • 在支持 inotify 的系统上(Linux)，可以设置 Poll: false 以获得更好的性能
   • 在不支持 inotify 的系统上，必须设置 Poll: true

2. 批处理:

   // 批量处理多行以提高性能
   var batch []string
   batchSize := 10
   
   for line := range t.Lines {
       batch = append(batch, line.Text)
       if len(batch) >= batchSize {
           processBatch(batch)
           batch = batch[:0] // 清空切片
       }
   }
   
   // 处理剩余的行
   if len(batch) > 0 {
       processBatch(batch)
   }
   

替代方案

如果你需要更轻量级的解决方案，也可以考虑使用标准库实现简单的 tail 功能：

func tailFile(filename string) error {
	file, err := os.Open(filename)
	if err != nil {
		return err
	}
	defer file.Close()

	// 定位到文件末尾
	_, err = file.Seek(0, 2)
	if err != nil {
		return err
	}

	reader := bufio.NewReader(file)
	for {
		line, err := reader.ReadString('\n')
		if err != nil {
			if err == io.EOF {
				time.Sleep(100 * time.Millisecond)
				continue
			}
			return err
		}
		fmt.Print(line)
	}
}

hpcloud/tail 库提供了更完整的功能，如文件轮转处理、更高效的事件通知机制等，适合生产环境使用。