Golang高效读写计数器插件库datacounter使用指南

datacounter是一个高效的Go语言库，专门用于统计和监控数据流的读写量。它特别适用于需要精确统计网络流量、文件传输量等场景。

安装datacounter

go get github.com/mostlygeek/datacounter

基本使用示例

1. 读写计数器基础用法

package main

import (
	"fmt"
	"github.com/mostlygeek/datacounter"
	"io"
	"strings"
)

func main() {
	// 创建一个字符串读取器
	data := "Hello, this is some test data for counting"
	reader := strings.NewReader(data)
	
	// 包装reader进行计数
	counter := datacounter.NewReaderCounter(reader)
	
	// 读取数据
	buf := make([]byte, 10)
	for {
		_, err := counter.Read(buf)
		if err == io.EOF {
			break
		}
	}
	
	// 获取读取的字节数
	fmt.Printf("Read %d bytes\n", counter.Count())
}

2. 网络流量统计示例

package main

import (
	"fmt"
	"github.com/mostlygeek/datacounter"
	"io"
	"net/http"
)

func main() {
	// 创建HTTP请求
	resp, err := http.Get("https://example.com")
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()
	
	// 包装响应体进行计数
	counter := datacounter.NewReaderCounter(resp.Body)
	
	// 读取响应体
	_, err = io.ReadAll(counter)
	if err != nil {
		panic(err)
	}
	
	// 输出下载的字节数
	fmt.Printf("Downloaded %d bytes from example.com\n", counter.Count())
}

3. 写入计数器使用示例

package main

import (
	"fmt"
	"github.com/mostlygeek/datacounter"
	"os"
)

func main() {
	// 创建文件
	file, err := os.Create("test.txt")
	if err != nil {
		panic(err)
	}
	defer file.Close()
	
	// 包装文件写入器进行计数
	counter := datacounter.NewWriterCounter(file)
	
	// 写入数据
	data := []byte("This is some test data to write to file")
	_, err = counter.Write(data)
	if err != nil {
		panic(err)
	}
	
	// 获取写入的字节数
	fmt.Printf("Wrote %d bytes to file\n", counter.Count())
}

高级功能

1. 速率统计

package main

import (
	"fmt"
	"github.com/mostlygeek/datacounter"
	"io"
	"net/http"
	"time"
)

func main() {
	// 创建HTTP请求
	resp, err := http.Get("https://example.com")
	if err != nil {
		panic(err)
	}
	defer resp.Body.Close()
	
	// 包装响应体进行计数
	counter := datacounter.NewReaderCounter(resp.Body)
	
	// 启动goroutine监控下载速率
	go func() {
		ticker := time.NewTicker(1 * time.Second)
		defer ticker.Stop()
		
		for range ticker.C {
			fmt.Printf("Current download rate: %.2f KB/s\n", 
				float64(counter.Count())/1024)
		}
	}()
	
	// 读取响应体
	_, err = io.ReadAll(counter)
	if err != nil {
		panic(err)
	}
	
	fmt.Printf("Total downloaded: %d bytes\n", counter.Count())
}

2. 组合读写计数器

package main

import (
	"fmt"
	"github.com/mostlygeek/datacounter"
	"io"
	"net"
	"time"
)

func handleConnection(conn net.Conn) {
	defer conn.Close()
	
	// 创建读写计数器
	readerCounter := datacounter.NewReaderCounter(conn)
	writerCounter := datacounter.NewWriterCounter(conn)
	
	// 模拟处理
	buf := make([]byte, 1024)
	for {
		// 设置超时
		conn.SetReadDeadline(time.Now().Add(10 * time.Second))
		
		// 读取数据
		n, err := readerCounter.Read(buf)
		if err != nil {
			if err == io.EOF {
				break
			}
			fmt.Println("Read error:", err)
			return
		}
		
		// 写入数据
		_, err = writerCounter.Write(buf[:n])
		if err != nil {
			fmt.Println("Write error:", err)
			return
		}
	}
	
	fmt.Printf("Connection stats - Read: %d bytes, Written: %d bytes\n",
		readerCounter.Count(), writerCounter.Count())
}

func main() {
	ln, err := net.Listen("tcp", ":8080")
	if err != nil {
		panic(err)
	}
	defer ln.Close()
	
	fmt.Println("Server started on :8080")
	
	for {
		conn, err := ln.Accept()
		if err != nil {
			fmt.Println("Accept error:", err)
			continue
		}
		go handleConnection(conn)
	}
}

性能考虑

datacounter设计时考虑了高性能，其开销主要在于：

1. 原子操作计数器的开销
2. 额外的内存分配（包装原始读写器）

在大多数应用中，这些开销可以忽略不计。如果确实成为瓶颈，可以考虑：

• 减少计数器更新的频率（如每N字节更新一次）
• 使用批处理模式

总结

datacounter是一个简单但功能强大的Go库，适用于各种需要精确统计数据流量的场景。它的API设计简洁，易于集成到现有代码中，同时提供了足够的灵活性来处理复杂用例。

通过合理使用datacounter，你可以轻松地为你的应用添加流量监控、速率限制和性能分析等功能。