Golang中如何统计切片/数组中的重复项？

在Go语言中，可以通过遍历切片并使用map来统计重复项和计算所需指标。以下是一个完整的示例代码，用于处理你的数据结构并生成所需的输出：

package main

import (
	"encoding/json"
	"fmt"
)

// 定义输入数据结构
type RequestData struct {
	ID            int    `json:"id"`
	Host          string `json:"host"`
	RemoteAddr    string `json:"remote_addr"`
	RequestMethod string `json:"request_method"`
	RequestURI    string `json:"request_uri"`
}

// 定义输出数据结构
type StatResult struct {
	StaticFile      string `json:"static_file"`
	StaticFileHits  int    `json:"static_file_hits"`
	StaticFileVisitor int  `json:"staticfile_visitor"`
}

func main() {
	// 示例输入数据
	inputData := []RequestData{
		{ID: 1, Host: "abc.com", RemoteAddr: "14.161.36.28", RequestMethod: "GET", RequestURI: "/test.txt"},
		{ID: 2, Host: "abc.com", RemoteAddr: "14.161.36.28", RequestMethod: "GET", RequestURI: "/"},
		{ID: 3, Host: "abc.com", RemoteAddr: "14.161.36.28", RequestMethod: "GET", RequestURI: "/test.txt"},
		{ID: 4, Host: "abc.com", RemoteAddr: "14.161.36.29", RequestMethod: "GET", RequestURI: "/"},
		{ID: 5, Host: "abc.com", RemoteAddr: "14.161.36.29", RequestMethod: "GET", RequestURI: "/"},
	}

	// 使用map统计每个request_uri的访问次数和访问者
	uriStats := make(map[string]*StatResult)
	visitorMap := make(map[string]map[string]bool) // 记录每个URI的访问者

	for _, data := range inputData {
		// 如果该URI尚未在统计中，初始化
		if _, exists := uriStats[data.RequestURI]; !exists {
			uriStats[data.RequestURI] = &StatResult{
				StaticFile:     data.RequestURI,
				StaticFileHits: 0,
			}
			visitorMap[data.RequestURI] = make(map[string]bool)
		}

		// 增加访问次数
		uriStats[data.RequestURI].StaticFileHits++

		// 记录访问者（如果该IP尚未访问过此URI）
		if !visitorMap[data.RequestURI][data.RemoteAddr] {
			visitorMap[data.RequestURI][data.RemoteAddr] = true
			uriStats[data.RequestURI].StaticFileVisitor++
		}
	}

	// 将map转换为切片输出
	var results []StatResult
	for _, stat := range uriStats {
		results = append(results, *stat)
	}

	// 输出JSON格式结果
	jsonData, err := json.MarshalIndent(results, "", "  ")
	if err != nil {
		fmt.Printf("JSON marshaling error: %v\n", err)
		return
	}

	fmt.Println(string(jsonData))
}

运行此代码将输出：

[
  {
    "static_file": "/test.txt",
    "static_file_hits": 2,
    "staticfile_visitor": 1
  },
  {
    "static_file": "/",
    "static_file_hits": 3,
    "staticfile_visitor": 2
  }
]

代码说明：

1. 定义了两个结构体：RequestData用于解析输入数据，StatResult用于输出结果
2. 使用uriStats map来跟踪每个URI的统计信息
3. 使用visitorMap map来记录每个URI的唯一访问者IP地址
4. 遍历输入数据，更新访问次数和唯一访问者计数
5. 最后将结果转换为JSON格式输出

这种方法的时间复杂度是O(n)，其中n是输入数据的数量，能够高效处理大量数据。