Golang中net/http包导致too many open files问题如何解决

问题出在HTTP客户端没有正确复用和连接管理上。虽然你创建了单个http.Client，但在并发请求时没有控制并发数量，且没有配置连接池参数。以下是解决方案：

package main

import (
    "net/http"
    "time"
    "golang.org/x/net/http2"
    "gopkg.in/robfig/cron.v3"
)

func main() {
    RunCron()
}

func RunCron() {
    c := cron.New()
    c.AddFunc("@every 10m", SendMsg)
    c.Start()
    select {} // 保持程序运行
}

func SendMsg() {
    RunCronBatch()
}

func RunCronBatch() {
    businessNames := []string{"bsName1", "bsName2", "bsName3", "bsName4"}
    
    // 创建配置了连接池的HTTP客户端
    client := &http.Client{
        Transport: &http.Transport{
            MaxIdleConns:        100,
            MaxIdleConnsPerHost: 100,
            MaxConnsPerHost:     100,
            IdleConnTimeout:     90 * time.Second,
            DisableKeepAlives:   false, // 保持连接复用
        },
        Timeout: 30 * time.Second,
    }
    
    // 使用HTTP/2提升性能
    http2.ConfigureTransport(client.Transport.(*http.Transport))
    
    // 使用带缓冲的channel控制并发
    semaphore := make(chan struct{}, 50) // 限制最大50个并发
    
    for _, businessName := range businessNames {
        url := "http://" + businessName + ".maim-domain.com"
        semaphore <- struct{}{}
        go func(url string) {
            defer func() { <-semaphore }()
            CallHttpRqstScheduler(client, "GET", url, false)
        }(url)
    }
    
    // 等待所有goroutine完成
    for i := 0; i < cap(semaphore); i++ {
        semaphore <- struct{}{}
    }
}

func CallHttpRqstScheduler(client *http.Client, method, url string, checkResp bool, body ...io.Reader) (error, interface{}) {
    var reqBody io.Reader
    if len(body) > 0 {
        reqBody = body[0]
    }

    req, err := http.NewRequest(method, url, reqBody)
    if err != nil {
        return err, nil
    }
    
    // 不需要手动设置Connection头，Transport会处理
    if method == "POST" {
        req.Header.Set("Content-Type", "application/json")
    }
    
    resp, err := client.Do(req)
    if err != nil {
        return err, nil
    }
    defer resp.Body.Close() // 确保body被关闭
    
    if !checkResp {
        // 即使不检查响应也需要读取并关闭body
        io.Copy(io.Discard, resp.Body)
        return nil, nil
    }
    
    bodyBytes, err := io.ReadAll(resp.Body)
    if err != nil {
        return err, nil
    }
    
    var response APIResponseObj
    if err := json.Unmarshal(bodyBytes, &response); err != nil {
        return err, nil
    }
    
    return nil, response.Response.Data
}

同时需要调整系统文件描述符限制：

# 查看当前限制
ulimit -n

# 临时提高限制
ulimit -n 65536

# 永久修改（Linux）
# 在/etc/security/limits.conf中添加：
# * soft nofile 65536
# * hard nofile 65536

对于MongoDB连接问题，同样需要配置连接池：

// MongoDB连接示例
clientOptions := options.Client().
    ApplyURI("mongodb://localhost:27017").
    SetMaxPoolSize(100).          // 最大连接数
    SetMinPoolSize(10).           // 最小连接数
    SetMaxConnIdleTime(30 * time.Second)

client, err := mongo.Connect(context.Background(), clientOptions)

关键点：

1. 正确配置http.Transport的连接池参数
2. 使用defer resp.Body.Close()确保资源释放
3. 通过channel控制并发数量
4. 即使不读取响应体也需要消耗并关闭
5. 调整系统文件描述符限制