Golang Go语言中 httpclient 并发导致 goroutine 泄露 报错 socket too many files
Golang Go语言中 httpclient 并发导致 goroutine 泄露 报错 socket too many files
代码背景
使用 golang 验证代理 Ip，代码主要作用如下
- 通过扫描然后扫描得到一个 ip 文件，每行一个代理 ip
- 遍历文件按行读取 每行使用代理 ip 发起一个 http 请求 验证之后输出日志
- client 数量通过 bufferd channel 控制 小于 ulimit -n
问题
ip 文件内容一般是 100W 行以上，程序运行一段时间之后会出现socket: too many files open
我的尝试
最开始以为是持久连接的问题，就设置了keep-alive: false，设置之后发现还是有问题
使用 pprof 调试发现很多 goroutine 卡在这里，但是此时 channel 长度是比设定值要小的，代表是可以接收数据，等于是老的 goroutine 没有释放，新的 goroutine 一直在创建
internal/poll.runtime_pollWait(0x7f004f1ca2f8, 0x72, 0xffffffffffffffff)
/usr/local/go/src/runtime/netpoll.go:184 +0x55
internal/poll.(*pollDesc).wait(0xc0029e6f18, 0x72, 0x1000, 0x1000, 0xffffffffffffffff)
/usr/local/go/src/internal/poll/fd_poll_runtime.go:87 +0x45
internal/poll.(*pollDesc).waitRead(...)
/usr/local/go/src/internal/poll/fd_poll_runtime.go:92
internal/poll.(*FD).Read(0xc0029e6f00, 0xc002938000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
/usr/local/go/src/internal/poll/fd_unix.go:169 +0x1cf
net.(*netFD).Read(0xc0029e6f00, 0xc002938000, 0x1000, 0x1000, 0x0, 0x0, 0xc001f21f18)
/usr/local/go/src/net/fd_unix.go:202 +0x4f
net.(*conn).Read(0xc0017ae198, 0xc002938000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
/usr/local/go/src/net/net.go:184 +0x68
bufio.(*Reader).fill(0xc00180ca20)
/usr/local/go/src/bufio/bufio.go:100 +0x103
bufio.(*Reader).ReadSlice(0xc00180ca20, 0xa, 0xc001f21840, 0xc001f21888, 0x40c0c6, 0xc00087e120, 0x90)
/usr/local/go/src/bufio/bufio.go:359 +0x3d
bufio.(*Reader).ReadLine(0xc00180ca20, 0x8, 0xc0006c6a80, 0x7f0051656460, 0x0, 0x2, 0xc329f8)
/usr/local/go/src/bufio/bufio.go:388 +0x34
net/textproto.(*Reader).readLineSlice(0xc001f21960, 0xc00087e120, 0xc002938000, 0x7f004f3698c8, 0xc0027bdd01, 0x101000000950280)
/usr/local/go/src/net/textproto/reader.go:57 +0x6c
net/textproto.(*Reader).ReadLine(...)
/usr/local/go/src/net/textproto/reader.go:38
net/http.ReadResponse(0xc00180ca20, 0xc00106b400, 0x1000, 0xc002938000, 0xc0017ae198)
/usr/local/go/src/net/http/response.go:161 +0xd1
net/http.(*Transport).dialConn(0xc002945a40, 0x94cd60, 0xc000024100, 0xc0029e6d80, 0x8b4508, 0x5, 0xc002685940, 0x11, 0x0, 0xc000288fa8, ...)
/usr/local/go/src/net/http/transport.go:1544 +0x85a
net/http.(*Transport).dialConnFor(0xc002945a40, 0xc000ec1ce0)
/usr/local/go/src/net/http/transport.go:1308 +0xdc
created by net/http.(*Transport).queueForDial
/usr/local/go/src/net/http/transport.go:1277 +0x41d
因为阅读 golang http 源码太过于吃力，所以只大概跟了一下代码，我理解这段代码是创建 connection 请求并返回， 想请教一下各位这个 connection 不释放的 具体原因到底是为什么
代码和测试文件
更多关于Golang Go语言中 httpclient 并发导致 goroutine 泄露 报错 socket too many files的实战教程也可以访问 https://www.itying.com/category-94-b0.html
用一个全局的 http.Client 就行。不需要每次 new 个新的。
更多关于Golang Go语言中 httpclient 并发导致 goroutine 泄露 报错 socket too many files的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html
这个坑我踩过。。。
你看下你的 http 请求的 response 的 body 是不是没有关闭。这个 body 不管请求发送过程有没有出错，都要调用 body.Close()的。可以看下 go 的文档： https://golang.org/pkg/net/http/
“The client must close the response body when finished with it:”
还有个操作是给所有 http 请求加上超时时间。
https://stackoverflow.com/questions/37454236/net-http-server-too-many-open-files-error/48342086#48342086?newreg=e8bd30ac66d443138486653353d0c59a
https://sanyuesha.com/2019/09/10/go-http-request-goroutine-leak/
谢谢 我生成环境 channel 是在 goroutine 外的，这个是临时准备用来测试的，然后 ulimit -n 我设置的是 10000W 然后 channel 长度就是 9000 这应该不算长吧，现在只有单个进程
queueCh <- true 这行要放在 go func() 之前, 不然你希望的阻塞不会生效的.
还有你 wg.Add(1) 放在 continue 的判断之后, 不然假如有空行, 最后 Wait 就永远结束不了
Google 一下 too many time wait 就知道啦，就是修改内核参数。
但是感觉这个不是正确的思路。
我会选择编写自己的 proxy 函数，每次返回一个 ip port，这样就可以只用一个 httpClient 和一个 httpTransport，就可以利用 MaxIdleConnsPerHost，控制打开的连接数。
我知道为啥了, go 的 http client 一次 request 底下会开两个 fd, 一个是 tcp connection, 还有一个是它内部 net poller 用来做 eventloop 的, 所以你用 ulimit -40 做 size 还是会挂的
你试试把 size /2 作为 channel 的 buffer size 试试.
不过楼主你这代码有个更大的问题, ip, port 要显示传递给 go func(), 不然在一个 for loop 里启动的 goroutine 执行时候拿到的不一定是你想的那个 ip, port
你这个的问题是每个请求一个 client，导致打开链接太多导致的。我之前回复的一个问题或许能帮到你，只需要一个 http client 就行 https://www.v2ex.com/t/622953#r_8247009 https://gist.github.com/icexin/f3c77f17dcc28e5f43c8cdcc4e88e9da
transport := &http.Transport{
Proxy: func(request *http.Request) (u *url.URL, err error) {
host, ok := <-scannerChan
if !ok {
return nil, errors.New(“scanner channel closed”)
}
return &url.URL{Host: fmt.Sprintf("%s:%s", ip, port)}, nil
},
//Proxy: http.ProxyURL(&url.URL{Host: fmt.Sprintf("%s:%s", ip, port)}),
DialContext: (&net.Dialer{
KeepAlive: -1,
}).DialContext,
DisableKeepAlives: true,
MaxIdleConns: 1000,
MaxIdleConnsPerHost: -1,
MaxConnsPerHost: 0,
IdleConnTimeout: 0,
DisableCompression: true,
}
没看代码，只看了回复
开了很多 httpclient ?
httpclient 内部有连接池，如果不断开新的 http。client，建议去调用下 CloseIdleConnections 函数。
另外如果还是出问题，那么建议直接自己管理连接。 req.Write 和 WriteProxy 函数。
感谢你的回复 尝试了你的代码之后暂时没发现报错了，但是有个疑问，transport 内部管理的是 tcp conn，同一个 client 和 transport 可以复用不同的 host 的 conn 吗？
func Get(url string) (resp *Response, err error) {
return DefaultClient.Get(url)
}
func (c *Client) Get(url string) (resp *Response, err error) {
req, err := NewRequest(“GET”, url, nil)
if err != nil {
return nil, err
}
return c.Do(req)
}
func (c *Client) Do(req *Request) (*Response, error) {
return c.do(req)
}
有什么区别吗。。。
看了下文档，get 方法也是判断是否 err 后再 close 的，和 do 一样。 之前说法是有问题。
在 do/get 返回 error 时候，resp 是个 nil，不能调用 body.close 的。
在Golang中，当使用 http.Client 进行并发请求时，如果遇到 “socket: too many open files” 错误，这通常是由于系统级别的文件描述符限制被突破，而文件描述符在Go中也被用于网络连接（包括HTTP连接）。这种情况往往与goroutine泄露有关，即goroutine被错误地创建后未能正确关闭。
解决此问题的步骤如下：
-
检查HTTP客户端的复用：确保你的
http.Client实例是复用的，而不是为每个请求都创建一个新的实例。复用http.Client可以有效利用连接池，减少不必要的连接开销。 -
设置合理的超时：为
http.Client的Timeout和Transport的IdleConnTimeout设置合理的值，以确保空闲连接能够被及时关闭，避免资源泄露。 -
监控和关闭goroutine：确保所有启动的goroutine都有明确的退出路径。使用
sync.WaitGroup或context.Context来管理goroutine的生命周期，确保它们在完成任务后被正确关闭。 -
增加文件描述符限制：虽然这不是解决问题的根本方法，但可以通过调整系统的文件描述符限制（如Linux中的
ulimit -n）来临时缓解问题。注意，这只是权宜之计，真正解决还需从代码层面入手。 -
使用工具检测泄露：利用如
pprof或race检测器等工具，帮助你定位和修复goroutine泄露的问题。
通过上述步骤，你应该能够有效地解决因并发导致的goroutine泄露及文件描述符耗尽的问题。
