Golang Go语言中的http服务器，同时下载的连接不能超过两个吗？

发布于 1周前 作者 h691938207 来自 Go语言

一个最简单的 http 服务器：

func main() {
	fs := http.FileServer( http.Dir("./public"))
	http.Handle("/", fs)
	http.ListenAndServe(":8888", nil)
}

用 curl 测试几个连接同时下载：

curl --limit-rate 1k http://1.2.3.4:9999/file.zip --output NUL

结果是，只有第一个和第二个连接正常下载，其他的连接处于停滞状态，只有前面的连接下载完了，后面的才能接着下载。

如果把服务器换成 nginx 则多个连接都可以同时下载。

以上都是在 Windows 11 下进行的 Go 的版本是 1.18.1


Golang Go语言中的http服务器，同时下载的连接不能超过两个吗？

更多关于Golang Go语言中的http服务器，同时下载的连接不能超过两个吗？的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

Harmonyos Next教程
39 回复

你就不能在 fs 里面加个 go 么

更多关于Golang Go语言中的http服务器，同时下载的连接不能超过两个吗？的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


跟你一样的环境，一样的代码，我测试可以并发下载

抱歉我没看懂，如何在 fs 里面加个 go

我反复多次都是只能两个连接同时下载，我也不知道我哪不对，所有又用了 nginx 试

对不起我错了，http 本来就是协程的

http.ListenAndServe 里面就有 go c.serve(connCtx)，不需要 fs 再 go 了吧？

可能说监听队列长度问题。你可以 google 下如何指定。大概率是你 nil 的那个位置。

我猜是写入了同个文件 NUL ？

问题很奇怪，好像和下载的文件大小有关，测试如下：

如果我用小文件（小于 100KB ）可以多个同时下载
如果文件大于 1MB 就只能两个同时下载，其他的等待

莫名其妙啊

应该不是 go 的问题，我测试的文件几十 MB ，对了，我 curl 命令是在 wsl 里面执行的

我是打开了四个 cmd 窗口，用 curl 下载，我再试试

不会是 cmd 窗口卡住了吧 :doge


http.DefaultTransport = &http.Transport{
DisableKeepAlives: true,
}
配置下可以，原因未知

用同样的 cmd 窗口，从 nginx 下载就没有问题。

试了 http.DefaultTransport ，也不行。另外我查了 http.DefaultTransport 是用在 client 端的，服务端是用 SetKeepAlivesEnabled(false) ，试了还是不行。

nul 文件锁

浏览器这没复现成功，Chrome windows11 go1.18.1 四个标签页下载，都能正常下载。

go 默认运行在一个 cpu 核上的，尝试设置下 runtime.GOMAXPROCS

不是 NUL 的问题，即使把 NUL 改为不同的文件名，结果同样。

网上可查得 Starting from Go 1.5, the default value of GOMAXPROCS is the number of cores.

我也用 Chrome 试了，连续下载四次，开始时只有前两个下载有进度，后两个下载进度一直显示 0 。
但是过了一会，神奇的事情发生了，第三个下载在一瞬间完成了。又过了一会，第四个也在一瞬间完成了。
而这时，第一个和第二个还在下载中。。。

上面一瞬间完成的下载，找到原因了，是下载出错了，只下载了 1KB ，而原文件是 72MB

我又用 Chrome 反复试了，结论还是只能有两个连接同时下载，后面的连接要等前面的结束后才开始下载。

试了一下还真是，第一个和第二个正常下载，第三个就停住不动，如果结束掉其中一个，第三个就正常下载了

终于能复现了 🤣🤣🤣

我刚刚又试了下，还是没有出现你的问题，同时下载四个 10G 左右的视频。两个视频速度 200mb/s 多，两个视频 50mb/s 左右。其中只有一个视频初始下载速度大概 100B/s 持续了 3 秒左右就正常了。

可我这怎么都不行

用 aria2 测试也是这样, 就算是 aria2 和 curl 混用也不能超过 2 个任务, 不知道为什么

我用 curl 和 chrome 混用也不能超过两个

刚刚测试了下，的确如此，第三个速度刚开始有速度但马上变为 0 了。
这应该 go http 包实现的问题，有空的话，可以仔细看下实现。
因为我换成 echo 框架，实现也是调用 http.ServeFile 的，测试到 5 个，都没问题。

我觉得能确定的是：即使是单核 go 也能并发处理请求，GOMAXPROCS 并没有带来实质变化。

读了一圈源码，并没有发现问题，敢问楼主啥硬件？
<br>for { rw = l.accept(); go Conn(rw).serve(); }<br>
不过 fileServer 没有用 sendfile 而是用 io.copy 让我比较惊讶

我这台电脑 cpu 是 5700g ，系统是 Windows 11 ，Go 版本是 1.18.1 windows/amd64



感觉跟用 netutil 的 LimitListener 函数限制了并发一样
不一样的是如果用 LimitListener 限制了，这个 c 任务是读 0 字节，但这个会读 512 字节

而且，同样的代码在 WSL 子系统上运行是不存在这个问题

我还是无法复现，curl 也改成 win 下的了，windows terminal + pwsh7 + curl ，4 个窗口同时下载，速度都正常

$ curl --limit-rate 1k http://127.0.0.1:8989/DesktopOK_Installer_x64.zip --output NUL
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
3 594k 3 18944 0 0 1021 0 0:09:56 0:00:18 0:09:38 1025


$ curl --limit-rate 1k http://127.0.0.1:8989/DesktopOK_Installer_x64.zip --output NUL
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
3 594k 3 18944 0 0 1021 0 0:09:56 0:00:18 0:09:38 1023


$ curl --limit-rate 1k http://127.0.0.1:8989/DesktopOK_Installer_x64.zip --output NUL
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
2 594k 2 15872 0 0 1020 0 0:09:57 0:00:15 0:09:42 1020


$ curl --limit-rate 1k http://127.0.0.1:8989/DesktopOK_Installer_x64.zip --output NUL
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
2 594k 2 15872 0 0 1020 0 0:09:57 0:00:15 0:09:42 1020

我现在是按照 的方法，换成 echo 或 gin ，测试都没有问题

http.FileServer 在 Windows 的最底层调用 TransmitFile ( https://github.com/golang/go/blob/master/src/internal/poll/sendfile_windows.go#L61)

TransmitFile 在个人机限制并发数为 2 ，服务器无限制 ( https://docs.microsoft.com/en-us/windows/win32/api/mswsock/nf-mswsock-transmitfile#remarks)

> Workstation and client versions of Windows optimize the TransmitFile function for minimum memory and resource utilization by limiting the number of concurrent TransmitFile operations allowed on the system to a maximum of two. On Windows Vista, Windows XP, Windows 2000 Professional, and Windows NT Workstation 3.51 and later only two outstanding TransmitFile requests are handled simultaneously; the third request will wait until one of the previous requests is completed.

Server versions of Windows optimize the TransmitFile function for high performance. On server versions, there are no default limits placed on the number of concurrent TransmitFile operations allowed on the system. Expect better performance results when using TransmitFile on server versions of Windows. On server versions of Windows, it is possible to set a limit on the maximum number of concurrent TransmitFile operations by creating a registry entry and setting a value for the following REG_DWORD:

HKEY_LOCAL_MACHINE\CurrentControlSet\Services\AFD\Parameters\MaxActiveTransmitFileCount

至于为什么 gin 可以，因为它根本没做这个优化

16 年有人发过 pr ( https://github.com/gin-gonic/gin/pull/638)，但不知道什么原因关闭了，一直到今天都没实现这个优化



go<br>// gin<br> 8 0x000000000054620e in net.(*TCPConn).Write<br> at &lt;autogenerated&gt;:1<br> 9 0x00000000005de533 in net/http.checkConnErrorWriter.Write<br> at d:/go/src/net/http/server.go:3532<br>10 0x0000000000592e75 in bufio.(*Writer).Write<br> at d:/go/src/bufio/bufio.go:639<br>11 0x00000000005d2695 in net/http.(*chunkWriter).Write<br> at d:/go/src/net/http/server.go:383<br>12 0x0000000000592e75 in bufio.(*Writer).Write<br> at d:/go/src/bufio/bufio.go:639<br>13 0x00000000005d819e in net/http.(*response).write<br> at d:/go/src/net/http/server.go:1592<br>14 0x00000000005d7ed0 in net/http.(*response).Write<br> at d:/go/src/net/http/server.go:1550<br>15 0x00000000006f3078 in <a target="_blank" href="http://github.com/gin-gonic/gin.(*responseWriter).Write" rel="nofollow noopener">github.com/gin-gonic/gin.(*responseWriter).Write</a><br> at c:/users/eddisonwang/go/pkg/mod/<a target="_blank" href="http://github.com/gin-gonic/gin@v1.8.1/response_writer.go:78" rel="nofollow noopener">github.com/gin-gonic/<span class="__cf_email__" data-cfemail="4c2b25220c3a7d6274627d">[email&nbsp;protected]</span>/response_writer.go:78</a><br>16 0x0000000000452444 in io.copyBuffer<br> at d:/go/src/io/io.go:425<br>17 0x00000000004520fa in io.Copy<br> at d:/go/src/io/io.go:382<br>18 0x00000000004520fa in io.CopyN<br> at d:/go/src/io/io.go:358<br>19 0x00000000005b2ba5 in net/http.serveContent<br> at d:/go/src/net/http/fs.go:337<br>20 0x00000000005b4af5 in net/http.serveFile<br> at d:/go/src/net/http/fs.go:664<br><br><br><br><br>// std http<br> 6 0x0000000000f0ed5c in net.sendFile<br> at d:/go/src/net/sendfile_windows.go:37<br> 7 0x0000000000f1196e in net.(*TCPConn).readFrom<br> at d:/go/src/net/tcpsock_posix.go:52<br> 8 0x0000000000f10f76 in net.(*TCPConn).ReadFrom<br> at d:/go/src/net/tcpsock.go:104<br> 9 0x0000000000fa08d9 in net/http.(*response).ReadFrom<br> at d:/go/src/net/http/server.go:597<br>10 0x0000000000e65a8b in io.copyBuffer<br> at d:/go/src/io/io.go:409<br>11 0x0000000000e657fa in io.Copy<br> at d:/go/src/io/io.go:382<br>12 0x0000000000e657fa in io.CopyN<br> at d:/go/src/io/io.go:358<br>13 0x0000000000f80465 in net/http.serveContent<br> at d:/go/src/net/http/fs.go:337<br>14 0x0000000000f823b5 in net/http.serveFile<br> at d:/go/src/net/http/fs.go:664<br>

应该就是这个原因了，佩服 👍👍👍

感谢啊，感觉就是有把大锁锁住了文件，原来是这个函数，微软也太抠了，限制到 2

在Golang（Go语言）中，HTTP服务器的设计并不限制同时下载的连接数量只能为两个。实际上，Go语言的net/http包提供了非常强大且灵活的HTTP服务器实现，能够处理大量的并发连接。

默认情况下，Go语言的HTTP服务器会利用Go语言的goroutine和channel机制来高效地处理并发请求。每个请求都会在一个新的goroutine中处理，这意味着服务器能够同时处理多个请求，而不仅仅是两个。

如果你发现你的HTTP服务器似乎只能同时处理两个下载连接，这可能是由于以下几个原因：

  1. 客户端限制：可能是发起请求的客户端（如浏览器或下载工具）限制了并发连接数。

  2. 服务器配置：在某些情况下，服务器可能会通过中间件或自定义配置来限制并发连接数。

  3. 资源限制：如果服务器资源（如CPU、内存或带宽）有限，那么在高并发情况下，服务器可能无法处理更多的请求，但这并不意味着它只能处理两个连接。

  4. 代码逻辑：代码中可能存在逻辑错误或不当的同步机制，导致并发处理受限。

要解决这个问题，你可以检查客户端设置、服务器配置和代码逻辑，确保没有人为地限制并发连接数。同时，监控服务器资源使用情况，确保服务器有足够的资源来处理预期的并发请求量。

回到顶部