Golang Go语言中分隔符处理粘包拆包问题

发布于 1周前 作者 yibo5220 来自 Go语言
定义一个 buffer 来临时存放消息
从 conn 里面读取固定字节大小内容,判断当前内容里面有没有分隔符
如果没有找到分隔符,把当前内容追加到 buffer 里面,然后重复第 2 步
如果找到分隔符,把当前内容里面分隔符之前的内容追加到 buffer 后输出
然后重置 buffer ,把分隔符之后的内容追加到 buffer ,重复第 2 步

把分隔符之后的内容追加到 buffer 这个环节我不知道处理

package main

import ( “bufio” “io” “log” “net” )

func main() { listener, err := net.Listen(“tcp”, “127.0.0.1:8866”) if err != nil { log.Fatal(err) } defer listener.Close()

for {
	con, err := listener.Accept()
	if err != nil {
		log.Println(err)
		continue
	}
	defer con.Close()
	reader := bufio.NewReader(con)
	for {
		data, err := reader.ReadSlice('\n')
		if err != nil {
			if err != io.EOF {
				// 分隔符之后
			} else {
				//读取结束
				break
			}
		}
		log.Println("received msg", len(data), "bytes:", string(data))
	}
}

}

package main

import ( “log” “net” “time” )

func main() { conn, err := net.Dial(“tcp”, “127.0.0.1:8866”) if err != nil { log.Fatal(err) } defer conn.Close() _, err = conn.Write([]byte(“bbbb\ndfdfdfdfd”)) if err != nil { panic(err) } time.Sleep(time.Second) }


Golang Go语言中分隔符处理粘包拆包问题

更多关于Golang Go语言中分隔符处理粘包拆包问题的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

22 回复

消息包头带个长度不就行了。

更多关于Golang Go语言中分隔符处理粘包拆包问题的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


主要是想搞明白采用分格符这种方式是怎么处理的

粘包警察马上到!

TCP 流数据边界问题 这个没人吐槽了吧。

粘包警察来咯!

可以参考一下这个项目处理边界的代码,他实现了好几种方式: https://github.com/go-netty/go-netty

bufio.NewReader 这个概念,理解错了。这个得出来的结果比较清晰一些
<br>func main() {<br> conn, err := net.Dial("tcp", "127.0.0.1:8866")<br> if err != nil {<br> log.Fatal(err)<br> }<br> defer conn.Close()<br> _, err = conn.Write([]byte("bbbb\ndfdfdfdfd\nsdsdsd"))<br> _, err = conn.Write([]byte("aaa\n"))<br> if err != nil {<br> panic(err)<br> }<br> time.Sleep(time.Second)<br>}<br><br>

你这个 TCP 结束之前,不会收到 EOF ,你就一直读不就行了吗,有什么需要处理的

这个文章可以参考

消息长度固定,提前确定包长度,读取的时候也安固定长度读取,适合定长消息包。
使用特殊的字符或字符串作为消息的边界,例如 HTTP 协议的 headers 以“\r\n”为字段的分隔符
自定义协议,将消息分为消息头和消息体,消息头中包含表示消息总长度

https://wangbjun.site/2019/coding/golang/golang-tcp-package.html

谢谢各位

最后 err==EOF 的时候,data 是有值的,你不能直接丢掉,其他没什么问题

好的,谢谢了。

一直收不到分隔符,内存不是要爆掉啦

这种方案也就在内网环境下用用,本质上和用换行符做分割没有什么区别。
一旦被人摸清楚方案,无限给你发不带分割符的包,轻轻松松 oom

出警怎么这么慢啊

这种适合搞一个 ringbuffer

OOM 是另一个问题, http 协议的 content-length 也没有机制保证你不 oom 吧.

类似 nginx 的 client_max_body_size ,默认 0 无限制,设置最大长度,超过了就拒绝?

直接 bufio.NewScanner 搞定,用 https://pkg.go.dev/bufio#Scanner.Split 配置一个,分隔符策略几乎可以照抄默认的 ScanLines

确实,像 scp 和 sftp 底层的实现都是基于 tcp 基础上自己规定客户端和服务端间的协议

建议用 CRLF 分割

分享一下我开源的单机百万的通用实时服务。里面有关于拆包分包这块。

https://github.com/WuKongIM/WuKongIM

怎么还没有喷沾包的啊,我好难受

在Golang(Go语言)中处理网络编程时,粘包和拆包问题是常见的挑战,特别是基于TCP协议通信时。粘包指的是多个数据包被粘合在一起,拆包则是一个数据包被错误地拆分成多个部分。这些问题会导致数据解析错误,影响通信的准确性和可靠性。

Go语言提供了多种方式来解决粘包和拆包问题,常见的方法包括:

  1. 固定长度分隔符:在发送数据前,先发送一个固定长度的特殊字符或字符串作为分隔符。接收端根据这个分隔符来拆分数据包。这种方法简单直观,但要求数据包长度不能超过一定限制,且分隔符不能出现在数据内容中。

  2. 长度字段前置:在每个数据包前增加一个长度字段,指明后续数据的长度。接收端根据这个长度字段来读取完整的数据包。这种方法更加灵活,可以处理任意长度的数据包,但需要额外的空间来存储长度字段。

  3. 协议解析:设计一种自定义的协议,通过协议头中的信息来解析数据包。这种方法可以处理复杂的通信场景,但需要实现协议解析器,增加了开发难度。

在实际应用中,可以根据具体需求选择合适的方法。例如,对于简单的场景,固定长度分隔符可能是一个不错的选择;而对于复杂的场景,长度字段前置或协议解析可能更加合适。

总之,解决粘包和拆包问题的关键在于确保接收端能够准确地识别并提取出完整的数据包。通过合理的设计和实现,Go语言可以有效地应对这些挑战。

回到顶部