Python socket 通信如何分包
比如服务端发送 00 01 ; 00 02 两个包 客户端用 python socket.recv()的函数会接收到 00 01 00 02 (粘连在一起) 如何分包? 服务端我无法控制。 客户端用 python3
之前发在 segmentfault 没人理。。。 https://segmentfault.com/q/1010000008888222
Python socket 通信如何分包
发一个,等几秒再发第二个
Python socket 通信分包的核心是处理消息边界。
TCP是流式协议,没有消息边界。发送方的多次send()可能在接收方一次recv()中收到,反之亦然。必须自己定义协议来分包。
常见解决方案:
-
固定长度协议:每条消息固定长度,不足补零。
# 发送方 data = b"Hello" padded_data = data.ljust(1024, b'\x00') # 固定1024字节 sock.sendall(padded_data) # 接收方 chunk = sock.recv(1024) # 每次读固定长度 -
分隔符协议:用特殊字符(如
\n)分隔消息。# 发送方 sock.sendall(b"Hello\nWorld\n") # 接收方 buffer = b"" while True: data = sock.recv(1024) if not data: break buffer += data while b'\n' in buffer: message, buffer = buffer.split(b'\n', 1) print(message) -
长度前缀协议(最推荐):先发送消息长度,再发内容。
import struct # 发送方 message = b"Hello World" length = len(message) sock.sendall(struct.pack('!I', length) + message) # 4字节长度头 # 接收方 def recv_msg(sock): # 先读4字节获取长度 raw_len = recv_all(sock, 4) if not raw_len: return None msg_len = struct.unpack('!I', raw_len)[0] # 按长度读取数据 return recv_all(sock, msg_len) def recv_all(sock, n): data = b"" while len(data) < n: packet = sock.recv(n - len(data)) if not packet: return None data += packet return data
总结:用长度前缀协议最可靠。
尾部特殊字符,或者头部用 2 字节表明 body 的长度
服务端不可控
那就自己按照包大小或者包格式分割一下,如果没有固定格式,弃坑吧
服务端都不能标明你 body 的长度或者截止位置,你能怎么办,没办法
TCP 是数据流。
TAT 那 wireshark 怎么实现分包的
tcp 流式数据你是分不了包的。只能加结束符或者发送 content length 之类的东西来判断。
tcp 是流,这种需求不如试试 udp
socket.recv(num) 可以指定接收字节数
抓包工具抓的并不只是 tcp 层面的数据。一个 tcp 包除了发送或者接收的数据还包括了很多内容,比如目标端口,原端口,也有些包不包含应用层的数据。和你理解的接收包不是一回事。解释起来很复杂,但是在应用层的层面上 TCP 应用层的应用是分不清楚包的。如果一定要按照包来处理内容,请使用 UDP 。
当然,使用 UDP 你肯定会遇到更多麻烦。
tcp 不需要分包。按照应用层协议解析就好
TCP 在传递到 IP 层的时候会分成一个个 Segment , Segment 的大小由 MSS 决定。每个 Segment 被封装到一个 IP 包里面。但是 Segment 对于应用程序是不可见的,应用程序看到的就是流。
(´・_・`)模拟某个客户端的啦,我再想办法找找他的处理模式
。◕‿◕。感谢解惑
既然是tcp,本身是流,肯定要有数据协议,就是根据数据包格式,起始标识符,长度域或结束符来判断完整的一包.具体就是逐字节的读取,判断,直到一完整包,给上层,继续读取判断.
如果每个包长度都小于 MSS ,你也可以用 raw socket 自己收 233
即使每个包长度都小于 MSS ,如果服务端开启了 nagle ,一样会有这问题吧
TCP 是面向数据流的啊,你可以自己定义一个应用层的格式,比如每个包头包含这个包的大小。 recv 的时候先接收包头大小的内容,然后再根据包头接受剩下的数据。当你用直接用 TCP 协议的时候,就不用考虑下面的分包问题了。除非你想用 UDP
1.每个包以长度开头
2.用库或者自己再实现一层 buffer ,用 deque 实现不难的
3.SCTP
关了 nagle ,每次 flush ,接收端读取频率够高的话,应该不会粘
但是不保证,毕竟
1.操作系统可以有其他实现
2.拥塞控制 /流控挡了一下,剩下的在发送缓冲合并了
3.接收乱序,等到齐了的时候一起进接收缓冲
4.服务端程序被其他事件打断,睡了一会
TCP 确实是一个包一个包发的, wireshark 也能看到。
编程用的 API 是 socket , socket 是在 TCP 和 UDP 之上又提供了一层抽象。用 socket 处理 SOCK_STREAM ,是流式数据,需要自己再定义包头校验。
我们一般用 tlv , type , length , value ,其中 tl 大小固定,叫做包头, value 变长,由 length 决定。先只收包头,收到以后再根据长度收取 value 。
用常规方法实现不了,或许可以试试非常规方法。比如用 scapy 抓取 ip 包,然后从中拿到数据。
什么 content-length, 换行符等特殊字符啊都是简单的应用层协议啊
就像 HTTP 服务器一样,有三种方式:
一 写完数据, flush 一下缓存
二 用 CONTENT-LENGTH 来标明 PAYLOAD 的大小
三 用类似于 HTTP1.1 的 TRANSFER-ENCODING 的格式来分块
- 最简单的是强制规定每个包都是固定长度, 比如 64bytes 每次 .recv(64) 就是一个包
2. 稍微复杂一点, 用一小段序列作为包之间的分隔两个包,比如 b’\xff\xee\xcc\xaa\xbb\xdd\x00’
收到的东西先存到 buffer 里, 然后根据这段序列自己分隔
优点是很简单, 缺点是可能会误分隔, 以及安全问题. 需要自己处理转义
3. 更复杂的是自己设计一个简单的协议(参考 HTTP) 在协议头部标明内容的长度等一些元信息, 接收端 buffer 后进行分割, 不容易出错
不知道有没有现成的库能做这种事情, 有的话请[at]我
SCTP over udp?
自己定协议 然后自己分包,实现参考 netty
早在在 segmentfault 看到你的问题了。。。。。 没有做过所以也没法回答 orz


