Python中websocket服务器端接收大文件时的疑问与解决方案
接收部分代码如下，粘包我已经做了处理，但是，发送的如果是文件，不论是任何文件，都会出现问题！
def recvMessage(self, sockHandle):#读取来自客户端的数据
print("请求开始")
strings = b""
resDict = {}
client = self.dictSocketHandle[sockHandle]
if not self.dictSocketShakeHandStatus[sockHandle]:#如果没有握手完成，我用 1024 个字节去接收数据是完全够用的
data = client.recv(1024) # 这儿如果没有拿够 1024 个字节的数据，那么会循环回来拿，但是，如果发现没有数据能拿到，socket 会自动中止，扔出一个异常，代码就结束执行，所以需要 try 一下。
if len(data) == 0: # 通道断开或者 close 之后，就会一直收到空字符串。 而不是所谓的-1 或者报异常。这个跟 C 和 java 等其他语言很不一样。
self.epollHandle.modify(sockHandle, select.EPOLLHUP | select.EPOLLET)
strings = data
optCode = -5
else: #如果已经握手完成了，那么先要去完成一次通讯由客户端告知服务端，下一次要发送的数据大小
data_head = client.recv(1)
data_head = struct.unpack("B", data_head)[0]
optCode = self.parseHeadData(data_head)
if optCode == 0:#客户端要求退出，其余这儿不处理
self.closeConnect(client.fileno())
return
print("操作码为：", optCode)
byteData = client.recv(1)
byteData = struct.unpack("B", byteData)
payload_len = byteData[0] & 127
print("payloadLen", payload_len)
if payload_len == 126:
extend_payload_len = client.recv(2) # 数据头部延伸的长度
dataLength = struct.unpack("H", extend_payload_len)[0]
mask = client.recv(4) # 加密的 4 个字节
elif payload_len == 127:
extend_payload_len = client.recv(8)
dataLength = struct.unpack("Q", extend_payload_len)[0]
mask = client.recv(4)
else:
dataLength = payload_len
mask = client.recv(4)
print("接收到的数据长度为：", dataLength)
bytes_list = bytearray('', encoding='utf-8')
recvLen = 0
while recvLen < dataLength:
try:
data = client.recv(1024)
print("一次取到数据长度", len(data))
for i in range(len(data)):
chunk = data[i] ^ mask[i % 4]
bytes_list.append(chunk)
recvLen = recvLen + len(data)
print("目前接收数据总长度", recvLen)
except IOError as e:
if e.errno == 11:
continue
strings = bytes_list
resDict["string"] = strings
resDict["type"] = optCode
return resDict
上面的代码，如果上传文件会有如下的效果，不知道为啥！！！求大神帮我！！
请求开始
Binary frames 二进制帧上传文件
操作码为：5
payloadLen 126
接收到的数据长度为：15530
一次取到数据长度 1024
目前接收数据总长度 1024
一次取到数据长度 1024
目前接收数据总长度 2048
一次取到数据长度 1024
目前接收数据总长度 3072
一次取到数据长度 1024
目前接收数据总长度 4096
一次取到数据长度 1024
目前接收数据总长度 5120
一次取到数据长度 1024
目前接收数据总长度 6144
一次取到数据长度 1024
目前接收数据总长度 7168
一次取到数据长度 1024
目前接收数据总长度 8192
一次取到数据长度 1024
目前接收数据总长度 9216
一次取到数据长度 1024
目前接收数据总长度 10240
一次取到数据长度 1024
目前接收数据总长度 11264
一次取到数据长度 1024
目前接收数据总长度 12288
一次取到数据长度 1024
目前接收数据总长度 13312
一次取到数据长度 1024
目前接收数据总长度 14336
一次取到数据长度 1024
目前接收数据总长度 15360
一次取到数据长度 1024
目前接收数据总长度 16384
请求开始
Unknown opcode %#x.6
操作码为：4
payloadLen 3
接收到的数据长度为：3
一次取到数据长度 1024
目前接收数据总长度 1024
请求开始
pong frames are not supported.
操作码为：4
payloadLen 91
接收到的数据长度为：91
一次取到数据长度 1024
目前接收数据总长度 1024
请求开始
Continuation frames are not supported.
操作码为：4
payloadLen 14
接收到的数据长度为：14
一次取到数据长度 1024
目前接收数据总长度 1024
注意 我只请求了一次上传文件，但是 会 有多个 ”请求开始“ 证明就是 recv 了多次，难道说 websocket 的 js 端会自动切片上传？
Python中websocket服务器端接收大文件时的疑问与解决方案
3 回复
Python中websocket服务器端接收大文件时的疑问与解决方案
处理WebSocket大文件传输的核心在于分片接收和流式处理。WebSocket协议本身支持消息分片，但Python的websockets库默认会将整个消息加载到内存，对于大文件会导致内存溢出。以下是两种实用的解决方案：
方案一：使用websockets库的流式接收
import asyncio
import websockets
import hashlib
async def handle_file_upload(websocket):
# 接收文件元数据
metadata = await websocket.recv()
filename, filesize = metadata.split(',')
# 创建文件并流式写入
with open(filename, 'wb') as f:
received = 0
while received < int(filesize):
# 接收数据块（建议设置合适的chunk_size）
chunk = await websocket.recv()
f.write(chunk)
received += len(chunk)
# 可选：发送进度回传
progress = int(received / int(filesize) * 100)
await websocket.send(f"PROGRESS:{progress}")
# 验证文件完整性（示例使用MD5）
await websocket.send("UPLOAD_COMPLETE")
print(f"文件 {filename} 接收完成")
async def main():
async with websockets.serve(handle_file_upload, "localhost", 8765):
await asyncio.Future() # 永久运行
if __name__ == "__main__":
asyncio.run(main())
方案二：使用aiofiles进行异步文件写入
import aiofiles
import websockets
async def handle_large_file(websocket):
async with aiofiles.open('received_file.bin', 'wb') as f:
async for message in websocket:
if message == b"FILE_END":
break
await f.write(message)
await websocket.send("FILE_SAVED")
# 客户端发送示例（配合使用）：
# for chunk in read_file_in_chunks():
# await websocket.send(chunk)
# await websocket.send(b"FILE_END")
关键点说明：
- 分片策略：客户端需要将文件分割为适当大小的数据包（如64KB-1MB）
- 流量控制：服务器端通过控制接收频率防止内存堆积
- 协议设计：建议定义简单的应用层协议，如
HEADER:filesize+DATA:chunks+END:checksum
总结建议：采用流式接收配合异步文件写入是最佳实践。
