Nodejs中socket.io能不能用来传输大数据？怎么传输？遇到了点问题

Nodejs中socket.io能不能用来传输大数据？怎么传输？遇到了点问题

我用socket.io来向网页前端传送大数据，用的是emit自定义事件的方法。

TCPclient.on('data',function(tdata) {
	tdata.copy(buff, 0, 0, tdata.length);
	es.emit("imdata", {bu: buff, id: isRecv});
	......

传送的是Buffer类型，大小为5KB左右。但是前端接到后读取数据发现很多数据都错了。这是什么原因呢？ enter image description here 另外，如上图所示，这是发送数据时命令行打印的，貌似发送了8KB，是自动填满为8KB吗？ 再就是想问问，能否禁止命令行中打印这种信息。。貌似很费时间的


6 回复

Node.js 中 socket.io 能不能用来传输大数据？怎么传输？遇到了点问题

在使用 socket.io 传输大数据时，可能会遇到一些问题，比如数据损坏、传输效率低下等。下面我会详细解答你的问题，并提供相应的示例代码。

为什么数据会出错？

首先，你提到的数据出错可能是因为 Buffer 的处理不当或数据拆分不完整。socket.io 默认情况下会将大块的数据拆分成多个小包进行传输。因此，你需要确保在接收端正确地拼接这些小包。

示例代码

服务器端 (Server):

const io = require('socket.io')(server);

io.on('connection', function(socket) {
    socket.on('sendData', function(data) {
        const buff = data.bu;
        const id = data.id;
        // 发送数据
        socket.emit('imdata', { bu: buff, id: id });
    });
});

客户端 (Client):

<script src="/socket.io/socket.io.js"></script>
<script>
    var socket = io.connect('http://localhost');
    
    socket.on('connect', function() {
        // 接收数据
        socket.on('imdata', function(data) {
            let receivedData = data.bu;
            console.log('Received ID:', data.id);
            console.log('Received Data:', receivedData.toString());
        });
    });

    // 模拟发送数据
    function sendData() {
        const buff = new Buffer(5 * 1024);  // 创建一个5KB的Buffer
        for (let i = 0; i < buff.length; i++) {
            buff[i] = i % 256;
        }
        socket.emit('sendData', { bu: buff, id: 1 });
    }
</script>

数据传输优化

为了优化大数据传输，可以考虑以下几点：

  1. 分割数据：将大块数据分割成较小的部分进行传输。
  2. 确认机制：实现一个确认机制，确保每个小包都被正确接收。
  3. 错误处理：添加错误处理逻辑，以便在数据出错时重新发送。

禁止命令行中打印信息

如果你想要减少或禁用命令行中的输出，可以在代码中适当的地方使用 console.log 的条件判断，或者使用环境变量来控制输出。

例如：

if (process.env.NODE_ENV !== 'production') {
    console.log('Debug info:', data);
}

或者通过环境变量来控制输出：

NODE_ENV=production node app.js

这样，在生产环境中就不会有调试信息输出到命令行了。

希望以上内容能帮助你解决传输大数据时遇到的问题。


require('socket.io').listen(server, {log: false});

这样是去除默认的日志打印的，别的我就不晓得了。

3Q～

Buffer对象是不能够JSON序列化的。强制序列化的结果会变成一个数组

我要传送的就是一组以字节为单位的数据，那应该怎么做比较好呢

使用socket.io传输大数据可能会遇到一些性能和可靠性问题。通常情况下，socket.io更适合处理较小的数据量。对于大数据传输，可以考虑分块传输或者使用其他更适合大数据传输的技术，比如WebSocket的二进制帧。

以下是一种可能的解决方案，通过分块传输数据：

分块传输示例

后端（Node.js）

const io = require('socket.io')(server);

io.on('connection', (socket) => {
    socket.on('sendData', (dataId) => {
        const buffer = getLargeData(dataId); // 假设这是一个获取大数据的函数
        const chunkSize = 1024; // 每个chunk的大小，单位为字节
        let offset = 0;

        function sendChunk() {
            if (offset < buffer.length) {
                const chunk = buffer.slice(offset, offset + chunkSize);
                socket.emit('dataChunk', { dataId, chunk });
                offset += chunkSize;
                setTimeout(sendChunk, 0); // 防止阻塞事件循环
            }
        }

        sendChunk();
    });
});

function getLargeData(id) {
    // 这里模拟生成一个大数据
    return Buffer.from(new Array(10 * 1024).fill(0)); // 10KB的buffer
}

前端（浏览器）

<script src="/socket.io/socket.io.js"></script>
<script>
    const socket = io();

    socket.on('connect', () => {
        socket.emit('sendData', 'someId');
    });

    socket.on('dataChunk', (chunk) => {
        console.log(chunk.dataId, chunk.chunk.toString());
        // 这里你可以将所有片段重新组合成完整的大数据
    });
</script>

优化建议

  1. 减少日志输出：可以通过调整socket.io的日志级别或直接修改代码来减少不必要的日志输出。
  2. 优化传输效率：可以尝试调整chunk的大小以优化传输效率。
  3. 错误处理：确保在前后端都有适当的错误处理机制，以便在数据传输过程中出现错误时能够及时捕获并处理。

通过这种方式，你可以更可靠地传输大数据，并且避免了因单次传输过大而导致的问题。

回到顶部