Nodejs流处理模块stream的使用

Nodejs流处理模块stream的使用
在Node.js中，stream模块提供了处理数据流的能力，这在处理大量数据或实时数据时非常有用。stream模块提供了四种基本类型的数据流：Readable（可读流）、Writable（可写流）、Duplex（双工流）和Transform（转换流）。下面我将通过几个简单的例子来展示如何使用这些流。

1. 可读流 (Readable Stream)

可读流主要用于从源头读取数据。例如，从文件系统读取文件。

const fs = require('fs');
const readableStream = fs.createReadStream('./example.txt');

readableStream.on('data', (chunk) => {
    console.log(`Received ${chunk.length} bytes of data.`);
});

readableStream.on('end', () => {
    console.log('There will be no more data.');
});

2. 可写流 (Writable Stream)

可写流用于向目标写入数据。例如，将数据写入文件。

const fs = require('fs');
const writableStream = fs.createWriteStream('./output.txt');

writableStream.write('Hello, ');
writableStream.write('world!');
writableStream.end(); // 结束写入

3. 双工流 (Duplex Stream)

双工流同时具有读取和写入能力。例如，网络套接字。

const net = require('net');
const server = net.createServer((socket) => {
    socket.pipe(socket); // 将输入直接转发到输出
});

server.listen(1337, '127.0.0.1');

4. 转换流 (Transform Stream)

转换流是一种特殊的双工流，可以在读取的同时修改数据。例如，压缩或解压缩数据。

const zlib = require('zlib');
const gzip = zlib.createGzip();
const fs = require('fs');
const inp = fs.createReadStream('input.txt');
const out = fs.createWriteStream('input.txt.gz');

inp.pipe(gzip).pipe(out);

实际应用示例

假设我们需要读取一个大文件，并对其进行压缩，然后保存到另一个文件中：

const fs = require('fs');
const zlib = require('zlib');

const readStream = fs.createReadStream('largefile.txt');
const writeStream = fs.createWriteStream('compressedfile.gz');
const gzip = zlib.createGzip();

readStream.pipe(gzip).pipe(writeStream);

以上就是Node.js中stream模块的基本使用方法。通过使用流，可以高效地处理大量数据，避免一次性加载所有数据到内存中。


3 回复

当然！Node.js中的stream模块是处理数据流的强大工具。想象一下，你正在用吸管喝果汁，而不是直接倒进嘴里——这就是流处理的概念：小口小口地处理数据。

首先，你需要引入stream模块：

const { Readable, Writable } = require('stream');

创建一个可读流（就像你用吸管从杯子里吸果汁）：

class MyReadable extends Readable {
  _read() {
    this.push('Hello ');
    this.push('World');
    this.push(null); // 结束信号
  }
}

const myReadable = new MyReadable();
myReadable.pipe(process.stdout); // 将输出 "Hello World" 到控制台

创建一个可写流（就像你把果汁倒入一个空杯子）：

class MyWritable extends Writable {
  _write(chunk, encoding, callback) {
    console.log(chunk.toString());
    callback(); // 完成当前块的写入
  }
}

const myWritable = new MyWritable();
myReadable.pipe(myWritable); // 输出 "Hello" 和 "World"

这就是基本的使用方法，你可以根据需要调整和扩展这些例子！


Node.js中的stream模块是处理数据流的一种强大工具。它可以帮助我们更高效地处理大文件或持续的数据流，避免一次性加载所有数据到内存中。以下是关于如何使用stream模块的一些基本概念和示例。

1. 创建可读流

fs模块中的createReadStream()方法就是一个创建可读流的例子。下面的代码演示了如何从一个文件中读取内容，并将其打印出来：

const fs = require('fs');
const readStream = fs.createReadStream('./example.txt');

readStream.on('data', (chunk) => {
    console.log(`Received ${chunk.length} bytes of data.`);
    console.log(chunk.toString());
});

readStream.on('end', () => {
    console.log("There will be no more data.");
});

2. 创建可写流

同样，fs模块提供了createWriteStream()方法来创建可写流，用于将数据写入文件：

const fs = require('fs');
const writeStream = fs.createWriteStream('./output.txt');

writeStream.write('Hello, ');
writeStream.write('world!');
writeStream.end(); // 必须调用end()来表示写入结束

3. 管道流

管道（pipe）是一种非常方便的方式来连接一个可读流到一个可写流。以下代码展示了一个文件的内容被复制到另一个文件的过程：

const fs = require('fs');

const readStream = fs.createReadStream('./source.txt');
const writeStream = fs.createWriteStream('./destination.txt');

readStream.pipe(writeStream);

4. 变换流

变换流（Transform Streams）可以修改流中的数据。内置的zlib模块提供了压缩和解压缩功能，它们都是变换流的例子：

const zlib = require('zlib');
const fs = require('fs');

const gzip = zlib.createGzip();
const readStream = fs.createReadStream('input.txt');
const writeStream = fs.createWriteStream('input.txt.gz');

readStream.pipe(gzip).pipe(writeStream);

以上就是Node.js中stream模块的基本使用方法。通过这些流，我们可以更有效地处理大数据量的输入输出操作。

Node.js中的stream模块用于处理实时数据传输。你可以使用可读流（Readable）、可写流（Writable）、双工流（Duplex）和转换流（Transform）。例如，使用可读流读取文件：

const fs = require('fs');
const readStream = fs.createReadStream('example.txt');

readStream.on('data', (chunk) => {
  console.log(`Received ${chunk.length} bytes of data.`);
});

readStream.on('end', () => {
  console.log('There will be no more data.');
});

这将按块读取文件内容，适合处理大文件或实时数据。

回到顶部