Node.js学习笔记：Stream(流)

概念

Stream模块

流（stream）在 Node.js 中是处理流数据的抽象接口（abstract interface）。 stream 模块提供了基础的 API 。使用这些 API 可以很容易地来构建实现流接口的对象。

Node.js 提供了多种流对象。 例如， HTTP 请求 和 process.stdout 就都是流的实例。

流可以是可读的、可写的，或是可读写的。所有的流都是 EventEmitter 的实例。

Node.js，Stream 有四种流类型：

• Readable - 可读操作。

• Writable - 可写操作。

• Duplex - 可读可写操作.

• Transform - 操作被写入数据，然后读出结果。

所有的 Stream 对象都是 EventEmitter 的实例。常用的事件有：

• data - 当有数据可读时触发。

• end - 没有更多的数据可读时触发。

• error - 在接收和写入过程中发生错误时触发。

• finish - 所有数据已被写入到底层系统时触发。

stream模块可以通过require引入。

const stream = require('stream')

对象模式

Node.js API创建的流对象都只能操作strings和Buffer对象。但是，通过一些三方可以操作其他类型。这些流称为"对象模式"。

缓冲

Writable 和 Readable 流都会将数据存储到内部的缓冲器（buffer）中。这些缓冲器可以 通过相应的 writable._writableState.getBuffer() 或 readable._readableState.buffer 来获取。

缓冲器的大小取决于传递给流构造函数的 highWaterMark 选项。 对于普通的流， highWaterMark 选项指定了总共的字节数。对于工作在对象模式的流， highWaterMark 指定了对象的总数。

当可读流的实现调用 stream.push(chunk) 方法时，数据被放到缓冲器中。如果流的消费者 没有调用 stream.read() 方法， 这些数据会始终存在于内部队列中，直到被消费。

当内部可读缓冲器的大小达到 highWaterMark 指定的阈值时，流会暂停从底层资源读取数据，直到当前 缓冲器的数据被消费 (也就是说， 流会在内部停止调用 readable._read() 来填充可读缓冲器)。

可写流通过反复调用 writable.write(chunk) 方法将数据放到缓冲器。 当内部可写缓冲器的总大小小于 highWaterMark 指定的阈值时， 调用 writable.write() 将返回true。 一旦内部缓冲器的大小达到或超过 highWaterMark ，调用 writable.write() 将返回 false 。

stream API 的关键目标， 尤其对于 stream.pipe() 方法， 就是限制缓冲器数据大小，以达到可接受的程度。这样，对于读写速度不匹配的源头和目标，就不会超出可用的内存大小。

Duplex 和 Transform 都是可读写的。 在内部，它们都维护了 两个 相互独立的缓冲器用于读和写。 在维持了合理高效的数据流的同时，也使得对于读和写可以独立进行而互不影响。 例如， net.Socket 就是 Duplex 的实例，它的可读端可以消费从套接字（socket）中接收的数据， 可写端则可以将数据写入到套接字。 由于数据写入到套接字中的速度可能比从套接字接收数据的速度快或者慢， 在读写两端使用独立缓冲器，并进行独立操作就显得很重要了。

以上是Stream相关的概念，所有内容都可以在官方文档中找到。下面是代码实现，动手敲代码有助于理解和消化。

可写流（Writable）

// 可写流
var fs = require('fs') // 引入文件系统模块

let data = 'Stream流：可写流代码实例'

// 创建一个可写流，写入到文件output.txt
var writerStream = fs.createWriteStream('output.txt')
// 使用UTF8编码写入数据
writerStream.write(data, 'utf8')

// 标记文件末尾
writerStream.end() 

// 处理流事件 ---> data, end, finish,and error

writerStream.on('finish', () => {
  console.log('写入成功')
})

writerStream.on('error', (err) => {
  console.log('写入失败' + err.stack)
})

console.log('程序执行完毕')

输入结果：
node writeable.js
程序执行完毕
写入成功

output.txt文件内容：
Stream流：可写流代码实例

可读流 （Readable）

var fs = require('fs')
var data = ''
// 创建可读流
var readerStream = fs.createReadStream('input.txt')
// 设置编码为 utf8
readerStream.setEncoding('UTF8')

readerStream.on('data', (chunk) => {
  data += chunk
})

readerStream.on('end', () => {
  console.log('读取到的数据：')
  console.log(data)
})

readerStream.on('error', (err) => {
  console.log(err.stack)
})

console.log('程序执行完毕')

执行结果：
node readable.js
程序执行完毕
读取到的数据：
Stream流：可读流代码示例

以上的示例代码已上传到Github

小结

学习Stream的基本使用，其他内容后续使用到再补充。

参考

• 菜鸟教程Node教程
• 官方文档Stream