Node.js String Decoder

String Decoder

Stability: 2 - Stable 稳定

String Decoder 的用途

String Decode 主要是弥补 Buffer 模块的缺陷，因为 Buffer 有的时候无法正确显示多字节的字符串，比如说 utf8，请看下面的例子：

const buf = Buffer.from(
  '尘世是不会轻易让一个人孤独的，群居需要一种平衡，嫉妒引发的诽谤，羞辱，打击和迫害。' +
  '你若不再脱颖，你将平凡，你若继续走，终于使众生无法超越了，众生便尊你为神圣，神圣才是真正的孤独。')
let str = ''

// buf 变量每10字节读取一次，保存到 str
for(let i=0,l=buf.length;i

运行这段代码我们发现，会有乱码，有的同学会说，你直接使用下面的代码不就没有乱码了吗：

console.log(buf.toString()) // buf 变量不做任何操作

但是实际生产中，并不是所有的情况都如我们所愿，比如我们读取一个特别大的文本的时候，我们不可能只用一个变量 buf 就可以接收文件的全部数据（因为可能会超出 Buffer 实例的最大长度，而且只用一个变量存储太多的数据效率可能也不是很高），这个时候我们就需要多次读取数据，每次读取文件数据的一部分，如上面的代码所示

解决问题

那么 String Decoder 是如何解决这个问题呢，我们把代码改造一下：

const StringDecoder = require('string_decoder').StringDecoder;
const decoder = new StringDecoder('utf8');

const buf = Buffer.from(
  '尘世是不会轻易让一个人孤独的，群居需要一种平衡，嫉妒引发的诽谤，羞辱，打击和迫害。' +
  '你若不再脱颖，你将平凡，你若继续走，终于使众生无法超越了，众生便尊你为神圣，神圣才是真正的孤独。')
let str = ''

for(let i=0,l=buf.length;i

这样就没有乱码了，但是为什么呢？

探究原理

请看下面的代码：

const StringDecoder = require('string_decoder').StringDecoder;
const decoder = new StringDecoder('utf8');

//  utf8 三个字节表示'我'
console.log(decoder.write(Buffer.alloc(1, 0xe6)) // 返回空字符串
console.log(decoder.write(Buffer.alloc(1, 0x88)) // 返回空字符串
console.log(decoder.write(Buffer.alloc(1, 0x91)) // 返回'我'

通过代码我们可知，“我”是由三个字节组成的，我们把存有 0xe6，0x88，0x91 的 Buffer 依次调用 decoder.write。当写入 0xe6 时，decoder 判断它不是一个有效的字符，所以返回空字符串，但是decoder内部有一个缓存，把 0xe6 存了起来；当写入 0x88 时，这个时候缓存是 ，但 decoder 判断它也不是一个有效的字符，所以同样返回空字符串，最后写入 0x91 时，这个时候缓存是 ，它是有效字符，所以返回“我”

string decoder原理

String Decoder 还有一个 API 是 decoder.end()，功能跟 decoder.write() 差不多，有兴趣的朋友可以阅读官方文档去了解具体内容。

• Node.js String Decoder 官方文档。
• Node.js 文档版本为： v6.11.3

作者 小菜荔枝原创 转载请联系作者获得授权