nodejs文件读取中文乱码问题

参考自《深入浅出nodejs》

Buffer对象类似于数组，元素为16进制的两位数，0-255的数值 是二进制，与字符串有编码的关系

Buffer对象可以与字符串之间相互转换，目前支持：ASCII，UTF-8，UTF-16LE/UCS-2，Base64，Binary，Hex

转为buffer： new Buffer(str,[encoding])

转为字符串：buf.toString([encoding],[start],[end])

乱码发生在buffer的拼接

var fs=require('fs');
var rs=fs.createReadStream('test.md');
var data='';
rs.on('data',function(trunk){
    data+=trunk;
})
rs.on('end',function(){
    console.log(data);
})

其实data+=trunk 相当于 data=data.toString()+trunk.toString();

解决方法一：

可读流设置编码readable.setEncoding(encoding);

var rs=fs.createReadStream('test.md');
rs.setEncoding('utf8');

解决方法二：

把多个小buffer拼接成一个大Buffer

var chunks=[];
var size=0;
res.on('data',function(chunk){
    chunks.push(chunk);
    size+=chunk.length;
});
res.on('end',function(){
    var buf=Buffer.concat(chunks,size);
    var str=iconv.decode(buf,'utf8');
    console.log(str);
});

使用Buffer进行文件读取和网络传输，性能比直接纯字符串将近快一倍