NIO 字符集编解码

• ASCII（American Standard Code For Information Interchange，美国信息交换标准代码）

7bit表示一个字符，共计可以表示128种字符

• ISO-8859-1

8个bit表示一个字符，即用一个字节来表示一个字符，共计可以表示256个字符

• GB2312（国家标准）

使用2个字节表示一个汉字，可以表示常见的中文汉字

• GBK（国标的一种扩展，是对GB2312的延伸，可以表示生僻字）

• GB18030 （最完整的汉字的表示形式）

• Big5 针对繁体中文的表示形式（台湾的编码形式）

• Unicode 统一采用两个字节表示一个字符（2^16），统一全球的所有字符，是一种编码方式，是一种概念或者标准不是具体的存储方式

新的问题是文件存储的容量问题！！！，导致文件的膨胀，比如纯英文的文件存储会扩大2倍

---

• UTF-8 Unicode Translation Format Unicode转换格式，是Unicode编码标准的存储方式，是Unicode的一种实现方式之一

变长的字节表示形式，不同字符使用的存储格式不同的，通常会用3个字节表示一个中文，最多使用4个字节表示一个字符，既然是Unicode的标准实现之一，为什么会使用4个字节？？？

注意的是unicode一个中文字符占2个字节，而UTF-8一个中文字符占3个字节）。从unicode到utf-8并不是直接的对应，而是要过一些算法和规则来转换。

BOM（Byte Order Mark），LE、BE就是BOM的体现，是Windows遗留的问题

• UTF16-LE（little ending）、UTF16-BE（big ending）
  在文件的开始处，使用
  Zero Width No-Break Space 0宽度不存在的字符，0xFEFF 表示BE（FF>FE），0xFFFE表示LE（FE

---

package com.compass.code;

import java.io.File;
import java.io.FileNotFoundException;
import java.io.RandomAccessFile;
import java.nio.ByteBuffer;
import java.nio.CharBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.channels.FileChannel.MapMode;
import java.nio.charset.Charset;
import java.nio.charset.CharsetDecoder;
import java.nio.charset.CharsetEncoder;

/**
 * 編解碼
 */
public class DecodeAndEncode {

  public static void main(String[] args) throws Exception {

    RandomAccessFile inputRandomAccessFile=new RandomAccessFile("inputf.txt","r");
    RandomAccessFile outputRandomAccessFile=new RandomAccessFile("outputf.txt","rw");

    long length=new File("inputf.txt").length();
    FileChannel inputChannel=inputRandomAccessFile.getChannel();
    FileChannel outputChannel=outputRandomAccessFile.getChannel();
    MappedByteBuffer inputData=inputChannel.map(MapMode.READ_ONLY,0,length);//UTF:AC CC DD

    Charset charSet= Charset.forName("utf-8");
    CharsetDecoder charsetDecoder = charSet.newDecoder();
    CharsetEncoder charsetEncoder = charSet.newEncoder();
    //解碼
    CharBuffer charBuffer=charsetDecoder.decode(inputData);//你
    //編碼

    ByteBuffer outputData=charsetEncoder.encode(charBuffer);
//    解碼后的字節和初始字節不一致情況
//    ByteBuffer outputData= Charset.forName("gbk").encode(charBuffer);//->BC AB FE
    outputChannel.write(outputData);
    inputRandomAccessFile.close();
    outputRandomAccessFile.close();
  }

}

编解码

如果编解码使用的字典不一致就会导致乱码，但是针对GB2312的编码，采用GBK解码的话数据是一致的因为向下兼容