浅谈Java的编码问题

前言

因为最近在做安全的问题各种加密算法最后得出来的都是byte[ ],存储在本地则是char。因为之前不是很熟悉编码格式在Base64 UTF-8等等编码格式之间搞得昏头转向，所以花点时间巩固下编码基础，阅读本文需要懂点基本的计算机知识,如果对二进制十进制十六进制，字符字节 bit byte char 等等不是很熟悉，可以先搜下相关的知识。

为什么要编码

作为计算机的基本的存储单元—byte，人类使用的是文字语言，文字转化为计算机存储一定要经过一定的编码，计算机才识别并存储。然而人类的语言种类有很多，所以有产生了很多的编码格式

编码的原因总结如下：

计算机的最小存储单位为一个字节即8bit，能表示的字符范围是0-255
人类要表示的字符太多，无法用一个字节表示
我们需要一个新的数据结构char ，从char到byte 必须编码

如何翻译

计算机提供了一些常见的编码格式， ASCII ISO-8859-1 GB2312 GBK UTF-8 UTF-16等。。。他们都可以看做字典，规定了转化的规则。

ASCII 一共有128个，用一个字节的低7为表示，0-31是控制字符如转行回车删除等等，32-126是打印字符，是可以通过键盘输入并显示出来的。
ISO-8859-1 覆盖了大多数西欧语言的字符，是所有应用的最广泛早起volley中的中文编码问题就是因为默认的编码格式为iso-8859-1，仍为单字节编码，它总共能表示256个字符。
GB2312 是双字节编码，总的编码范围是A1-F7 A1-A9是符号区总共包括682个符号，B0 - F7是汉字区，包含6763个汉字
UTF-16 UTF必须提高Unicode(Universal Code 统一码) ISO 试图通过创建一个全新的超语言字典，Unicode是java和XML的基础， UTF-16定义了Unicode在计算机种存取方法，使用两个字节来表示Unicode转化格式，在字符串操作时非常简化，JAVA以UTF-16作为内存的字符存储格式。
UTF-8 UTF-16采用定长的两个字节表示一个字符，虽然在表示中非常的方便但是在存储空间中因为很大一部分字符用一个字节就可以表示但是现在需要用两个字节，这样会增大网络传输的流量，UTF-8采用变长技术

UTF-8 编码规则：
1. 如果一个字节最高位为0，则表示这是一个ASCII（00-7F）字符。
2. 如果一个字姐，以11开头，连续的1的个数暗示这个字符的字节数，例如110xxxxxx代表它是双字节UTF-8的首字节
3. 如果一个字节，以10开始，表示它不是首字节，需要向前查找才能找到当前字符的首字节。

Java中需要编码的场景

一般涉及编码的地方都需要字符到字节或者字节到字符的转换中，需要这种场景通常为IO的时候，这个IO包括磁盘IO和网络IO。

Reader类是Java的IO读取字符的父类， InputStream类是读字节的父类，InputStreamReader则是关联字节到字符的桥梁，负责IO过程处理字节到字符的转换，具体字节到字符的解码实现是由StreamDecoder来实现， StreamDecoder解码必须由用户指定Charset编码格式，如果没有指定则默认使用本地环境的默认字符集。

写的情况也是类似，字符的父类是Writer，字节的父类是OutputStream，通过OutPutStreamWriter转化字符到字节。

内存中的操作编码

最常用的应该就是在内存中进行字符到字节的数据类型的转换，Java 中用 String 表示字符串，所以 String 类就提供转换到字节的方法，也支持将字节转换为字符串的构造函数

String s = "这是一段中文";
byte[] b = s.getBytes("UTF-8");
String n = new String(b, "UTF-8");

编码格式的比较

GB2312 与 GBK 编码规则类似，但是 GBK 范围更大，它能处理所有汉字字符，所以 GB2312 与 GBK 比较应该选择 GBK。UTF-16 与 UTF-8 都是处理 Unicode 编码，它们的编码规则不太相同，相对来说 UTF-16 编码效率最高，字符到字节相互转换更简单，进行字符串操作也更好。它适合在本地磁盘和内存之间使用，可以进行字符和字节之间快速切换，如 Java 的内存编码就是采用 UTF-16 编码。但是它不适合在网络之间传输，因为网络传输容易损坏字节流，一旦字节流损坏将很难恢复，想比较而言UTF-8 更适合网络传输，对 ASCII 字符采用单字节存储，另外单个字符损坏也不会影响后面其它字符，在编码效率上介于 GBK 和 UTF-16 之间，所以 UTF-8 在编码效率上和编码安全性上做了平衡，是理想的中文编码方式。