java编码转换的详细过程及中文处理相关问题

 

1. 常见的JAVA程序包括以下类别：
2. *直接在console上运行的类(包括可视化界面的类)
3. *JSP代码类（注：JSP是Servlets类的变型）
4. *Servelets类
5. *EJB类
6. *其它不可以直接运行的支持类
9. 这些类文件中，都有可能含有中文字符串，并且常用前三类JAVA程序和用户直接交互，用于输出和输入字符，如：在JSP和Servlet中得到客户端送来的字符，这些字符也包括中文字符。无论这些JAVA类的作用如何，这些JAVA程序的生命周期都是这样的：
11. *编程人员在一定的操作系统上选择一个合适的编辑软件来实现源程序代码并以.java扩展名保存在操作系统中，例如我们在中文win2k中用记事本编辑一个java源程序；
12. *编程人员用JDK中的javac.exe来编译这些源代码，形成.class类(JSP文件是由容器调用JDK来编译的)；
13. *直接运行这些类或将这些类布署到WEB容器中去运行，并输出结果。
14. 那么，在这些过程中，JDK和JVM是如何将这些文件如何编码和解码并运行的呢？
16. 这里，以中文win2k操作系统为例说明JAVA类是如何来编码和被解码的。
18. 第一步，我们在中文win2k中用编辑软件如记事本编写一个Java源程序文件(包括以上五类JAVA程序)，程序文件在保存时默认采用了操作系统默认支持GBK编码格式(操作系统默认支持的格式为file.encoding格式)形成了一个.java文件，也即，java程序在被编译前，我们的JAVA源程序文件是采用操作系统默认支持的file.encoding编码格式保存的， java源程序中含有中文信息字符和英文程序代码；要查看系统的file.encoding参数，可以用以下代码：
19. 　　public class ShowSystemDefaultEncoding {
20. 　　public static void main(String[] args) {
21. 　　String encoding = System.getProperty("file.encoding");
22. 　　System.out.println(encoding);
23. 　　}}
25. 第二步，我们用JDK的javac.exe文件编译我们的Java源程序，由于JDK是国际版的，在编译的时候，如果我们没有用-encoding参数指定我们的JAVA源程序的编码格式，则javac.exe首先获得我们操作系统默认采用的编码格式，也即在编译java程序时，若我们不指定源程序文件的编码格式，JDK首先获得操作系统的file.encoding参数(它保存的就是操作系统默认的编码格式，如WIN2k，它的值为GBK)，然后JDK就把我们的java源程序从file.encoding编码格式转化为JAVA内部默认的UNICODE格式放入内存中。然后，javac把转换后的unicode格式的文件进行编译成.class类文件，此时.class文件是 UNICODE编码的，它暂放在内存中，紧接着，JDK将此以UNICODE编码的编译后的class文件保存到我们的操作系统中形成我们见到的. class文件。对我们来说，我们最终获得的.class文件是内容以UNICODE编码格式保存的类文件，它内部包含我们源程序中的中文字符串，只不过此时它己经由file.encoding格式转化为UNICODE格式了。
27. 这一步中，对于JSP源程序文件是不同的，对于JSP，这个过程是这样的：即WEB容器调用JSP编译器，JSP编译器先查看JSP文件中是否设置有文件编码格式，如果JSP文件中没有设置JSP文件的编码格式，则JSP编译器调用JDK先把JSP文件用JVM默认的字符编码格式(也即WEB容器所在的操作系统的默认的file.encoding)转化为临时的Servlet类，然后再把它编译成UNICODE格式的class类，并保存在临时文件夹中。如：在中文win2k上，WEB容器就把JSP文件从GBK编码格式转化为 UNICODE格式，然后编译成临时保存的Servlet类，以响应用户的请求。
29. 第三步，运行第二步编译出来的类，分为三种情况：
31. A、 直接在console上运行的类
32. B、 EJB类和不可以直接运行的支持类(如JavaBean类)
33. C、 JSP代码和Servlet类
34. D、 JAVA程序和数据库之间
36. 下面分这四种情况来看。
38. A、直接在console上运行的类
40. 这种情况，运行该类首先需要JVM支持，即操作系统中必须安装有JRE。运行过程是这样的：首先java启动JVM，此时JVM读出操作系统中保存的class文件并把内容读入内存中，此时内存中为UNICODE格式的class类，然后 JVM运行它，如果此时此类需要接收用户输入，则类会默认用file.encoding编码格式对用户输入的串进行编码并转化为unicode保存入内存（用户可以设置输入流的编码格式）。程序运行后，产生的字符串（UNICODE编码的）再回交给JVM，最后JRE把此字符串再转化为 file.encoding格式(用户可以设置输出流的编码格式)传递给操作系统显示接口并输出到界面上。
42. 以上每一步的转化都需要正确的编码格式转化，才能最终不出现乱码现象。
44. B、EJB类和不可以直接运行的支持类(如JavaBean类)
46. 由于EJB类和不可以直接运行的支持类，它们一般不与用户直接交互输入和输出，它们常常与其它的类进行交互输入和输出，所以它们在第二步被编译后，就形成了内容是UNICODE编码的类保存在操作系统中了，以后只要它与其它的类之间的交互在参数传递过程中没有丢失，则它就会正确的运行。
48. C、JSP代码和Servlet类
50. 经过第二步后，JSP文件也被转化为Servlets类文件，只不过它不像标准的Servlets一校存在于classes目录中，它存在于WEB容器的临时目录中，故这一步中我们也把它做为Servlets来看。
52. 对于Servlets，客户端请求它时，WEB容器调用它的JVM来运行 Servlet，首先，JVM把Servlet的class类从系统中读出并装入内存中，内存中是以UNICODE编码的Servlet类的代码，然后 JVM在内存中运行该Servlet类，如果Servlet在运行的过程中，需要接受从客户端传来的字符如：表单输入的值和URL中传入的值，此时如果程序中没有设定接受参数时采用的编码格式，则WEB容器会默认采用ISO-8859-1编码格式来接受传入的值并在JVM中转化为UNICODE格式的保存在WEB容器的内存中。Servlet运行后生成输出，输出的字符串是UNICODE格式的，紧接着，容器将Servlet运行产生的UNICODE格式的串（如html语法，用户输出的串等）直接发送到客户端浏览器上并输出给用户，如果此时指定了发送时输出的编码格式，则按指定的编码格式输出到浏览器上，如果没有指定，则默认按ISO-8859-1编码发送到客户的浏览器上。
54. D、Java程序和数据库之间
56. 对于几乎所有数据库的JDBC驱动程序，默认的在JAVA程序和数据库之间传递数据都是以ISO-8859-1为默认编码格式的，所以，我们的程序在向数据库内存储包含中文的数据时，JDBC首先是把程序内部的UNICODE编码格式的数据转化为ISO-8859-1的格式，然后传递到数据库中，在数据库保存数据时，它默认即以ISO-8859-1保存，所以，这是为什么我们常常在数据库中读出的中文数据是乱码。
58. 3、分析常见的JAVA中文问题几个必须清楚的原则
60. 首先，经过上面的详细分析，我们可以清晰地看到，任何JAVA程序的生命期中，其编码转换的关键过程是在于：最初编译成class文件的转码和最终向用户输出的转码过程。
61. 其次，我们必须了解JAVA在编译时支持的、常用的编码格式有以下几种：
62. *ISO-8859-1，8-bit, 同8859_1,ISO-8859-1,ISO_8859_1等编码
63. *Cp1252，美国英语编码，同ANSI标准编码
64. *UTF-8，同unicode编码
65. *GB2312，同gb2312-80,gb2312-1980等编码
66. *GBK , 同MS936，它是gb2312的扩充
67. 及其它的编码，如韩文、日文、繁体中文等。同时，我们要注意这些编码间的兼容关体系如下：
68. unicode和UTF-8编码是一一对应的关系。GB2312可以认为是GBK的子集，即GBK编码是在gb2312上扩展来的。同时，GBK编码包含了20902个汉字，编码范围为：0x8140-0xfefe，所有的字符可以一一对应到UNICODE2.0中来。
70. 再次，对于放在操作系统中的.java源程序文件，在编译时，我们可以指定它内容的编码格式，具体来说用-encoding来指定。注意：如果源程序中含有中文字符，而你用-encoding指定为其它的编码字符，显然是要出错的。用- encoding指定源文件的编码方式为GBK或gb2312，无论我们在什么系统上编译含有中文字符的JAVA源程序都不会有问题，它都会正确地将中文转化为UNICODE存储在class文件中。
72. 然后，我们必须清楚，几乎所有的WEB容器在其内部默认的字符编码格式都是以ISO- 8859-1为默认值的，同时，几乎所有的浏览器在传递参数时都是默认以UTF-8的方式来传递参数的。所以，虽然我们的Java源文件在出入口的地方指定了正确的编码方式，但其在容器内部运行时还是以ISO-8859-1来处理的。
74. 4、中文问题的分类及其建议最优解决办法
76. 了解以上JAVA处理文件的原理之后，我们就可以提出了一套建议最优的解决汉字问题的办法。
77. 我们的目标是：我们在中文系统中编辑的含有中文字符串或进行中文处理的JAVA源程序经编译后可以移值到任何其它的操作系统中正确运行，或拿到其它操作系统中编译后能正确运行，能正确地传递中文和英文参数，能正确地和数据库交流中英文字符串。
78. 我们的具体思路是：在JAVA程序转码的入口和出口及JAVA程序同用户有输入输出转换的地方限制编码方法使之正确即可。
80. 具体解决办法如下：
82. 1、 针对直接在console上运行的类
83. 对于这种情况，我们建议在程序编写时，如果需要从用户端接收用户的可能含有中文的输入或含有中文的输出，程序中应该采用字符流来处理输入和输出，具体来说，应用以下面向字符型节点流类型：
84. 对文件：FileReader，FileWrieter
85. 其字节型节点流类型为：FileInputStream，FileOutputStream
86. 对内存（数组）：CharArrayReader，CharArrayWriter
87. 其字节型节点流类型为：ByteArrayInputStream，ByteArrayOutputStream
88. 对内存（字符串）：StringReader，StringWriter
89. 对管道：PipedReader，PipedWriter
90. 其字节型节点流类型为：PipedInputStream，PipedOutputStream
91. 同时，应该用以下面向字符型处理流来处理输入和输出：
92. BufferedWriter，BufferedReader
93. 其字节型的处理流为：BufferedInputeStream，BufferedOutputStream
94. InputStreamReader，OutputStreamWriter
95. 其字节型的处理流为：DataInputStream，DataOutputStream
96. 其中InputStreamReader和InputStreamWriter用于将字节流按照指定的字符编码集转换到字符流，如：
97. InputStreamReader in = new InputStreamReader(System.in，"GB2312")；
98. OutputStreamWriter out = new OutputStreamWriter (System.out，"GB2312")；
99. 例如：采用如下的示例JAVA编码就达到了要求：
101. //Read.java
102. import java.io.*;
103. public class Read {
104. public static void main(String[] args) throws IOException {
105. String str = "/n中文测试，这是内部硬编码的串"+"/ntest english character";
106. String strin= "";
107. BufferedReader stdin = new BufferedReader(new InputStreamReader(System.in,"gb2312")); //设置输入接口按中文编码
108. BufferedWriter stdout = new BufferedWriter(new OutputStreamWriter(System.out,"gb2312")); //设置输出接口按中文编码
109. stdout.write("请输入:");
110. stdout.flush();
111. strin = stdin.readLine();
112. stdout.write("这是从用户输入的串："+strin);
113. stdout.write(str);
114. stdout.flush();
115. }}
116. 同时，在编译程序时，我们用以下方式来进行：
117. javac -encoding gb2312 Read.java
119. 2、 针对EJB类和不可以直接运行的支持类(如JavaBean类)
121. 由于这种类它们本身被其它的类调用，不直接与用户交互，故对这种类来说，我们的建议的处理方式是内部程序中应该采用字符流来处理程序内部的中文字符串（具体如上面一节中一样），同时，在编译类时用-encoding gb2312参数指示源文件是中文格式编码的即可。
123. 3、 针对Servlet类
125. 针对Servlet，我们建议用以下方法：
127. 在编译Servlet类的源程序时，用-encoding指定编码为GBK或 GB2312，且在向用户输出时的编码部分用response对象的setContentType("text/html;charset=GBK"); 或gb2312来设置输出编码格式，同样在接收用户输入时，我们用request.setCharacterEncoding("GB2312")；这样无论我们的servlet类移植到什么操作系统中，只有客户端的浏览器支持中文显示，就可以正确显示。如下是一个正确的示例：
129. //HelloWorld.java
130. package hello;
131. import java.io.*;
132. import javax.servlet.*;
133. import javax.servlet.http.*;
134. public class HelloWorld extends HttpServlet
135. {
136. public void init() throws ServletException { }
137. public void doGet(HttpServletRequest request, HttpServletResponse response) throws IOException, ServletException
138. {
139. request.setCharacterEncoding("GB2312"); //设置输入编码格式
140. response.setContentType("text/html;charset=GB2312"); //设置输出编码格式
141. PrintWriter out = response.getWriter(); //建议使用PrintWriter输出
142. out.println("Hello World! This is created by Servlet!测试中文!");
143. }
145. public void doPost(HttpServletRequest request, HttpServletResponse response) throws IOException, ServletException
146. {
147. request.setCharacterEncoding("GB2312"); //设置输入编码格式
148. response.setContentType("text/html;charset=GB2312"); //设置输出编码格式
149. String name = request.getParameter("name");
150. String id = request.getParameter("id");
151. if(name==null) name="";
152. if(id==null) id="";
153. PrintWriter out = response.getWriter(); //建议使用PrintWriter输出
154. out.println("你传入的中文字串是：" + name);
155. out.println("你输入的id是：" + id);
156. }
157. public void destroy() { }
158. 请用javac -encoding gb2312 HelloWorld.java来编译此程序。
160.  
162. 4、 JAVA程序和数据库之间
164. 为避免JAVA程序和数据库之间数据传递出现乱码现象，我们建议采用以下最优方法来处理：
165. 1、 对于JAVA程序的处理方法按我们指定的方法处理。
166. 2、 把数据库默认支持的编码格式改为GBK或GB2312的。
168. 如：在mysql中，我们可以在配置文件my.ini中加入以下语句实现：
169. 在[mysqld]区增加：
170. default-character-set=gbk
171. 并增加：
172. [client]
173. default-character-set=gbk
174. 在SQL Server2K中，我们可以将数据库默认的语言设置为Simplified Chinese来达到目的。
176. 5、 针对JSP代码
178. 由于JSP是在运行时，由WEB容器进行动态编译的，如果我们没有指定JSP源文件的编码格式，则JSP编译器会获得服务器操作系统的file.encoding值来对JSP文件编译的，它在移植时最容易出问题，如在中文win2k中可以很好运行的jsp文件拿到英文 linux中就不行，尽管客户端都是一样的，那是因为容器在编译JSP文件时获取的操作系统的编码不同造成的（在中文wink中的 file.encoding和在英文Linux中file.encoding是不同的，且英文Linux的file.encoding对中文不支持，所以编译出来的JSP类就会有问题）。网络上讨论的大多数是此类问题，多是因为JSP文件移植平台时不能正确显示的问题，对于这类问题，我们了解了JAVA中程序编码转换的原理，解决起来就容易多了。我们建议的解决办法如下：
180. 1、我们要保证JSP向客户端输出时是采用中文编码方式输出的，即无论如何我们首先在我们的JSP源代编中加入以下一行：
182. <%@page contentType=”text/html;charset=gb2312″%>
184. 2、为了让JSP能正确获得传入的参数，我们在JSP源文件头加入下面一句：
186. <%request.setCharacterEncoding(”GB2312″);%>
188. 3、为了让JSP编译器能正确地解码我们的含有中文字符的JSP文件，我们需要在JSP源文件中指定我们的JSP源文件的编码格式，具体来说，我们在JSP源文件头上加入下面的一句即可：
189. 或
190. 这是JSP规范2.0新增加的指令。
191. 我们建议使用此方法来解JSP文件中的中文问题，下面的代码是一个正确做法的JSP文件的测试程序：
193. <%@page pageEncoding=”GB2312″%>
194. <%@page contentType=”text/html;
195. charset=gb2312″%>
196. <%request.setCharacterEncoding(”GB2312″);
197. %>
198. <%
199. String action = request.getParameter(”ACTION”);
200. String name = “”;
201. String str = “”;
202. if(action!=null && action.equals(”SENT”))
203. {
204. name = request.getParameter(”name”);
205. str = request.getParameter(”str”);
206. }
207. %>
208. <html>
209. <head>
210. <title></title>
211. <Script language=”JavaScript”>
212. function Submit()
213. {
214. document.base.action =
215. “?ACTION=SENT&str=传入的中文”;
216. document.base.method = “POST”;
217. document.base.submit();
218. }
219. </Script>
220. </head>
221. <body bgcolor=”#FFFFFF”
222. text=”#000000″ topmargin=”5″>
223. <form name=”base” method =
224. “POST” target=”_self”>
225. <input type=”text” name=”name”
226. value=”" size=”30″>
227. <a href = “JavaScript:Submit()”>提交</a>
228. </form>
229. <%
230. if(action!=null && action.equals(”SENT”))
231. {
232. out.println(”<br>你输入的字符为：”+name);
233. out.println(”<br>你通过URL传入的字符为：”+str);
234. }
235. %>
236. </body>
237. </html>