httpclient 获取到网页内容自动判断内容编码

原文： http://dh189.iteye.com/blog/732111 
在“导航189”网站中编写爬虫程序中使用的httpclient 来获取网页内容，但是在获取网页内容时有编码的问题，这里介绍的一个方法是使用EntityUtils中的toString来返回网页的内容，原理是这样的，在请求的返回header中获取编码，如果没有找到返回的编码就使用默认编码来返回，代码实现如下： 

Java代码   

1. /** 
2.      * 处理GET请求，返回整个页面 
3.      *  
4.      * @param url 访问地址 
5.      * @param params 编码参数 
6.      * @return 
7.      * @throws Exception 
8.      * @throws Exception 
9.      */  
10.     public synchronized String doGet(String url, String... params) throws Exception {  
11.         DefaultHttpClient httpclient = new DefaultHttpClient();  
12.         HttpProtocolParams.setUserAgent(httpclient.getParams(),  
13.                 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
14.         String charset = "UTF-8";  
15.         if (null != params && params.length >= 1) {  
16.             charset = params[0];  
17.         }  
18.         HttpGet httpget = new HttpGet();  
19.         String content = "";  
20.         httpget.setURI(new java.net.URI(url));  
21.         HttpResponse response = httpclient.execute(httpget);  
22.         HttpEntity entity = response.getEntity();  
23.         if (entity != null) {  
24.             //使用EntityUtils的toString方法，传递默认编码，在EntityUtils中的默认编码是ISO-8859-1  
25.             content = EntityUtils.toString(entity, charset);  
26.             httpget.abort();  
27.             httpclient.getConnectionManager().shutdown();  
28.         }  
29.         return content;  
30.     }  

调用如下： 

Java代码   

1. //导航189的网站返回编码是GBK,所以传递和不传递编码都能返回正确的数据  
2.   doGet("http://www.dh189.com/", "GBK");  
3.  doGet("http://www.dh189.com/");  
4.  //民生银行的网站在请求后并没有返回编码，所以要设置编码，不设置则是乱码  
5.   doGet("http://www.cmbc.com.cn/");  
6.   doGet("http://www.cmbc.com.cn/","GBK");  

EntityUtils 内部实现是这样的： 

Java代码   

1. /** 
2.      * Get the entity content as a String, using the provided default character set 
3.      * if none is found in the entity.  
4.      * If defaultCharset is null, the default "ISO-8859-1" is used. 
5.      *  
6.      * @param entity must not be null 
7.      * @param defaultCharset character set to be applied if none found in the entity 
8.      * @return the entity content as a String 
9.      * @throws ParseException if header elements cannot be parsed 
10.      * @throws IllegalArgumentException if entity is null or if content length > Integer.MAX_VALUE 
11.      * @throws IOException if an error occurs reading the input stream 
12.      */  
13.     public static String toString(  
14.             final HttpEntity entity, final String defaultCharset) throws IOException, ParseException {  
15.         if (entity == null) {  
16.             throw new IllegalArgumentException("HTTP entity may not be null");  
17.         }  
18.         InputStream instream = entity.getContent();  
19.         if (instream == null) {  
20.             return "";  
21.         }  
22.         if (entity.getContentLength() > Integer.MAX_VALUE) {  
23.             throw new IllegalArgumentException("HTTP entity too large to be buffered in memory");  
24.         }  
25.         int i = (int)entity.getContentLength();  
26.         if (i < 0) {  
27.             i = 4096;  
28.         }  
29.         //获取请求中的编码  
30.         String charset = getContentCharSet(entity);  
31.         //若没返回编码则使用传递的编码  
32.         if (charset == null) {  
33.             charset = defaultCharset;  
34.         }  
35.         if (charset == null) {  
36.             charset = HTTP.DEFAULT_CONTENT_CHARSET;  
37.         }  
38.         Reader reader = new InputStreamReader(instream, charset);  
39.         CharArrayBuffer buffer = new CharArrayBuffer(i);   
40.         try {  
41.             char[] tmp = new char[1024];  
42.             int l;  
43.             while((l = reader.read(tmp)) != -1) {  
44.                 buffer.append(tmp, 0, l);  
45.             }  
46.         } finally {  
47.             reader.close();  
48.         }  
49.         return buffer.toString();  
50.     }  

EntityUtils 中获取编码的方法如下： 

Java代码   

1. /** 
2.      * Obtains character set of the entity, if known. 
3.      *  
4.      * @param entity must not be null 
5.      * @return the character set, or null if not found 
6.      * @throws ParseException if header elements cannot be parsed 
7.      * @throws IllegalArgumentException if entity is null 
8.      */  
9.     public static String getContentCharSet(final HttpEntity entity)  
10.         throws ParseException {  
11.   
12.         if (entity == null) {  
13.             throw new IllegalArgumentException("HTTP entity may not be null");  
14.         }  
15.         String charset = null;  
16.         if (entity.getContentType() != null) {   
17.             HeaderElement values[] = entity.getContentType().getElements();  
18.             if (values.length > 0) {  
19.                 NameValuePair param = values[0].getParameterByName("charset");  
20.                 if (param != null) {  
21.                     charset = param.getValue();  
22.                 }  
23.             }  
24.         }  
25.         return charset;  
26.     }