java获取页面编码

文章出自：http://babyjoycry.javaeye.com/blog/587527 在此感谢原作者...\(^o^)/~

 

最近研究抓取网页内容，发现要获取页面的编码格式，Java没有现成的实现方法，虽然csdn上有个达人写了一篇文章，附有代码，可惜，我没有找到相关的包，不得已，只好自己动手丰衣足食了。

 

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.HttpURLConnection;

import java.net.URL;

import java.util.Iterator;

import java.util.List;

import java.util.Map;

import java.util.Set;



import cpdetector.io.CodepageDetectorProxy;

import cpdetector.io.HTMLCodepageDetector;

import cpdetector.io.JChardetFacade;



public class PageEncodeDetector {

    private static CodepageDetectorProxy detector = CodepageDetectorProxy

            .getInstance();



    static {

        detector.add(new HTMLCodepageDetector(false));

        detector.add(JChardetFacade.getInstance());

    }



    /**

     * 测试用例

     * 

     * @param args

     */

    public static void main(String[] args) {

        PageEncodeDetector web = new PageEncodeDetector();

        try {

            System.out.println(web.getCharset("http://www.baidu.com/"));

        } catch (IOException e) {

            // TODO Auto-generated catch block

            e.printStackTrace();

        }

    }



    /**

     * @param strurl

     *            页面url地址,需要以 http://开始，例：http://www.pujia.com

     * @return

     * @throws IOException

     */

    public String getCharset(String strurl) throws IOException {

        // 定义URL对象

        URL url = new URL(strurl);

        // 获取http连接对象

        HttpURLConnection urlConnection = (HttpURLConnection) url

                .openConnection();

        ;

        urlConnection.connect();

        // 网页编码

        String strencoding = null;



        /**

         * 首先根据header信息，判断页面编码

         */

        // map存放的是header信息(url页面的头信息)

        Map<String, List<String>> map = urlConnection.getHeaderFields();

        Set<String> keys = map.keySet();

        Iterator<String> iterator = keys.iterator();



        // 遍历,查找字符编码

        String key = null;

        String tmp = null;

        while (iterator.hasNext()) {

            key = iterator.next();

            tmp = map.get(key).toString().toLowerCase();

            // 获取content-type charset

            if (key != null && key.equals("Content-Type")) {

                int m = tmp.indexOf("charset=");

                if (m != -1) {

                    strencoding = tmp.substring(m + 8).replace("]", "");

                    return strencoding;

                }

            }

        }



        /**

         * 通过解析meta得到网页编码

         */

        // 获取网页源码(英文字符和数字不会乱码，所以可以得到正确<meta/>区域)

        StringBuffer sb = new StringBuffer();

        String line;

        try {

            BufferedReader in = new BufferedReader(new InputStreamReader(

                    url.openStream()));

            while ((line = in.readLine()) != null) {

                sb.append(line);

            }

            in.close();

        } catch (Exception e) { // Report any errors that arise

            System.err.println(e);

            System.err

                    .println("Usage:     java     HttpClient     <URL>     [<filename>]");

        }

        String htmlcode = sb.toString();

        // 解析html源码，取出<meta />区域，并取出charset

        String strbegin = "<meta";

        String strend = ">";

        String strtmp;

        int begin = htmlcode.indexOf(strbegin);

        int end = -1;

        int inttmp;

        while (begin > -1) {

            end = htmlcode.substring(begin).indexOf(strend);

            if (begin > -1 && end > -1) {

                strtmp = htmlcode.substring(begin, begin + end).toLowerCase();

                inttmp = strtmp.indexOf("charset");

                if (inttmp > -1) {

                    strencoding = strtmp.substring(inttmp + 7, end)

                            .replace("=", "").replace("/", "")

                            .replace("\"", "").replace("\'", "")

                            .replace(" ", "");

                    return strencoding;

                }

            }

            htmlcode = htmlcode.substring(begin);

            begin = htmlcode.indexOf(strbegin);

        }



        /**

         * 分析字节得到网页编码

         */

        strencoding = getFileEncoding(url);



        // 设置默认网页字符编码

        if (strencoding == null) {

            strencoding = "GBK";

        }



        return strencoding;

    }



    /**

     * 

     * <br>

     * 方法说明：通过网页内容识别网页编码

     * 

     * <br>

     * 输入参数：strUrl 网页链接; timeout 超时设置

     * 

     * <br>

     * 返回类型：网页编码

     */

    public static String getFileEncoding(URL url) {



        java.nio.charset.Charset charset = null;

        try {

            charset = detector.detectCodepage(url);

        } catch (Exception e) {

            System.out.println(e.getClass() + "分析" + "编码失败");

        }

        if (charset != null)

            return charset.name();

        return null;



    }



}

 

 

需要下载cpdetector_1.0.5.jar 和 chardet.jar