字符集编码的自动识别jchardet

什么是jchardet?

jchardet是mozilla自动字符集探测算法代码的java移植,其源代码可以从sourceforge下载。这个算法的最初作者是 frank Tang,C++源代码在http://www.infomall.cn/cgi-bin/mallgate/20040514/http: //lxr.mozilla.org/mozilla/source/intl/chardet/，可以从http://www.infomall.cn /cgi-bin/mallgate/20040514/http://www.mozilla.org/projects/intl /chardet.html得到更多关于这个算法的信息。

编译及应用

　　将下载后的chardet.zip解压缩后，到~/mozilla/intl/chardet/java/目录下，运行ant即可在dist/lib目录下生成chardet.jar，将这个jar包加入CLASSPATH.然后
运行：java org.mozilla.intl.chardet.HtmlCharsetDetector http://hedong.3322.org
结果：CHARSET = GB18030
运行：java org.mozilla.intl.chardet.HtmlCharsetDetector http://www.wesnapcity.com/
结果：CHARSET = ASCII
运行：java org.mozilla.intl.chardet.HtmlCharsetDetector http://www.wesnapcity.com/blog/
结果：CHARSET = UTF-8


编程使用

　　下面就jchardet.jar中的HtmlCharsetDetector.java,对调用jchardet过程予以说明：

 //实现nsICharsetDetectionObserver接口，这个接口只有一个Notify()方法.当jchardet引擎自己认为已经识别出字符串的字符集后(不论识别的对错)，都会调用这个Notify方法。
 nsICharsetDetectionObserver cdo=new  nsICharsetDetectionObserver() {
   public   void  Notify(String charset) {
    HtmlCharsetDetector.found = true  ;
    System.out.println("CHARSET = "  + charset);
   }
 };
 /**
 * 初始化nsDetector()
 *lang为一个整数，用以提示语言线索，可以提供的语言线索有以下几个：
 *
 Japanese
 Chinese
 Simplified Chinese
 Traditional Chinese
 Korean
 Dont know (默认)

 */
 nsDetector det = new  nsDetector(lang) ;
 // 设置一个Oberver
 det.Init(cdo);
 BufferedInputStream imp = new  BufferedInputStream(url.openStream());
 byte [] buf =  new   byte [ 1024 ] ;
 boolean  done =  false  ;   //是否已经确定某种字符集
 boolean  isAscii =  true  ; //假定当前的串是ASCII编码
 while ( (len=imp.read(buf, 0 ,buf.length)) != - 1 ) {
   // 检查是不是全是ascii字符，当有一个字符不是ASC编码时，则所有的数据即不是ASCII编码了。
   if  (isAscii) isAscii = det.isAscii(buf,len);
   // 如果不是ascii字符，则调用DoIt方法.
   if  (!isAscii && !done) done = det.DoIt(buf,len,  false ); //如果不是ASCII，又还没确定编码集，则继续检测。
 }
 det.DataEnd();//最后要调用此方法，此时，Notify被调用。
 if  (isAscii) {
 System.out.println("CHARSET = ASCII" );
 found = true  ;
 }
 if  (!found) { //如果没找到，则找到最可能的那些字符集
 String prob[] = det.getProbableCharsets() ;
 for ( int  i= 0 ; i   System.out.println( "Probable Charset = "  + prob[i]);
 }
 }

//实现nsICharsetDetectionObserver接口，这个接口只有一个Notify()方法.当jchardet引擎自己认为已经识别出字符串的字符集后(不论识别的对错)，都会调用这个Notify方法。
nsICharsetDetectionObserver cdo=new nsICharsetDetectionObserver() {
  public void Notify(String charset) {
   HtmlCharsetDetector.found = true ;
   System.out.println("CHARSET = " + charset);
  }
};
/**
* 初始化nsDetector()
*lang为一个整数，用以提示语言线索，可以提供的语言线索有以下几个： 
* 
Japanese 
Chinese 
Simplified Chinese 
Traditional Chinese 
Korean 
Dont know (默认) 

*/
nsDetector det = new nsDetector(lang) ;
// 设置一个Oberver
det.Init(cdo);
BufferedInputStream imp = new BufferedInputStream(url.openStream());
byte[] buf = new byte[1024] ;
boolean done = false ;  //是否已经确定某种字符集
boolean isAscii = true ;//假定当前的串是ASCII编码
while( (len=imp.read(buf,0,buf.length)) != -1) {
  // 检查是不是全是ascii字符，当有一个字符不是ASC编码时，则所有的数据即不是ASCII编码了。
  if (isAscii) isAscii = det.isAscii(buf,len);
  // 如果不是ascii字符，则调用DoIt方法.
  if (!isAscii && !done) done = det.DoIt(buf,len, false);//如果不是ASCII，又还没确定编码集，则继续检测。
}
det.DataEnd();//最后要调用此方法，此时，Notify被调用。
if (isAscii) {
System.out.println("CHARSET = ASCII");
found = true ;
}
if (!found) {//如果没找到，则找到最可能的那些字符集
String prob[] = det.getProbableCharsets() ;
for(int i=0; i   System.out.println("Probable Charset = " + prob[i]);
}
}

使用方法如下

 //使用 jchardet 获得文件编码 -javacode
 //当含中文的文件用ANSI编码保存时，检测还是出错。

 package  org.mozilla.intl.chardet;

 import  java.io.BufferedInputStream;
 import  java.io.File;
 import  java.io.FileInputStream;
 import  java.io.FileNotFoundException;
 import  java.io.IOException;

 /**
 * 借助JCharDet获取文件字符集
 * @author icer
 * PS:
 * JCharDet 是mozilla自动字符集探测算法代码的java移植，其官方主页为：
 *      http://jchardet.sourceforge.net/
 * @date 2008/11/13
 */
 public   class  FileCharsetDetector {

 private   boolean  found =  false ;

 /**
 * 如果完全匹配某个字符集检测算法, 则该属性保存该字符集的名称. 否则(如二进制文件)其值就为默认值 null, 这时应当查询属性
 */
 private  String encoding =  null ;

 public   static   void  main(String[] argv)  throws  Exception {
    if  (argv.length !=  1  && argv.length !=  2 ) {

     System.out
       .println("Usage: FileCharsetDetector <path> [<languageHint>]" );

     System.out.println("" );
     System.out.println("Where <path> is d:/demo.txt" );
     System.out.println("For optional <languageHint>. Use following..." );
     System.out.println("   1 => Japanese" );
     System.out.println("   2 => Chinese" );
     System.out.println("   3 => Simplified Chinese" );
     System.out.println("   4 => Traditional Chinese" );
     System.out.println("   5 => Korean" );
     System.out.println("   6 => Dont know (default)" );

     return ;
    } else  {
     String encoding = null ;
     if  (argv.length ==  2 ) {
      encoding = new  FileCharsetDetector().guestFileEncoding(argv[ 0 ],
        Integer.valueOf(argv[1 ]));
     } else  {
      encoding = new  FileCharsetDetector().guestFileEncoding(argv[ 0 ]);
     }
     System.out.println("文件编码:"  + encoding);
    }
 }

 /**
 * 传入一个文件(File)对象，检查文件编码
 *
 * @param file
 *            File对象实例
 * @return 文件编码，若无，则返回null
 * @throws FileNotFoundException
 * @throws IOException
 */
 public  String guestFileEncoding(File file)  throws  FileNotFoundException,
     IOException {
    return  geestFileEncoding(file,  new  nsDetector());
 }

 /**
 * 获取文件的编码
 *
 * @param file
 *            File对象实例
 * @param languageHint
 *            语言提示区域代码 eg：1 : Japanese; 2 : Chinese; 3 : Simplified Chinese;
 *            4 : Traditional Chinese; 5 : Korean; 6 : Dont know (default)
 * @return 文件编码，eg：UTF-8,GBK,GB2312形式，若无，则返回null
 * @throws FileNotFoundException
 * @throws IOException
 */
 public  String guestFileEncoding(File file,  int  languageHint)
     throws  FileNotFoundException, IOException {
    return  geestFileEncoding(file,  new  nsDetector(languageHint));
 }

 /**
 * 获取文件的编码
 *
 * @param path
 *            文件路径
 * @return 文件编码，eg：UTF-8,GBK,GB2312形式，若无，则返回null
 * @throws FileNotFoundException
 * @throws IOException
 */
 public  String guestFileEncoding(String path)  throws  FileNotFoundException,
     IOException {
    return  guestFileEncoding( new  File(path));
 }

 /**
 * 获取文件的编码
 *
 * @param path
 *            文件路径
 * @param languageHint
 *            语言提示区域代码 eg：1 : Japanese; 2 : Chinese; 3 : Simplified Chinese;
 *            4 : Traditional Chinese; 5 : Korean; 6 : Dont know (default)
 * @return
 * @throws FileNotFoundException
 * @throws IOException
 */
 public  String guestFileEncoding(String path,  int  languageHint)
     throws  FileNotFoundException, IOException {
    return  guestFileEncoding( new  File(path), languageHint);
 }

 /**
 * 获取文件的编码
 *
 * @param file
 * @param det
 * @return
 * @throws FileNotFoundException
 * @throws IOException
 */
 private  String geestFileEncoding(File file, nsDetector det)
     throws  FileNotFoundException, IOException {
    // Set an observer...
    // The Notify() will be called when a matching charset is found.
    det.Init(new  nsICharsetDetectionObserver() {
     public   void  Notify(String charset) {
      found = true ;
      encoding = charset;
     }
    });

    BufferedInputStream imp = new  BufferedInputStream( new  FileInputStream(
      file));

    byte [] buf =  new   byte [ 1024 ];
    int  len;
    boolean  done =  false ;
    boolean  isAscii =  true ;

    while  ((len = imp.read(buf,  0 , buf.length)) != - 1 ) {
     // Check if the stream is only ascii.
     if  (isAscii)
      isAscii = det.isAscii(buf, len);

     // DoIt if non-ascii and not done yet.
     if  (!isAscii && !done)
      done = det.DoIt(buf, len, false );
    }
    det.DataEnd();

    if  (isAscii) {
     encoding = "ASCII" ;
     found = true ;
    }

    if  (!found) {
     String prob[] = det.getProbableCharsets();
     if  (prob.length >  0 ) {
      // 在没有发现情况下，则取第一个可能的编码
      encoding = prob[0 ];
     } else  {
      return   null ;
     }
    }
    return  encoding;
 }
 }

//使用 jchardet 获得文件编码 -javacode
//当含中文的文件用ANSI编码保存时，检测还是出错。

package org.mozilla.intl.chardet;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;

/**
* 借助JCharDet获取文件字符集
* @author icer
* PS:
* JCharDet 是mozilla自动字符集探测算法代码的java移植，其官方主页为：
*      http://jchardet.sourceforge.net/
* @date 2008/11/13 
*/
public class FileCharsetDetector {

private boolean found = false;

/**
* 如果完全匹配某个字符集检测算法, 则该属性保存该字符集的名称. 否则(如二进制文件)其值就为默认值 null, 这时应当查询属性 
*/
private String encoding = null;

public static void main(String[] argv) throws Exception {
   if (argv.length != 1 && argv.length != 2) {

    System.out
      .println("Usage: FileCharsetDetector <path> [<languageHint>]");

    System.out.println("");
    System.out.println("Where <path> is d:/demo.txt");
    System.out.println("For optional <languageHint>. Use following...");
    System.out.println("   1 => Japanese");
    System.out.println("   2 => Chinese");
    System.out.println("   3 => Simplified Chinese");
    System.out.println("   4 => Traditional Chinese");
    System.out.println("   5 => Korean");
    System.out.println("   6 => Dont know (default)");

    return;
   } else {
    String encoding = null;
    if (argv.length == 2) {
     encoding = new FileCharsetDetector().guestFileEncoding(argv[0],
       Integer.valueOf(argv[1]));
    } else {
     encoding = new FileCharsetDetector().guestFileEncoding(argv[0]);
    }
    System.out.println("文件编码:" + encoding);
   }
}

/**
* 传入一个文件(File)对象，检查文件编码
* 
* @param file
*            File对象实例
* @return 文件编码，若无，则返回null
* @throws FileNotFoundException
* @throws IOException
*/
public String guestFileEncoding(File file) throws FileNotFoundException,
    IOException {
   return geestFileEncoding(file, new nsDetector());
}

/**
* 获取文件的编码
* 
* @param file
*            File对象实例
* @param languageHint
*            语言提示区域代码 eg：1 : Japanese; 2 : Chinese; 3 : Simplified Chinese;
*            4 : Traditional Chinese; 5 : Korean; 6 : Dont know (default)
* @return 文件编码，eg：UTF-8,GBK,GB2312形式，若无，则返回null
* @throws FileNotFoundException
* @throws IOException
*/
public String guestFileEncoding(File file, int languageHint)
    throws FileNotFoundException, IOException {
   return geestFileEncoding(file, new nsDetector(languageHint));
}

/**
* 获取文件的编码
* 
* @param path
*            文件路径
* @return 文件编码，eg：UTF-8,GBK,GB2312形式，若无，则返回null
* @throws FileNotFoundException
* @throws IOException
*/
public String guestFileEncoding(String path) throws FileNotFoundException,
    IOException {
   return guestFileEncoding(new File(path));
}

/**
* 获取文件的编码
* 
* @param path
*            文件路径
* @param languageHint
*            语言提示区域代码 eg：1 : Japanese; 2 : Chinese; 3 : Simplified Chinese;
*            4 : Traditional Chinese; 5 : Korean; 6 : Dont know (default)
* @return
* @throws FileNotFoundException
* @throws IOException
*/
public String guestFileEncoding(String path, int languageHint)
    throws FileNotFoundException, IOException {
   return guestFileEncoding(new File(path), languageHint);
}

/**
* 获取文件的编码
* 
* @param file
* @param det
* @return
* @throws FileNotFoundException
* @throws IOException
*/
private String geestFileEncoding(File file, nsDetector det)
    throws FileNotFoundException, IOException {
   // Set an observer...
   // The Notify() will be called when a matching charset is found.
   det.Init(new nsICharsetDetectionObserver() {
    public void Notify(String charset) {
     found = true;
     encoding = charset;
    }
   });

   BufferedInputStream imp = new BufferedInputStream(new FileInputStream(
     file));

   byte[] buf = new byte[1024];
   int len;
   boolean done = false;
   boolean isAscii = true;

   while ((len = imp.read(buf, 0, buf.length)) != -1) {
    // Check if the stream is only ascii.
    if (isAscii)
     isAscii = det.isAscii(buf, len);

    // DoIt if non-ascii and not done yet.
    if (!isAscii && !done)
     done = det.DoIt(buf, len, false);
   }
   det.DataEnd();

   if (isAscii) {
    encoding = "ASCII";
    found = true;
   }

   if (!found) {
    String prob[] = det.getProbableCharsets();
    if (prob.length > 0) {
     // 在没有发现情况下，则取第一个可能的编码
     encoding = prob[0];
    } else {
     return null;
    }
   }
   return encoding;
}
}