判断文件编码是否为UTF-8收藏
这里研究一下如何来判断文件的编码是否是UTF-8,关于这个问题网络上一般采用的是判断文件的BOM头，但是这种方法有个缺点，就是有一些工具，比如EditPlus,比如Java程序，做出来的UTF-8编码的文件是不会在文件内容的前面加上BOM头的，对于这种情况，网络上的这个办法就会检测失败。
在经过一些测试之后，研究了一个解决方案。
考虑如下文件输入流的代码，
FileInputStream fis = null;
InputStreamReader isr = null;
BufferedReader br = null;
File f = new File(fn);
fis = new FileInputStream(f);
isr = new InputStreamReader(fis, "UTF-8");
br = new BufferedReader(isr);
推测执行原理如下，（都是根据测试结果的猜测）
1。fis 根据文件的保存编码来采用不同的编码读取文件。读取结果为byte[]
2.isr设定的话，那么根据isr设定的编码来读取文件，如果不设定，那么编码采用系统默认编码 ansi(window-31j,shift_jis)
3。br.readline，将isr的结果组合为String,如果isr没有设定编码，那么组合String时采用的编码为系统默认编码 ansi(window-31j,shift_jis)，如果isr设定了编码，那么采用isr设定好的编码。
4。new string(byte[],"encode") 根据指定编码生成string,如果不指定，采用系统默认编码。系统默认编码 ansi
5。string.getbyte("encode") 从String根据特定的编码取得byte[]
问题出在第1步，第一步fis因为读取文件的时候，调用的是native，也就是系统（windows系统）的东西，他用了系统的东西，系统的这个东西作了编码判断，但是因为他调用的是native的东西，这个判定结果没有返回给java，导致java里面isr,br没有办法跟fis协调一致，isr,br只能采用系统默认编码 ansi(window-31j,shift_jis)，而不是采用fis的判定结果来读取文件。
这导致了，当文件使用ansi编码保存的时候，默认编码跟fis判定结果一致，不会出任何问题。
当文件使用了utf-8编码的时候，默认编码ansi,跟fis判定结果utf-8不一致，fis采用uft-8编码读取出文件内容，而后，br.readline采用系统默认编码把UTF-8编码对应的byte[]组合成了ansi编码对应的字符串，就产生了乱码。
我在网络以及java api里面查找了一下，没有找到判定文件保存编码的方法。推论：因为java是调用了native的方法来实际读取文件的，判定在native里面完成，但是没有把判定结果公开给我们程序员。
另有一个测试结果的推论，英文字符在任何编码下面读取出来的byte[]都是一样的。因为我们才用任何编码都不会出现英文字符乱码的问题，所以大多数时候这个判定对我们没有影响，这里不讨论特殊情况下因为这个原因造成的影响。
根据以上推论，考虑如下解决问题的思路，
1。通过fis来读取文件，这个时候读取来的byte[]根据文件的保存格式是不同的。fis会自动判断处理。
2。通过br来读取文件。代码示例如下：
private static void readTest(String fn){
BufferedReader br = null;
InputStreamReader isr = null;
FileInputStream fis = null;
try{
File f = new File(fn);
fis = new FileInputStream(f);
isr = new InputStreamReader(fis, "UTF-8");
br = new BufferedReader(isr);
String s = null;
while ((s = br.readLine()) != null) {
byte[] buf = s.getBytes("UTF-8");
for(int j=0; j<buf.length; j++){
System.out.println(buf[j]);
}
}
} catch(Exception e){
e.printStackTrace();
} finally{
try{
fis.close();
isr.close();
} catch(Exception e){
e.printStackTrace();
}
}
}
3。1，2的读取结果byte[]进行比较，如果相同，那么可以认为文件的保存格式为UTF-8（虽然存在全英文ansi保存的可能，但是这种状况认为是utf-8保存不会有影响）,如果不同则不是UTF-8,考虑我们目前状况，那么不是UTF-8可以认为文件保存编码就是ANSI，如果不可以这么认为，其他编码类型也要做这个判断。因为英文字符在任何编码下面读取出来的byte[]都是一样的。所以这里有一个效率问题，必须文件内容全部比较，不能只比较一部分。
以上推测经测试有效，没有问题。
如果使用第三方开源代码common-io.jar的话，可以将以上思路简化为如下代码。
public boolean isUTF8(File file){
try {
byte[] buf = FileUtils.readFileToByteArray(file);
String filecCntent = FileUtils.readFileToString(file,"UTF-8");
if(filecCntent.equals(new String(buf,"UTF-8"))){
return true;
}
} catch (IOException e) {
// TODO 動生成された catch ブロック
e.printStackTrace();
}
return false；
}
这个判定有一个效率问题，在这个文章中采用的是读取整个文件，如果我们文件太大，会比较花时间。这种情况可以考虑按行来读取判定，某一行不一致就可以退出了。这样可以提高一些效率。