java 计算文件MD5值 大文件

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

MD5是常用的加密算法,也经常用于校验信息完整,如文件的完整性。用术语讲,MD5是一种消息摘要算法(Message Digest Algorithm)。另外还有一种常用的消息摘要算法SHA1。如果想了解这些的话,可以去百度百科:MD5、SHA1、消息摘要算法。

 

         Java已经实现了MD5、SHA1算法。利用java.security.MessageDigest类就可以获取字符串和文件的MD5以及SHA1结果。

 

1.字符串的MD5(下面的代码有详细注释)

   

public static String stringMD5(String input) {
      try {
         // 拿到一个MD5转换器(如果想要SHA1参数换成”SHA1”)
         MessageDigest messageDigest =MessageDigest.getInstance("MD5");
         // 输入的字符串转换成字节数组
         byte[] inputByteArray = input.getBytes();
         // inputByteArray是输入字符串转换得到的字节数组
         messageDigest.update(inputByteArray);
         // 转换并返回结果,也是字节数组,包含16个元素
         byte[] resultByteArray = messageDigest.digest();
         // 字符数组转换成字符串返回
         return byteArrayToHex(resultByteArray);
      } catch (NoSuchAlgorithmException e) {
         return null;
      }
   }

 

   //下面这个函数用于将字节数组换成成16进制的字符串

   public static String byteArrayToHex(byte[] byteArray) {
        String hs = "";   
        String stmp = "";   
        for (int n = 0; n < b.length; n++) {   
            stmp = (Integer.toHexString(b[n] & 0XFF));   
            if (stmp.length() == 1) {   
                hs = hs + "0" + stmp;   
            } else {   
                hs = hs + stmp;   
            }   
            if (n < b.length - 1) {   
                hs = hs + "";   
            }   
        }   
        // return hs.toUpperCase();   
        return hs;

      // 首先初始化一个字符数组,用来存放每个16进制字符

      /*char[] hexDigits = {'0','1','2','3','4','5','6','7','8','9', 'A','B','C','D','E','F' };

 

      // new一个字符数组,这个就是用来组成结果字符串的(解释一下:一个byte是八位二进制,也就是2位十六进制字符(2的8次方等于16的2次方))

      char[] resultCharArray =new char[byteArray.length * 2];

      // 遍历字节数组,通过位运算(位运算效率高),转换成字符放到字符数组中去

      int index = 0;

      for (byte b : byteArray) {

         resultCharArray[index++] = hexDigits[b>>> 4 & 0xf];

         resultCharArray[index++] = hexDigits[b& 0xf];

      }

      // 字符数组组合成字符串返回

      return new String(resultCharArray);*/

}


 

 

从上面代码可以看出,使用MessageDigest对字符串进行MD5算法的步骤是,先将字符串转换成字节数组,在进行MD5算法,最后返回的也是一个字节数组,要我们自己转成32位的字符串。

 

2.文件MD5

 

对文件进行MD5也可以像字符串MD5一样的,首先要把文件转成字节数组,后面和字符串MD5完全一样。

但是如果是一个特别大的文件,一下子把一个文件的数组全部读到内存中,那么估计内存也吃不消。

对于大文件,可以使用DigestInputStream。


public static String fileMD5(String inputFile) throws IOException {
      // 缓冲区大小(这个可以抽出一个参数)
      int bufferSize = 256 * 1024;
      FileInputStream fileInputStream = null;
      DigestInputStream digestInputStream = null;
      try {
         // 拿到一个MD5转换器(同样,这里可以换成SHA1)
         MessageDigest messageDigest =MessageDigest.getInstance("MD5");
         // 使用DigestInputStream
         fileInputStream = new FileInputStream(inputFile);
         digestInputStream = new DigestInputStream(fileInputStream,messageDigest);
         // read的过程中进行MD5处理,直到读完文件
         byte[] buffer =new byte[bufferSize];
         while (digestInputStream.read(buffer) > 0);
         // 获取最终的MessageDigest
         messageDigest= digestInputStream.getMessageDigest();
         // 拿到结果,也是字节数组,包含16个元素
         byte[] resultByteArray = messageDigest.digest();
         // 同样,把字节数组转换成字符串
         return byteArrayToHex(resultByteArray);
      } catch (NoSuchAlgorithmException e) {
         return null;
      } finally {
         try {
            digestInputStream.close();
         } catch (Exception e) {
         }
         try {
            fileInputStream.close();
         } catch (Exception e) {
         }
      }
   }


   上面的方法本人亲测过大小约4G的文件,得出的MD5值和网上下载的一个MD5小工具得到的MD5值一样,说明上面的方式没有什么问题。不过取大文件的MD5很慢,4G的文件跑一下要一分钟(I5处理器 6G内存 64位XP系统 本本)。

附1:我在网上还看到一种给文件MD5的方式

[java] 

public static String getFileMD5String(File file) throws IOException{ 
 FileInputStream in = new FileInputStream(file); 
 FileChannel ch =in.getChannel(); 
 MappedByteBuffer byteBuffer =ch.map(FileChannel.MapMode.READ_ONLY, 0,file.length()); 
 messagedigest.update(byteBuffer); 
 return byteArrayToHex (messagedigest.digest()); 
}

我也尝试过这样的方式,但是如果文件大于2G,那么这种方式会出现异常。所以不推荐。



附2:测试文件MD5的main方法


[java] 

public static void main(String[] args) { 
 
  long startTime = System.currentTimeMillis(); 
 
  try { 
    System.out.println(fileMD5("E:/软件/VS2008ProEdition90DayTrialCHSX1435983.iso")); 
  } catch (IOException e) { 
    e.printStackTrace(); 
  } 
 
  long endTime = System.currentTimeMillis(); 
 
  System.out.println((endTime - startTime)/1000); 
}


转载于:https://my.oschina.net/laigous/blog/106646

你可能感兴趣的:(java 计算文件MD5值 大文件)