hash、MD5、SHA-1、CRC简介

Hash，一般翻译做“散列”，也有直接音译为"哈希"的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。 


简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。


HASH主要用于信息安全领域中加密算法，他把一些不同长度的信息转化成杂乱的128位的编码里,叫做HASH值. 也可以说，hash就是找到一种数据内容和数据存放地址之间的映射关系 


了解了hash基本定义，就不能不提到一些著名的hash算法，MD5 和 SHA1 可以说是目前应用最广泛的Hash算法，而它们都是以 MD4 为基础设计的。那么他们都是什么意思呢？ 
这里简单说一下： 


1) MD4 :
MD4(RFC 1320)是 MIT 的 Ronald L. Rivest 在 1990 年设计的，MD 是 Message Digest 的缩写。它适用在32位字长的处理器上用高速软件实现--它是基于 32 位操作数的位操作来实现的。 


2) MD5 
MD5(RFC 1321)是 Rivest 于1991年对MD4的改进版本。它对输入仍以512位分组，其输出是4个32位字的级联，与 MD4 相同。MD5比MD4来得复杂，并且速度较之要慢一点，但更安全，在抗分析和抗差分方面表现更好。 
MD5是一种不可逆的加密算法，目前是最牢靠的加密算法之一，尚没有能够逆运算的程序被开发出来，它对应任何字符串都可以加密成一段唯一的固定长度的代码。 
那么它有什么用呢？很简单，通过它可以判断原始值是否正确（是否被更改过）。一般用于密码的加密。而我们所提供的MD5校验码就是针对安装程序的唯一对应的一段代码。你可以使用任何MD5运算器对下载的文件进行运算，运算出来的结果如果完全符合我们提供的MD5校验码，那么说明你下载的这个程序没有被中途修改过。 
　　这个特征码有如下特性，首先它不可逆，例如我有一段秘密的文字如："My Secret Words"，经算法变换后得到MD5码(b9944e9367d2e40dd1f0c4040d4daaf7)，把这个码告诉其他人，他们根据这个 MD5码是没有系统的方法可以知道你原来的文字是什么的。 
　　其次，这个码具有高度的离散性，也就是说，原信息的一点点变化就会导致MD5的巨大变化，例如"ABC" MD5(902fbdd2b1df0c4f70b4a5d23525e932)和"ABC "（多了一空格）MD5(12c774468f981a9487c30773d8093561)差别非常大，而且之间没有任何关系，也就是说产生的MD5 码是不可预测的。 
　　最后由于这个码有128位那么长，所以任意信息之间具有相同MD5码的可能性非常之低，通常被认为是不可能的。 
　　所以一般认为MD5码可以唯一地代表原信息的特征，通常用于密码的加密存储，数字签名，文件完整性验证等。 


3) SHA1 及其他 
SHA1是由NIST NSA设计为同DSA一起使用的，它对长度小于264的输入，产生长度为160bit的散列值，因此抗穷举(brute-force)性更好。SHA-1 设计时基于和MD4相同原理,并且模仿了该算法。SHA-1是由美国标准技术局（NIST）颁布的国家标准，是一种应用最为广泛的hash函数算法，也是目前最先进的加密技术，被政府部门和私营业主用来处理敏感的信息。而SHA-1基于MD5，MD5又基于MD4。 
论坛里提供的系统镜像文件的hash也就是微软官方提供的SHA-1值，下载后和此值对应，就说明你下载过程中文件没有被更改，属于原版。 


什么是CRC 
CRC的全称为Cyclic Redundancy Check，中文名称为循环冗余校验。它是一类重要的线性分组码，编码和解码方法简单，检错和纠错能力强，在通信领域广泛地用于实现差错控制。实际上，除数据通信外，CRC在其它很多领域也是大有用武之地的。例如我们读软盘上的文件，以及解压一个ZIP文件时，偶尔会碰到“Bad CRC”错误，由此它在数据存储方面的应用可略见一斑。 


那么这些Hash算法到底有什么用呢？ 
Hash算法在信息安全方面的应用主要体现在以下的3个方面： 


1) 文件校验 
我们比较熟悉的校验算法有奇偶校验和CRC校验，这2种校验并没有抗数据篡改的能力，它们一定程度上能检测并纠正数据传输中的信道误码，但却不能防止对数据的恶意破坏。 
MD5 Hash算法的"数字指纹"特性，使它成为目前应用最广泛的一种文件完整性校验和(Checksum)算法，不少Unix系统有提供计算md5 checksum的命令。 T 9>1
2) 数字签名 
Hash 算法也是现代密码体系中的一个重要组成部分。由于非对称算法的运算速度较慢，所以在数字签名协议中，单向散列函数扮演了一个重要的角色。对 Hash 值，又称"数字摘要"进行数字签名，在统计上可以认为与对文件本身进行数字签名是等效的。而且这样的协议还有其他的优点。 
3) 鉴权协议 
如下的鉴权协议又被称作"挑战--认证模式：在传输信道是可被侦听，但不可被篡改的情况下，这是一种简单而安全的方法。


当然，hash函数并不是完全可靠，不同文件产生相同MD5和SHA1的几率还是有的，只是不高，在我们论坛里提供的系统光盘，你想对这么几个文件存在相同HASH的不同文件根本是不可能的。 
论坛MSDN版块，提供的就是微软发布MSDN提供给程序员研究的Windows系统的镜像的HASH值——SHA-1，不提供MD5因为微软只提供了 SHA1。而论坛发布区发布的镜像是和这些值对应的镜像，你校验自己的镜像的HASH和MSDN信息区相应版本的SHA-1对应的上，说明你手中的光盘是微软通过MSDN发布的原盘。对不上还存在属于零售或通过销售渠道发布的镜像的可能。毕竟MSDN只是微软发布系统光盘的一个途径，MSDN只是给程序开发人员研究用的。
寻求原版的证实，对应SHA-1和MD5外，CRC的认证也是一个很重要的因素，CRC同样是校验文件的完整性，还有CDIMGE的封装版本。
微软出品的镜像都能通过CRC验证，当然也有人使用CRC自己进行制作可以得到通过CRC的镜像，那么这时候你需要对应镜像的SHA-1等了，所以，验证一个镜像的原盘可以通过对应多个数值来完成。 
什么是MSDN 
MSDN是Microsoft Software Developer Network的简称。这是微软的针对开发者的开发计划。你可以在http://msdn.microsoft.com看到有关软件开发的资料。在VC++ 6.0中包括MSDN Library的光盘，其中包括VC++的帮助文件和许多与开发相关的技术文献，学习VC++编程经常要搜索一下MSDN Library。MSDN Library每个季度更新一次，可以向微软订阅更新光盘。 
所以MSDN资源不是匿名就可以访问并看的到的，需要订购的客户才能看到并下载。 

MSDN订购可以标准、教育或批量价格，从你喜欢的软件分销商那里购买。

1、消息摘要

消息摘要主要用于保持数据的完整性，我们经常听到的校验和就是消息摘要的一个特例。它的算法是一个单项函数。也就是直接将输入的数据进行消息摘要提取，但绝不能从消息摘要生成原数据。消息摘要的算法分为如下几类（最常用的是MD5和SHA-1）：


MD2：是一个速度很慢但相当安全的算法，它产生128位的摘要值。
MD4：速度很快，但安全性下降。同样产生128位的摘要值。MD5：是MD4的一个更安全的版本，同时速度更快。也产生128位的摘要值。


SHA (Secure Hash Algorithm，译作安全杂凑算法) 家族是美国国家安全局 (NSA) 设计，美国国家标准与技术研究院 (NIST) 发布的一系列密码杂凑函数。正式名称为 SHA 的家族第一个成员发布于 1993年。然而今日的人们给它取了一个非正式的名称 SHA-0 以避免与它的后继者搞混。两年之后， SHA-1，第一个 SHA 的后继者发布了。另外还有四种变体，曾经发布以提升输出的范围和变更一些细微设计: SHA-224, SHA-256, SHA-384 和 SHA-512 (这些有时候也被称做 SHA-2)。
SHA：安全哈希算法，产生一个160位的摘要值。
SHA-1：在克服SHA的一些缺陷基础上形成的哈希算法。 
SHA-256、SHA-383 和 SHA-512 提供更长的指纹，大小分别是 256 位、383 位和 512 位。
MAC：消息认证码，使用秘密密钥和消息摘要算法来创建消息摘要。


2、对称密钥（私钥加密）


对称密钥应该是相当强壮的信息加密算法。这和我们生活中的钥匙极为相像。例如你家的门锁可以有好几把钥匙，并且这些钥匙都相同。在现实生活中，你可以将做好的钥匙收递手交给你的亲人，但在网络中就变了，你要通过网络来传递这把钥匙。所以对钥匙的保护又需要相应的加密技术。好了，通过这个通俗的例子，你应该知道对称密钥干什么？它的弱点在哪里？等问题的答案了吧。下面是一些最普通的对称密钥算法： 
DES：DES（数据加密标准）是由 IBM 于上世纪 70 年代发明的，美国政府将其采纳为标准，使用56位的密钥。
3- DES（TripleDES）：该算法被用来解决使用 DES 技术的 56 位时密钥日益减弱的强度，其方法是：使用两个密钥对明文运行 DES 算法三次，从而得到 112 位有效密钥强度。TripleDES 有时称为 DESede（表示加密、解密和加密这三个阶段）。
RC2和RC4：可以使用2048位的密钥并且提供了一个十分安全的算法。他们都来自于领先的加密安全性公司 RSA Security。
RC5：使用了一种可配置的密钥大小。也来自领先的加密安全性公司 RSA Security。 
AES：AES（高级加密标准）取代 DES 成为美国标准。它是由 Joan Daemen 和 Vincent Rijmen 发明的，也被称为 Rinjdael 算法。它是 128 位分组密码，密钥长度为 128 位、192 位或 256 位。
Blowfish：这种算法是由 Bruce Schneier 开发的，它是一种具有从 32 位到 448 位（都是 8 的整数倍）可变密钥长度的分组密码，被设计用于在软件中有效实现微处理器。

PBE。PBE（基于密码的加密）可以与多种消息摘要和私钥算法结合使用。

3、非对称密钥（公共密钥）


我们在介绍对称密钥的时候举了一个例子，提到了密钥传输的安全问题。并且在网络中的传输双方并不是我们现实中的“亲人”关系。那么公钥正好解决了这个问题。我这里举个通俗的例子，例如你有个信箱（物理信箱），开着一个缝隙（公钥），大家都能往里塞东西，但是一旦赛进取，那可不是大家都能取到的，只有拥有信箱钥匙（私钥）才能得到。哈哈！就这样。公钥就这样，不要担心它多难理解。当然当我们反过来理解的时候就有些和信箱不同的地方。也就是用私钥加密的东西只有对应的公钥才能进行解密，这种算法经常被应用在数字签名上。其实在现实中你可以将公钥技术和私钥技术结合起来完成信息保密，因为公钥的计算速度相当慢，比私钥慢大约100-1000倍。下面是一些非对称密钥算法列表：
RSA：这个算法是最流行的公钥密码算法，使用长度可以变化的密钥。
Diffie-Hellman：技术上将这种算法称为密钥协定算法。它不能用于加密，但可以用来允许双方通过在公用通道上共享信息来派生出秘钥。然后这个密钥可以用于私钥加密。
需要注意的是私钥和密钥是成对的，并且不能用一个生成另外一个，特别是不能用公钥生成私钥，否则就麻烦了。
认证和不可抵赖



认证的实现方法多种多样，真的，我以前做网站的时候总是想当然地进行用户认证。但其基础技术有如下列表：
基于口令的身份认证
基于令牌的物理标识和认证
基于生物测定学的认证
基于证书的认证下面就分别将这些认证做一介绍： 
基于口令的身份认证


太熟悉了，不是吗？这里只很想告诉口令暴露的过程以及保护的过程。我们通常见到的口令认证方式是在传输过程中口令完全暴露，并且在服务器端的口令存储上也完全是明文的形式，造成的后果是口令完全被暴露，很容易被监听。那么如何保护这些过程中的口令呢？暂时的思路是：建立在安全传输层的基础上，内部口令不以明文形式出现。


基于令牌的物理标识和认证
功能我们不用说，当然是非常强大，但代价昂贵。你见过这样的认证吗？呵呵，很少的话，就了解一下就行了，要更多了解劝你先研究一下ATM机和ATM卡基于生物测定学的认证


想想就知道了，你的指纹、眼睛视网膜等可真是独一无二，其复杂性也是很大的。 
基于证书的认证近年来相当流行的认证技术应该是基于证书的认证。证书上面可以记载一些事实信息（特别是某一实体），那当然差别主要体现在数字技术的特殊需要上。其实证书就是一个数据块，主要包括公开密钥、主体相关的信息、证书有效的日期、证书发行者的信息和证书发行者生成的签名。

我们前面已经谈过将公钥技术反过来可以应用于数字签名。但这种前面谁都可以签的，数字签名仅仅能解决消息来源真是你拥有公钥的主人，但并不能说明该主人就是合法的。但我们可去找一个特别了解此人的人（当然要权威了），问问看此人是否信得过。我们经常说的CA机构就是干这事情的。

其实整个过程很简单，我就认为是二次数字签名就是了。第一次首先需要证书的实体将自己的信息和公钥提交给CA，CA确认该组织的可信赖之后，就用自己的密钥对该实体的信息和公钥进行签名。最后被签名的信息会就叫证书。站在用户的角度，用户首先接到一个证书，当然会根据CA（可信）提供的公钥进行解密，如果能解密，当然就可以获得可信赖的信息和实体公钥。然后由实体公钥再进行前面我们介绍的数字签名解密步骤。

安全套接字层

安全套接字层（SSL）和取代它的传输层安全性（TLS）是用于在客户机和服务器之间构建安全的通信通道的协议。它也用来为客户机认证服务器，以及（不太常用的）为服务器认证客户机。该协议在浏览器应用程序中比较常见，浏览器窗口底部的锁表明 SSL/TLS 有效。

TLS 1.0 和 SSL 3.1 一样。
SSL/TLS 使用本教程中已经讨论过的三种密码术构件的混合体，但这一切都是对用户透明的。以下是该协议的简化版本：· 当使用 SSL/TLS（通常使用 https:// URL）向站点进行请求时，从服务器向客户机发送一个证书。客户机使用已安装的公共 CA 证书通过这个证书验证服务器的身份，然后检查 IP 名称（机器名）与客户机连接的机器是否匹配。

· 客户机生成一些可以用来生成对话的私钥（称为会话密钥）的随机信息，然后用服务器的公钥对它加密并将它发送到服务器。服务器用自己的私钥解密消息，然后用该随机信息派生出和客户机一样的私有会话密钥。通常在这个阶段使用 RSA 公钥算法。· 然后，客户机和服务器使用私有会话密钥和私钥算法（通常是 RC4）进行通信。使用另一个密钥的消息认证码来确保消息的完整性。

from： http://hi.baidu.com/xwugrzhpohaefjr/item/800b713d499587f0e7bb7ad4