区块链学习笔记（四）密码学与安全技术
目录
一、Hash算法与数字摘要
1、定义及特性
2、常见算法
3、数字摘要
二、加解密算法
1、对称加密算法
2、非对称加密算法
3、混合加密机制
三、消息认证码与数字签名
1、消息认证码
2、数字签名
四、数字证书
五、PKI体系
六、默克尔树结构
七、布隆过滤器
1、基于Hash的快速查找
2、更高效的布隆过滤器
信息安全的核心要素：机密性、完整性、可认证性、不可抵赖性
一、Hash算法与数字摘要
1、定义及特性
Hash算法又可称为指纹（fingerprint）算法或摘要（digest）算法，可以将任意长度的二进制明文串映射为较短的二进制串（Hash值），该二进制串通常是固定长度的。
一个优秀的Hash算法有以下特点：
- 正向快速：算法能在有限时间和有限资源内计算得到Hash值。
- 逆向困难：对于给定的Hash值，在有限时间内几乎不可能逆推出原文。
- 输入敏感：原始输入信息发生任何变化，新产生的Hash值应该发生很大的变化。
- 避免碰撞：很难找到两个内容不同的明文，使得它们的Hash值一样，即发生碰撞。
2、常见算法
国际上：
- MD（Message Digest）系列算法，主要包括MD4与MD5算法，目前安全性无法满足商业需求。
- SHA（Secure Hash Algorithm）系列算法，主要包括SHA-1（安全性不足）与SHA-2（包括SHA-224、SHA-256、SHA-384、SHA-512）。
国内：
- SM3密码杂凑算法，可满足商业需求。
3、数字摘要
数字摘要是对原始数据内容进行Hash运算，获取唯一的摘要值。利用Hash函数抗碰撞性的特点，数字摘要可以检测内容是否被篡改。
例如下载文件时，有些网站会一并提供相应的数字摘要值，用户在本地自行计算摘要值并与其比较，以判断文件是否被篡改。
二、加解密算法
从设计理念和应用场景上可以分为：对称加密（symmetric cryptography），又称密钥加密（common-key cryptography）与非对称加密（asymmetric cryptography），又称公钥加密（public-key cryptography）。
1、对称加密算法
加解密过程使用的密钥是相同的。优点是加解密效率高（速度快、不占空间）、加密强度高；缺点是参与方需要提前持有密钥，因此密钥的分发是个问题，常借助非对称加密算法或Diffie-Hellman协商协议来实现。
对称密码从实现原理上可以分为两种：分组密码和序列密码。前者将明文切分为定长数据块作为基本加密单位，应用最为广泛。后者则每次只对一个字节或字符进行加密处理，且密码不断变化，只用在一些特定领域（如数字媒介的加密）。
分组对称加密代表算法包括：
- DES（Data Encryption Standard）：将 64 位明文加密为 64 位的密文。其密钥长度为 64 位（包括 8 位校验码），现在已经很容易被暴力破解。
- 3DES：三重 DES 操作：加密 --> 解密 --> 加密，处理过程和加密强度优于 DES，但现在也被认为不够安全。
- AES（Advanced Encryption Standard）：用于替代DES，分组长度为 128、192、256 位三种。AES 的优势在于处理速度快，整个过程可以数学化描述，目前尚未有有效的破解手段。
- IDEA （International Data Encryption Algorithm）：设计类似于 3DES，密钥长度增加到 128 位，具有更好的加密强度。
序列加密，又称流加密。Shannon（信息论创始人）首次证明，要实现绝对安全的完善保密性（Perfect Secrecy），可以通过“一次性密码本”的对称加密处理。即通信双方每次使用跟明文等长的随机密钥串对明文进行加密处理。序列密码采用了类似的思想，每次通过伪随机数生成器来生成伪随机密钥串。代表算法包括 RC4 等。
2、非对称加密算法
非对称加密是现代密码学的伟大发明，它有效解决了对称加密需要安全分发密钥的问题。非对称加密中，加密密钥和解密密钥是不同的，分别被称为公钥（Public Key）和私钥（Private Key）。私钥一般通过随机数算法生成，公钥可以根据私钥生成。其中，公钥一般是公开的，他人可获取的；私钥则是个人持有并且要严密保护，不能被他人获取。
非对称加密算法优点是公私钥分开，无需安全通道来分发密钥。缺点是处理速度（特别是生成密钥和解密过程）往往比较慢，一般比对称加解密算法慢 2~3 个数量级；同时加密强度也往往不如对称加密。
非对称加密算法的安全性往往基于数学问题，包括大数质因子分解、离散对数、椭圆曲线等经典数学难题。
代表算法包括：
-
RSA：算法利用了对大数进行质因子分解困难的特性，但目前还没有数学证明两者难度等价，或许存在未知算法可以绕过大数分解而进行解密。
-
ElGamal：利用了模运算下求离散对数困难的特性，比 RSA 产生密钥更快。被应用在 PGP 等安全工具中。
-
椭圆曲线算法（Elliptic Curve Cryptography，ECC）：应用最广也是强度最高的系列算法，基于对椭圆曲线上特定点进行特殊乘法逆运算（求离散对数）难以计算的特性。一般被认为具备较高的安全性，但加解密过程比较费时。
-
SM2（ShangMi 2）：中国国家商用密码系列算法标准，同样基于椭圆曲线算法，一般认为其安全强度优于 RSA 系列算法。
非对称加密算法适用于签名场景或密钥协商过程，但不适于大量数据的加解密。除了 SM2 之外，大部分算法的签名速度要比验签速度慢（1~2个数量级）。
RSA 类算法被认为已经很难抵御现代计算设备的破解，一般推荐商用场景下密钥至少为 2048 位。如果采用安全强度更高的椭圆曲线算法，256 位密钥即可满足绝大部分安全需求。
3、混合加密机制
混合加密机制同时结合了对称加密和非对称加密的优点。
该机制的主要过程为：先用非对称加密（计算复杂度较高）协商出一个临时的对称加密密钥（或称会话密钥），然后双方再通过对称加密算法（计算复杂度较低）对所传递的大量数据进行快速的加密处理。
典型的应用案例是网站中使用越来越普遍的通信协议 —— 安全超文本传输协议（Hyper Text Transfer Protocol Secure，HTTPS）。
三、消息认证码与数字签名
消息认证码和数字签名技术都可以通过对消息的摘要进行加密，可以防止消息被篡改和认证身份。
1、消息认证码
消息认证码（Hash-based Message Authentication Code，HMAC），利用对称加密，对消息完整性（Integrity）进行保护。
基本过程为对某个消息，利用提前共享的对称密钥和 Hash 算法进行处理，得到 HMAC 值。该 HMAC 值持有方可以向对方证明自己拥有某个对称密钥，并且确保所传输消息内容未被篡改。
典型的 HMAC 生成算法包括 K，H，M 三个参数。K 为提前共享的对称密钥，H 为提前商定的 Hash 算法（如 SHA-256），M 为要传输的消息内容。三个参数缺失了任何一个，都无法得到正确的 HMAC 值。
消息认证码可以用于简单证明身份的场景。如 Alice、Bob 提前共享了 K 和 H。Alice 需要知晓对方是否为 Bob，可发送一段消息 M 给 Bob。Bob 收到 M 后计算其 HMAC 值并返回给 Alice，Alice 检验收到 HMAC 值的正确性可以验证对方是否真是 Bob。因为如果消息被篡改，或者对方并不是Bob（所持密钥不为K），则发送给Alice的HMAC值与自己计算得出的HMAC值不相同。
消息认证码的主要问题是需要提前共享密钥，并且当密钥可能被多方同时拥有（甚至泄露）的场景下，无法追踪消息的真实来源。如果采用非对称加密算法，则能有效的解决这个问题，即数字签名。
2、数字签名
数字签名既可以证实某数字内容的完整性，又可以确认其来源（即不可抵赖，Non-Repudiation）。
一个典型的场景是，Alice 通过信道发给 Bob 一个文件，Bob 如何获知所收到的文件即为 Alice 发出的原始版本？
Alice 可以先对文件内容进行摘要，然后用自己的私钥对摘要进行加密（签名），之后同时将文件和签名都发给 Bob。Bob 收到文件和签名后，用 Alice 的公钥来解密签名，得到数字摘要，与对文件进行摘要后的结果进行比对。如果一致，说明该文件确实是 Alice 发过来的（因为别人无法拥有 Alice 的私钥），并且文件内容没有被修改过（摘要结果一致）。
理论上所有的非对称加密算法都可以用来实现数字签名，实践中常用算法包括 DSA（Digital Signature Algorithm，基于 ElGamal 算法）和安全强度更高的 ECSDA（Elliptic Curve Digital Signature Algorithm，基于椭圆曲线算法）等。
除普通的数字签名应用场景外，针对一些特定的安全需求，产生了一些特殊数字签名技术，包括盲签名、多重签名、群签名、环签名等。
四、数字证书
对于非对称加密算法和数字签名来说，很重要的步骤就是公钥的分发。理论上任何人都可以获取到公开的公钥。然而这个公钥文件有没有可能是伪造的呢？传输过程中有没有可能被篡改呢？一旦公钥自身出了问题，则整个建立在其上的的安全性将不复成立。
数字证书机制正是为了解决这个问题，它就像日常生活中的证书一样，可以确保所记录信息的合法性。比如证明某个公钥是某个实体（个人或组织）拥有，并且确保任何篡改都能被检测出来，从而实现对用户公钥的安全分发。
根据所保护公钥的用途，数字证书可以分为加密数字证书（Encryption Certificate）和签名验证数字证书（Signature Certificate）。前者往往用于保护用于加密用途的公钥；后者则保护用于签名用途的公钥。两种类型的公钥也可以同时放在同一证书中。
一般情况下，证书需要由证书认证机构（Certification Authority，CA）来进行签发和背书。权威的商业证书认证机构包括 DigiCert、GlobalSign、VeriSign 等。用户也可以自行搭建本地 CA 系统，在私有网络中进行使用。
五、PKI体系
公钥可以通过证书机制来进行保护，但证书的生成、分发、撤销等步骤并未涉及。
实际上，要实现安全地管理、分发证书需要遵循 PKI（Public Key Infrastructure）体系。该体系解决了证书生命周期相关的认证和管理问题。
需要注意，PKI 是建立在公私钥基础上实现安全可靠传递消息和身份确认的一个通用框架，并不代表某个特定的密码学技术和流程。实现了 PKI 规范的平台可以安全可靠地管理网络中用户的密钥和证书。目前包括多个具体实现和规范，知名的有 RSA 公司的 PKCS（Public Key Cryptography Standards）标准和 OpenSSL 等开源工具。
六、默克尔树结构
默克尔树（又叫哈希树）是一种典型的二叉树结构，由一个根节点、一组中间节点和一组叶节点组成，如下图所示。默克尔树最早由 Merkle Ralf 在 1980 年提出，曾广泛用于文件系统和 P2P 系统中。
其主要特点为：
-
最下面的叶节点包含存储数据或其哈希值。
-
非叶子节点（包括中间节点和根节点）都是它的两个孩子节点内容的哈希值。
进一步地，默克尔树可以推广到多叉树的情形，此时非叶子节点的内容为它所有的孩子节点的内容的哈希值。
默克尔树逐层记录哈希值的特点，让它具有了一些独特的性质。例如，底层数据的任何变动，都会传递到其父节点，一层层沿着路径一直到树根。这意味树根的值实际上代表了对底层所有数据的“数字摘要”。
默克尔树的典型应用场景包括：
- 证明某个集合中存在或不存在某个元素
- 快速比较大量数据
- 快速定位修改
- 零知识证明
七、布隆过滤器
布隆过滤器是一种基于 Hash 的高效查找结构，能够快速（常数时间内）回答“某个元素是否在一个集合内”的问题。该结构因为其高效性，被大量应用到网络和安全领域，例如信息检索（BigTable 和 HBase）、垃圾邮件规则、注册管理等。
1、基于Hash的快速查找
Hash 可以将任意内容映射到一个固定长度的字符串，而且不同内容映射到相同串的概率很低。因此，这就构成了一个很好的“内容 -> 索引”的生成关系。
如果给定一个内容和存储数组，通过构造 Hash 函数，让映射后的 Hash 值总不超过数组的大小，则可以实现快速的基于内容的查找。例如，内容 “hello world” 的 Hash 值如果是 “100”，则存放到数组的第 100 个单元上去。如果需要快速查找任意内容，如 “hello world” 字符串是否在存储系统中，只需要将其在常数时间内计算 Hash 值，并用 Hash 值查看系统中对应元素即可。该系统“完美地”实现了常数时间内的查找。
然而，令人遗憾的是，当映射后的值限制在一定范围（如总数组的大小）内时，会发现 Hash 冲突的概率会变高，而且范围越小，冲突概率越大。很多时候，存储系统的大小又不能无限扩展，这就造成算法效率的下降。为了提高空间利用率，后来人们基于 Hash 算法的思想设计出了布隆过滤器结构。
2、更高效的布隆过滤器
布隆过滤器采用了多个 Hash 函数来提高空间利用率。
对同一个给定输入来说，多个 Hash 函数计算出多个地址，分别在位串的这些地址上标记为 1。进行查找时，进行同样的计算过程，并查看对应元素，如果都为 1，则说明较大概率是存在该输入。
布隆过滤器相对单个 Hash 算法查找，大大提高了空间利用率，可以使用较少的空间来表示较大集合的存在关系。
实际上，无论是 Hash，还是布隆过滤器，基本思想是一致的，都是基于内容的编址。Hash 函数存在冲突，布隆过滤器也存在冲突。这就造成了两种方法都存在着误报（False Positive）的情况，但绝对不会漏报（False Negative）。
布隆过滤器在应用中误报率往往很低，例如，在使用 7 个不同 Hash 函数的情况下，记录 100 万个数据，采用 2 MB 大小的位串，整体的误判率将低于 1%。而传统的 Hash 查找算法的误报率将接近 10%。
