「网络编程」应用层协议_ HTTPS协议学习及原理理解

「前言」文章内容大致是应用层协议的HTTPS协议讲解，续上篇HTTP协议。

「归属专栏」网络编程

「主页链接」个人主页

「笔者」枫叶先生(fy)

一、HTTPS协议介绍

HTTPS（HyperText Transfer Protocol Secure）是一种通过加密和身份验证保护网络通信安全的协议。它是基于HTTP协议的安全版本，也是工作在应用层
HTTPS协议的主要目的是确保在客户端和服务器之间传输的数据不被窃听、篡改或伪造。

早期很多公司刚起步的时候，使用的应用层协议都是HTTP，而HTTP无论是用GET方法还是POST方法传参，都是没有经过任何加密的，因此早期很多的信息都是可以通过抓包工具抓到的

下面进行测试（代码是上一篇章的，没有改变）

把提交表单的HTTP请求方法设置成POST

运行服务端，打开抓包软件进行抓取，浏览器进行访问服务端

进行提交表单，POST方法提交表单是看不到具体内容的

服务端收到的

用抓包软件进行抓取，我们提交的账号密码直接变明文了，如果是别有用心的人在我们的局域网进行抓取，是可以直接抓到的

HTTP抓包原理

抓包软件以某种方式进行劫持浏览器，让浏览器发送的请求到达不了服务器，发送的请求首先要经过抓包软件，再由抓包软件发送请求给服务端；服务端的响应也是如此，抓包软件把服务端的请求拦截了，再由抓包软件响应给浏览器。抓包软件就像是浏览器和服务端的中间人

为了解决这个问题，于是出现了HTTPS协议，HTTPS实际就是在应用层和传输层协议之间加了一层加密层（SSL&TLS），这层加密层本身也是属于应用层的，它会对用户的个人信息进行各种程度的加密。HTTPS在交付数据时先把数据交给加密层，由加密层对数据加密后再交给传输层。

通信双方使用的应用层协议必须是一样的，因此对端的应用层也必须使用HTTPS，当对端的传输层收到数据后，会先将数据交给加密层，由加密层对数据进行解密后再将数据交给应用层
当然，也可以选择不加密，直接贯穿协议栈

• https使用的端口号为443，HTTP使用的端口号是80，通过端口号来区分是加密的报文还是不加密（端口号是在传输层）
• HTTPS也是⼀个应⽤层协议，是在HTTP协议的基础上引⼊了⼀个加密层

二、什么是"加密"

• 加密就是把明⽂(要传输的信息)进⾏⼀系列变换，⽣成密⽂
• 解密就是把密⽂再进⾏⼀系列变换，还原成明⽂
• 明文就是我们直接可以看懂的

举个简单的例子，例如：

// 客户端
int a = 100; // 原始数据
// 假设秘钥是 key=1234
int b = a^key; // 进行加密

// 网络传输

// 服务端
int c = b; //接收数据
// 服务端也知道秘钥 key = 1234;
c = (a^key)^key = (key^key)^a = a;  // 解密
// ...

在这个加密和解密的过程中，往往需要⼀个或者多个中间的数据，辅助进⾏这个过程，这样的数据称为密钥(正确发⾳yue第四声，不过⼤家平时都读作yao第四声)

加密解密在古代就已经有了，加密解密到如今已经发展成⼀个独⽴的学科：密码学，⽽密码学的奠基⼈，也正是计算机科学的祖师爷之⼀

三、为什么要加密

臭名昭著的"运营商劫持"，在网上下载一个软件，比如下载⼀个天天动听
未被劫持的效果，点击下载按钮，就会弹出天天动听的下载链接

已被劫持的效果，点击下载按钮，就会弹出QQ浏览器的下载链接

由于我们通过⽹络传输的任何的数据包都会经过运营商的⽹络设备(路由器,交换机等)，那么运营商的网络设备就可以解析出你传输的数据内容，并进行篡改

点击"下载按钮"，其实就是在给服务器发送了⼀个HTTP请求，获取到的HTTP响应其实就包含了该 APP的下载链接，运营商劫持之后，就发现这个请求是要下载天天动听，那么就自动的把交给用户的响应给篡改成 “QQ浏览器” 的下载地址了

为啥运营商要进行劫持，为了money呗，不止运营商可以劫持，其他的黑客也可以用类似的手段进⾏劫持，来窃取用户隐私信息，或者篡改内容

在互联网上，明文传输是比较危险的事情 ，HTTPS就是在HTTP的基础上进行了加密，进⼀步的来保证用户的信息安全

四、常见的加密方式

对称加密

采用单钥密码系统的加密方法，同⼀个密钥可以同时用作信息的加密和解密，这种加密方法称为对称加密，也称为单密钥加密，特征：加密和解密所用的密钥是相同的

• 常见对称加密算法(了解)：DES、3DES、AES、TDEA、Blowfish、RC2等
• 特点：算法公开、计算量小、加密速度快、加密效率高

对称加密其实就是通过同⼀个"密钥"，把明文加密成密文，并且也能把密文解密成明文

例如，⼀个简单的对称加密，按位异或

假设明文a=1234，密钥key=8888。可以按照以下步骤进行加密和解密：

加密过程：

1. 将明文a和密钥key表示为二进制形式：a = 1001100110010，key = 1000100000111000。
2. 对二进制形式的a和key进行按位异或运算：1001111000001010，得到的密文b为9834。

解密过程：

1. 将密文b和密钥key表示为二进制形式：b = 1001111000001010，key = 1000100000111000。
2. 对二进制形式的b和key进行按位异或运算：1001100110010，即原始明文 a=1234。

需要注意的是，上述示例中使用了简单的按位异或运算作为加密和解密的过程，这只是对称加密中的一种最简单的方式。在实际的加密算法中，例如HTTPS中使用的加密算法是更复杂且安全性更高的算法，如对称加密算法（如AES）和非对称加密算法（如RSA），以确保更高的安全性和保护用户数据的机密性。

非对称加密

• 需要两个密钥来进行加密和解密，这两个密钥是公开密钥（public key，简称公钥）和私有密钥（private key，简称私钥）。
• 常见非对称加密算法（了解）：RSA，DSA，ECDSA
• 特点：算法强度复杂、安全性依赖于算法与密钥，但由于其算法复杂，使得加密解密速度没有对称加密解密的速度快。

非对称加密需要用到两个密钥，一个叫做"公钥"，一个叫做"私钥"。公钥和私钥是配对的。最大的缺点就是运算速度非常慢，比对称加密要慢很多。

• 通过公钥对明文加密，变成密文
• 通过私钥对密文解密，变成明文

也可以反着用

• 通过私钥对明文加密，变成密文
• 通过公钥对密文解密，变成明文

非对称加密的数学原理比较复杂，涉及到一些数论相关的知识。这里举一个简单的生活上的例子。

A要给B一些重要的文件，但是B可能不在。于是A和B提前做出约定：B说：“我桌子上有个盒子，然后我给你一把锁，你把文件放盒子里用锁锁上，然后我回头拿着钥匙来开锁取文件。”

在这个场景中，这把锁就相当于公钥，钥匙就是私钥。公钥给谁都行（不怕泄露），但是私钥只有B自己持有。持有私钥的人才能解密。

五、数据摘要 && 数据指纹

• 数字指纹（也叫数据摘要），其基本原理是利用单向散列函数（Hash函数）对信息进行运算，生成一串固定长度的数字摘要。数字指纹并不是一种加密机制，但可以用来判断数据有没有被篡改。

• 摘要常见算法：有MD5、SHA1、SHA256、SHA512等，算法把无限的映射成有限，因此可能会有碰撞（两个不同的信息，算出的摘要相同，但是概率非常低，比如两个人指纹相同的概率）

• 摘要特征：和加密算法的区别是，摘要严格意义不是加密，因为没有解密，只不过从摘要很难反推原信息，通常用来进行数据对比

数据摘要和数据指纹的作用是用来验证数据的完整性和一致性，以及防止数据被篡改

例子

在服务端，一般涉及用户的密码的字段，必须是加密的，一般会对用户的密码形成摘要，即一段字符串，服务端存储用户的密码一般是以摘要的形式存储，防止服务端数据库被攻击，造成用户数据泄露

用户使用密码进行登录时，服务端会使用相同的算法生成摘要，与数据库的数据进行比对

在另一个场景，可以使用摘要进行大文件比对

六、HTTPS理解链

• 既然要保证数据安全，就需要进行「加密」。
• 网络传输中不再直接传输明文了，而是加密之后的「密文」。
• 加密的方式有很多，但是整体可以分成两大类：对称加密和非对称加密。

6.1 方案1-只使用对称加密

如果通信双方都各自持有同一个密钥X，且没有别人知道，这两方的通信安全当然是可以被保证的（除非密钥被破解）

引入对称加密之后，即使数据被截获，由于黑客不知道密钥是啥，因此就无法进行解密，也就不知道请求的真实内容是啥了。

但事情没这么简单。服务器同一时刻其实是给很多客户端提供服务的。这么多客户端，每个人用的密钥都必须是不同的（如果是相同那密钥就太容易扩散了，黑客就也能拿到了）。因此服务器就需要维护每个客户端和每个密钥之间的关联关系，这也是个很麻烦的事情。

比较理想的做法，就是能在客户端和服务器建立连接的时候，双方协商确定这次的密钥是啥。

但是如果直接把密钥明文传输，那么黑客也就能获得密钥了。此时后续的加密操作就形同虚设了。

因此密钥的传输也必须加密传输！但是要想对密钥进行对称加密，就仍然需要先协商确定一个「密钥的密钥」。这就成了「先有鸡还是先有蛋」的问题了。

此时密钥的传输再用对称加密就行不通了。下一种方案

6.2 方案2-只使用非对称加密

鉴于非对称加密的机制，如果服务器先把公钥以明文方式传输给浏览器，之后浏览器向服务器传数据前都先用这个公钥加密好再传，从客户端到服务器信道似乎是安全的（有安全问题），因为只有服务器有相应的私钥能解开公钥加密的数据。

即使中间人获取到了密文，也没有用，没有私钥解密不了

• 这里能保证客户端到服务器是安全的
• 服务端到客户端的安全保证不了

服务器到浏览器的这条路如何保障安全？

如果服务器用它的私钥加密数据传给浏览器，那么浏览器用公钥可以解密它，而这个公钥是一开始通过明文传输给浏览器的，若这个公钥被中间人劫持到了，那他也能用该公钥解密服务器传来的信息了。

这种方案不行，下一种方案

6.3 双方都使用非对称加密

服务端拥有公钥S与对应的私钥S’，客户端拥有公钥C与对应的私钥C’

客户和服务端交换公钥

• 客户端给服务端发信息：先用S对数据加密，再发送，只能由服务器解密，因为只有服务器有私钥S’
• 服务端给客户端发信息：先用C对数据加密，在发送，只能由客户端解密，因为只有客户端有私钥C’

这样貌似也行啊，但是：

• 效率太低
• 依旧有安全问题（一开始就，黑客就成为了中间人）

先解决效率低的问题，安全问题下面再谈

6.4 非对称加密+对称加密

先解决效率问题

• 服务端具有非对称公钥S和私钥S’
• 客户端发起https请求，获取服务端公钥S
• 客户端在本地生成对称密钥C，并通过公钥S加密，发送给服务器.
• 由于中间的网络设备没有私钥，即使截获了数据，也无法还原出内部的原文，也就无法获取到对称密钥
• 服务器通过私钥S’解密，还原出客户端发送的对称密钥C，并且使用这个对称密钥加密给客户端返回的响应数据.
• 后续客户端和服务器的通信都只用对称加密即可。

由于该密钥只有客户端和服务器两个主机知道，其他主机/设备不知道密钥即使截获数据也没有意义。 由于对称加密的效率比非对称加密高很多，因此只是在开始阶段协商密钥的时候使用非对称加密，后续的传输仍然使用对称加密。

但是依旧有安全问题。方案2，方案3，方案4都存在一个问题，如果最开始，中间人就已经开始攻击了呢？

6.5 中间人攻击-针对上面的场景

Man-in-the-Middle Attack，简称 “MITM攻击”

确实，在方案2/3/4中，客户端获取到公钥S之后，对客户端形成的对称密钥X用服务端给客户端的公钥S进行加密，中间人即使窃取到了数据，此时中间人确实无法解出客户端形成的密钥X，因为只有服务器有私钥S’ 但是中间人的攻击，如果在最开始握手协商的时候就进行了，那就不一定了

假设hacker已经成功成为中间人：

1. 服务器具有非对称加密算法的公钥S，私钥S’
2. 中间人具有非对称加密算法的公钥M，私钥M’
3. 客户端向服务器发起请求，服务器明文传送公钥S给客户端
4. 中间人劫持数据报文，提取公钥S并保存好，然后将被劫持报文中的公钥S替换成为自己的公钥M， 并将伪造报文发给客户端
5. 客户端收到报文，提取公钥M(自己当然不知道公钥被更换过了)，自己形成对称密钥X，用公钥M加密X，形成报文发送给服务器
6. 中间人劫持后，直接用自己的私钥M’进行解密，得到通信密钥X，再用曾经保存的服务端公钥S加密后，将报文推送给服务器
7. 服务器拿到报文，用自己的私钥S’解密，得到通信密钥X
8. 双方开始采用X进行对称加密，进行通信。但是一切都在中间人的掌握中，劫持数据，进行窃听甚至修改，都是可以的

上面的攻击方案，同样适用于方案2，方案3

问题本质出在哪里了呢？

**客户端无法确定收到的含有公钥的数据报文，就是目标服务器发送过来的，即无法判断公钥的合法性！**后序的方案就是让服务端具有辨别服务端公钥的能力，辨别公钥的合法性

下面就要引入证书了

七、引入证书

CA认证（CA, Certificate Authority）

证书颁发机构（CA, Certificate Authority）即颁发数字证书的机构。是负责发放和管理数字证书的权威机构，并作为电子商务交易中受信任的第三方，承担公钥体系中公钥的合法性检验的责任。

服务端在使用HTTPS前，需要向CA机构申领一个数字证书，数字证书里含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器，浏览器从证书里获取公钥就行了，证书就如身份证，证明服务端公钥的权威性。

CA证书就是一个文件（CSR），可以安装在浏览器

这个证书可以理解成是一个结构化的字符串，里面包含了以下信息:

• 证书发布机构
• 证书有效期
• 公钥
• 证书所有者
• 签名
• …

需要注意的是：申请证书的时候，需要在特定平台生成查，会同时生成一对密钥对，即公钥和私钥。这对密钥对就是用来在网络通信中进行明文加密以及数字签名的。

其中公钥会随着CSR文件，一起发给CA进行权威认证，私钥服务端自己保留，用来后续进行通信（其实主要就是用来交换对称秘钥）。

形成CSR之后，后续就是向CA进行申请认证，不过一般认证过程很繁琐，网络各种提供证书申请的服务商，一般真的需要，直接找平台解决就行。

八、数字签名

摘要经过加密，就得到数字签名。

签名的形成是基于非对称加密算法的，注意，目前暂时和HTTPS没有关系，不要和HTTPS中的公钥私钥搞混了。

当服务端申请CA证书的时候，CA机构会对该服务端进行审核，并专门为该网站形成数字签名，过程如下：

1. CA机构拥有非对称加密的私钥A和公钥A’。
2. CA机构对服务端申请的证书明文数据进行hash，形成数据摘要。
3. 然后对数据摘要用CA私钥A’加密，得到数字签名S。

服务端申请的证书明文和数字签名S共同组成了数字证书，这样一个数字证书就可以颁发给服务端了。

验证数字签名的过程如下：

1. 使用接收方的公钥将数字签名部分解密，得到原始的摘要。
2. 接收方对收到的源信息进行哈希运算，生成一个摘要。
3. 接收方比较两个摘要是否相同，如果相同，则可以证明信息的发送者是可信的

如果两摘要内容不符，说明：

• 可能对摘要进行签名所用的私钥不是签名者的私钥，这就表明信息的签名者不可信；
• 也可能收到的信息根本就不是签名者发送的信息，信息在传输过程中已经遭到破坏或篡改。

把数字签名、证书合在一起

申请获取证书

验证证书的合法性

把证书发给客户端，客户端收到证书后，首先对证书进行分离

有了证书和数字签名，到目前，中间人无法进行任何局部的替换，无论是明文还是签名

中间人有没有可能篡改该证书？

• 中间人篡改了证书的明文。
• 由于他没有CA机构的私钥，所以无法hash之后用私钥加密形成签名，那么也就没法办法对篡改后的证书形成匹配的签名。
• 如果强行篡改，客户端收到该证书后会发现明文和签名解密后的值不一致，则说明证书已被篡改，证书不可信，从而终止向服务器传输信息，防止信息泄露给中间人。

中间人整个掉包证书？

• 因为中间人没有CA私钥，所以无法制作假的证书。
• 所以中间人只能向CA申请真证书，然后用自己申请的证书进行掉包。
• 这个确实能做到证书的整体掉包，但是别忘记，证书明文中包含了域名等服务端认证信息，如果整体掉包，客户端依旧能够识别出来。
• 永远记住：中间人没有CA私钥，所以对任何证书都无法进行合法修改，包括自己的。

为什么签名不直接加密，而是要先hash形成摘要？

• 缩小签名密文的长度，加快数字签名的验证和签名的运算速度。

九、方案5-非对称加密+对称加密+证书认证

在客户端和服务器刚一建立连接的时候，服务器给客户端返回一个证书，证书包含了之前服务端的公钥，也包含了网站的身份信息。

客户端进行认证 当客户端获取到这个证书之后，会对证书进行校验（防止证书是伪造的）。

• 判定证书的有效期是否过期
• 判定证书的发布机构是否受信任（操作系统中已内置的受信任的证书发布机构）。
• 验证证书是否被篡改：从系统中拿到该证书发布机构的公钥，对签名解密，得到一个hash值（称为数据摘要），设为hash1。然后计算整个证书的hash值，设为hash2。对比hash1和hash2是否相等。如果相等，则说明证书是没有被篡改过的。

查看浏览器的受信任证书发布机构

选择浏览器"设置"，搜索"证书管理"，即可看到以下界面（如果没有，在隐私设置和安全性->安全里面）

以edge浏览器为例

如何成为中间人？

• ARP欺骗：在局域网中，黑客通过收到ARP Request广播包，能够偷听到其他节点的（IP，MAC）地址。例如，黑客收到两个主机A、B的地址，告诉B（受害者），自己是A，使得B在发送给A的数据包都被黑客截取。
• ICMP攻击：由于ICMP协议中有重定向的报文类型，我们可以伪造一个ICMP信息然后发送给局域网中的客户端，并伪装自己是一个更好的路由通路。从而导致目标所有的上网流量都会发送到我们指定的接口上，达到和ARP欺骗同样的效果。
• 假WiFi和假网站等。

十、总结

HTTPS完整工作流程

HTTPS工作过程中涉及到的密钥有三组。

• 第一组（非对称加密）：用于校验证书是否被篡改。服务器持有私钥（私钥在形成CSR文件与申请证书时获得），客户端持有公钥（操作系统包含了可信任的CA认证机构有哪些，同时持有对应的公钥）。服务器在客户端请求时，返回携带签名的证书。客户端通过这个公钥进行证书验证，保证证书的合法性，进一步保证证书中携带的服务端公钥权威性。
• 第二组（非对称加密）：用于协商生成对称加密的密钥。客户端用收到的CA证书中的公钥（是可被信任的）给随机生成的对称加密的密钥加密，传输给服务器，服务器通过私钥解密获取到对称加密密钥。
• 第三组（对称加密）：客户端和服务器后续传输的数据都通过这个对称密钥加密解密。

其实一切的关键都是围绕这个对称加密的密钥。其他的机制都是辅助这个密钥工作的。

• 第二组非对称加密的密钥是为了让客户端把这个对称密钥传给服务器。
• 第一组非对称加密的密钥是为了让客户端拿到第二组非对称加密的公钥。

--------------------- END ----------------------

「 作者 」 枫叶先生
「 更新 」 2023.7.14
「 声明 」 余之才疏学浅，故所撰文疏漏难免，
          或有谬误或不准确之处，敬请读者批评指正。