网络七层模型
由下往上分为
物理层 -- 负责数据传输的硬件
数据链路层-- 网卡,控制网络层与物理层之间的通信
网络层 -- 寻址和路由选择(IP)
传输层 -- 建立主机端到端连接(TCP,UDP)
会话层 -- 在网络中的两节点之间建立、维持和终止通信。
表示层 -- 处理数据格式,数据加密,对图片和文件格式信息进行解码和编码
应用层 -- 为应用程序提供网络服务(HTTP,FTP,DNS)
TCP/IP(传输控制协议/网际协议)是利用IP进行通信时所必须用到的协议群的统称,如图:
TCP协议是传输层协议,主要解决数据如何在网络中传输
HTTP(超文本传输协议)是应用层协议,主要解决如何包装数据
“IP”代表网际协议,TCP和UDP使用该协议把数据包从一个网络传送到另一个网络。把IP想像成一种高速公路,它允许其它协议在上面行驶并找到到其它电脑的出口。TCP和UDP是高速公路上的“卡车”,它们携带的货物就是像HTTP,文件传输协议FTP这样的协议等。
什么是TCP连接的三次握手
第一次握手:客户端发送syn包(syn=j)到服务器,并进入SYN_SEND状态,等待服务器确认;
第二次握手:服务器收到syn包,必须确认客户的SYN(ack=j+1),同时自己也发送一个SYN包(syn=k),即SYN+ACK包,此时服务器进入SYN_RECV状态;
第三次握手:客户端收到服务器的SYN+ACK包,向服务器发送确认包ACK(ack=k+1),此包发送完毕,客户端和服务器进入ESTABLISHED状态,完成三次握手。
SYN表示建立连接 ACK表示响应
握手过程中传送的包里不包含数据,三次握手完毕后,客户端与服务器才正式开始传送数据。
断开连接时服务器和客户端均可以主动发起断开TCP连接的请求,断开过程需要经过“四次握手”
短连接和长连接
HTTP建立的连接是一个短连接,即客户端向服务器端发送一次请求建立一个三次握手的TCP链接,服务器端响应后再进行四次挥手断开连接。三次握手与四次挥手的过程是需要消耗时间的,在多次连续的请求下非常消耗性能。持久连接的产生就解决了这个问题,在服务端和客户端建立一个协议,约定在多少次请求之后或者多长时间后再断开连接,这样的话在多次请求的过程中就会复用这一个持久建立的TCP通道了。
在HTTP1.0版本时,持久连接默认是close状态,需要在报文头中的Connection字段加入keep-alive来进行持久连接的建立,而在HTTP1.1版本默认就是开启了keep-alive状态,只有将报文头字段中的内容改为close时才会不建立持久连接。
在持久连接中有两个重要的参数,一个是time,表示客户端希望与服务器建立持久连接的时间或者服务端希望与客户端建立持久连接的时间,另一个是max,表示在这段持久连接中需要进行请求的最大次数,一旦达到这个次数就进行断开持久连接的响应。
关于如何判断消息传输完毕,断开持久连接,一种是根据报文头的content-length来判断数据是否发送或者收取完毕,另一种情况当不能确定数据的大小时,使用chunk编码来确定消息是否传输完成,当数据在TCP中进行传输时,会被分割成一部分一部分的报文段,而这些报文段都采用chunk编码来实现,chunk编码对应一个表示长度的内容与一个表示实体的内容,当我们判断消息传输结束时,最后一个chunk编码的长度会为o,这样就判断了消息已经传输完成,可以断开连接了。
Socket
Socket是对TCP/IP协议的封装,Socket本身并不是协议,而是一个调用接口(API),提供了网络通信的能力。通过Socket,我们才能使用TCP/IP协议。
应用层通过传输层进行数据通信时,TCP会遇到同时为多个应用程序进程提供并发服务的问题。多个TCP连接或多个应用程序进程可能需要通过同一个TCP协议端口传输数据。为了区别不同的应用程序进程和连接,许多计算机操作系统为应用程序与TCP/IP协议交互提供了套接字(Socket)接口。应用层可以和传输层通过Socket接口,区分来自不同应用程序进程或网络连接的通信,实现数据传输的并发服务。
建立socket连接
建立Socket连接至少需要一对套接字,其中一个运行于客户端,称为ClientSocket,另一个运行于服务器端,称为ServerSocket。
套接字之间的连接过程分为三个步骤:服务器监听,客户端请求,连接确认。
服务器监听:服务器端套接字并不定位具体的客户端套接字,而是处于等待连接的状态,实时监控网络状态,等待客户端的连接请求。
客户端请求:指客户端的套接字提出连接请求,要连接的目标是服务器端的套接字。为此,客户端的套接字必须首先描述它要连接的服务器的套接字,指出服务器端套接字的地址和端口号,然后就向服务器端套接字提出连接请求。
连接确认:当服务器端套接字监听到或者说接收到客户端套接字的连接请求时,就响应客户端套接字的请求,建立一个新的线程,把服务器端套接字的描述发给客户端,一旦客户端确认了此描述,双方就正式建立连接。而服务器端套接字继续处于监听状态,继续接收其他客户端套接字的连接请求。
SOCKET连接与TCP连接
创建Socket连接时,可以指定使用的传输层协议,Socket可以支持不同的传输层协议(TCP或UDP),当使用TCP协议进行连接时,该Socket连接就是一个TCP连接。
Socket连接与HTTP连接
由于通常情况下Socket连接就是TCP连接,因此Socket连接一旦建立,通信双方即可开始相互发送数据内容,直到双方连接断开。但在实际网络应用中,客户端到服务器之间的通信往往需要穿越多个中间节点,例如路由器、网关、防火墙等,大部分防火墙默认会关闭长时间处于非活跃状态的连接而导致
Socket 连接断连,因此需要通过轮询告诉网络,该连接处于活跃状态。
而HTTP连接使用的是“请求—响应”的方式,客户端向服务器发出请求后,服务器端才能回复数据。
很多情况下,需要服务器端主动向客户端推送数据(比如聊天、消息通知),保持客户端与服务器数据的实时与同步。此时若双方建立的是Socket连接,服务器就可以直接将数据传送给客户端;若双方建立的是HTTP连接,则服务器需要等到客户端发送一次请求后才能将数据传回给客户端。客户端定时向服务器端发送连接请求,不仅可以保持在线,同时也是在“询问”服务器是否有新的数据,如果有就将数据传给客户端。
HTTPS
HTTP协议并不是一种很安全的协议,有些时候会遭遇到中间人攻击的问题,就是中间人模拟客户端与服务器,当客户端给服务器发送消息时,截获,然后冒充客户端再给服务器发送消息,当服务器返回消息时,截获,又冒充服务器给客户端发送消息,这个其实就是通常所说的“抓包”,我们开发时候喜欢用的“花瓶”charles就是这个原理。
对此,HTTPS这种附带加密算法的协议就产生了。
HTTPS是一种安全的加密协议,它在TCP传输层与HTTP应用层之间增加了一层网络传输安全协议层(SSL/TLS协议),来保证数据传输的安全性与TCP连接建立的安全性,极大程度保证了避免中间人攻击的情况发生。
在HTTPS协议中,客户端与服务端建立连接的流程也进行了加密,简述为下:
1.客户端向服务器端发起建立连接的请求,同时生成一个随机数c,发生自己的TLS版本号以及支持的加密算法
2.服务器收到客户端发来的数据后,选择一种对应的加密算法告诉客户端,同时生成随机数s,向客户端发送server证书
3.客户端拿到服务器发来的加密算法后,生成随机的预主秘钥,同时根据自己产生的随机数c与服务端发来的随机数s组装成对应的会话秘钥,同时用服务器发来的公钥将预主秘钥加密,发送给服务器端。
4.服务端收到预主秘钥后同样用随机数c与随机数s结合,通过加密算法组装成会话秘钥。
5.这是便开始了与服务器进行三次握手的过程,客户端将握手消息通过会话秘钥加密,发送给服务器
6.服务器同样将相应信息通过会话秘钥加密发送给客户端
7.客户端同理第三次发送消息
这时TCP连接就建立了,随后的数据发送与接收以及四次挥手的相关连接信息都会通过加密的方式告诉对方,这样就极大程度的保证了数据的安全性。
HTTPS在连接建立的过程中会使用非对称加密,也就是公钥与私钥的加密,进行信息的加密,但是非对称加密的缺点就是非常耗时,不可能在之后的大量数据传输过程中使用大量非对称加密。所以除了连接建立的时候使用非对称加密,其他时候的信息加密用的都是双方的会话秘钥,也就是私钥加密。这种就是对称加密方式。
TCP和UDP的区别
1、TCP是面向链接的,虽然说网络的不安全不稳定特性决定了多少次握手都不能保证连接的可靠性,但TCP的三次握手在最低限度上(实际上也很大程度上保证了)保证了连接的可靠性;
而UDP不是面向连接的,UDP传送数据前并不与对方建立连接,对接收到的数据也不发送确认信号,发送端不知道数据是否会正确接收,当然也不用重发,所以说UDP是无连接的、不可靠的一种数据传输协议。
2、也正由于1所说的特点,使得UDP的开销更小数据传输速率更高,因为不必进行收发数据的确认,所以UDP的实时性更好。
知道了TCP和UDP的区别,就不难理解为何采用TCP传输协议的MSN比采用UDP的QQ传输文件慢了,但并不能说QQ的通信是不安全的,
因为程序员可以手动对UDP的数据收发进行验证,比如发送方对每个数据包进行编号然后由接收方进行验证啊什么的,
即使是这样,UDP因为在底层协议的封装上没有采用类似TCP的“三次握手”而实现了TCP所无法达到的传输效率。
GET和POST的区别?
1 GET请求时,提交的数据集将被编码到URL中,作为URL的一部分。而使用POST时,提交的数据集则被编码到http协议的header中,构造成消息发送。
2 GET提交的数据大小有限制(因为浏览器对URL的长度有限制),而POST方法提交的数据没有限制.
3 使用上,当且仅当请求是幂等(请求任意次请求都返回同样的结果)时使用GET,而当请求会改变服务器数据或状态时使用POST。
4 GET方式提交数据,会带来安全问题,比如一个登录页面,通过GET方式提交数据时,用户名和密码将出现在URL上,如果页面可以被缓存或者其他人可以访问这台机器,就可以从历史记录获得该用户的账号和密码.
5、 GET 请求可被缓存,可以保留在浏览器历史记录中;post 请求不可被缓存。
PUT请求
如果两个请求相同,后一个请求会把第一个请求覆盖掉。用于更新资源(如 头像信息),是幂等的。
HEAD请求
类似于GET方法,只是不会返回内容主体,只会返回报文头
tips:
在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。
幂等函数,是指可以使用相同参数重复执行,并能获得相同结果的函数。这些函数不会影响系统状态,也不用担心重复执行会对系统造成改变。
状态码
关于HTTP请求的状态码一般分5个类别,分别是1,2,3,4,5开头的三位数字
1开头的数字:一般表示服务器已经收到了请求,要求请求者继续操作
2开头的数字:一般表示服务器成功接收并成功处理了一部分或者全部的请求
3开头的数字:一般是数据重定向的问题,表示服务器已经成功接收了请求,但是需要请求者进一步操作以完成请求
4开头的数字:一般是客户端错误,比如请求的资源不存在或者请求内容有误等问题
5开头的数字:服务器错误,一般是服务器在处理请求过程中发生了错误等。
常见的状态码有:200表示成功请求数据并返回。301表示资源被转移到了其他URL。404表示请求的资源不存在,找不到。500表示服务器内部出错。400表示请求语法错误。401表示需要身份认证。402表示保留。403表示请求被服务器拒绝执行。405表示请求方法被服务器禁止。
DNS:
我们通常上网都是输入的一个具体的域名,例如www.baidu.com,而真正与服务器通信需要一个准确的IP地址才行,所以DNS就油然而生,其目的就是为了解析一个域名。DNS就是一个从域名到IP地址的映射。常见的DNS劫持方式也是类似于HTTP的中间人攻击方式,攻击人会劫持DNS服务器,在客户端向DNS服务器请求IP地址时,返回错误的IP,导致客户端连接到错误的服务器。
扩展阅读:
浅谈HTTPS通信机制和Charles抓包原理
https://blog.csdn.net/zwjemperor/article/details/80719427
Https单向认证和双向认证
https://blog.csdn.net/duanbokan/article/details/50847612