TCP作为传输层控制协议,其保证的是数据传输的可靠性和传输效率,但TCP提供的仅仅是数据传输的策略,而真正负责数据在网络中传输的其实是传输层以下的网络层和数据链路层。
双方在进行网络通信时,发送的数据并不是直接从一方的传输层直接发送到了另一方的传输层,而是需要传输层将数据继续向下进行交付,在网络层和数据链路层经过数据封装后再通过网络发送到对方主机,对方主机收到数据后也同样需要在链路层和网络层进行数据解包,此时对方的传输层才拿到了发送过来的数据,然后再继续将该数据向上进行交付。
在网络层有能力将数据发送到对方主机的情况下,虽然网络层不能保证每次都能将数据成功的送到对方主机,但在TCP提供的可靠性策略保证下,最终网络层就一定能都将数据可靠的发送到对方主机。
说明一下:
数据在进行网络传输一般都是跨网络的,而路由器就是连接多个网络的硬件设备,因此数据在进行跨网络传输时一定需要经过多个路由器。
数据路由
是指,当我们确定了要到达的目的主机后,就需要寻找最短的路径到达该目的地。确定数据路由的目的后,数据就可以在网络中进行路由了,但数据在路由时无法自行进行路径选择。因此数据在路由的过程中是需要不断 “找路人问路”,而这里所谓的 “路人” 就是网络当中的一台台路由器。
路由器可以通过查路由表找到去特定点的最短路径,因此数据在路由的过程中,会不断通过路由器来进行路径选择,以此来一步步靠近目标网络或目标主机。
主机
: 配有IP地址,但是不进行路由控制的设备,但实际现在几乎不存在不进行路由控制的设备,因为就连我们平常使用的笔记本也会进行路由控制。路由器
: 既配有IP地址,又能进行路由控制,实际现在主流的路由器已经不仅仅拥有路由的功能了,他甚至具有某些应用层的功能。节点
: 主机和路由器的统称。
4 位版本号(version)
:指定 IP 协议的版本,对于 IPv4 来说,就是 4。4 位首部长度(header length)
:表示IP报头的长度,以4字节为单位。8位服务类型(Type Of Service)
:3位优先权字段(已经弃用),4位TOS字段,和1位保留字段(必须置为0)。4位TOS分别表示:最小延时,最大吞吐量,最高可靠性,最小成本。这四者相互冲突,只能选择一个。对于ssh/telnet这样的应用程序,最小延时比较重要; 对于ftp这样的程序,最大吞吐量比较重要。16位总长度(total length)
: IP报文(IP报头+有效载荷) 的总长度,用于将各个IP报文进行分离。16位标识(id)
:唯一的标识主机发送的报文。如果 IP 报文在数据链路层被分片了,那么每一个片里面的这个 id 都是相同的。3位标志字段
:第一位保留,表示暂时没有规定该字段的意义。第二位表示禁止分片,表示如果报文长度超过MTU,IP模块就会丢弃该报文。第三位表示“更多分片”,如果报文没有进行分片,则该字段设置为0,如果报文进行了分片,则除了最后一个分片报文设置为0以外,其余分片报文均设置为1。13位片偏移(framegament offset)
:分片相对于原始数据开始处的偏移,表示当前分片在原数据中的偏移位置,实际偏移的字节数是这个值× 8得到的。因此除了最后一个报文之外,其他报文的长度必须是8的整数倍,否则报文就不连续了。8位生存时间(Time To Live, TTL)
:数据报到达目的地的最大报文跳数. 一般是64. 每次经过一个路由, TTL -= 1, 一直减到0还没到达, 那么就丢弃了. 这个字段主要是用来防止出现路由循环。8位协议
:表示上层协议的类型。16位头部校验和
:使用CRC进行校验,来鉴别数据报首部是否损坏,但不检验数据部分。32位源IP地址和32位目的IP地址
:表示发送端和接收端所对应的IP地址。选项字段
:不定长,最多40字节。IP报头在内核当中本质上就是一个位段类型,给数据封装IP报头时,实际上就是用该位段类型定义一个变量,然后填充IP报头当中的各个属性字段,最后将这个IP报头拷贝到数据的首部,至此便完成了IP报头的封装。
IP协议如何将报头和有效载荷分离?
IP 报文是由固定的 20 字节的报头、选项字段和数据组成的。当收到一个 IP 报文时,先读取 IP 报文的前 20 个字节,再根据 4 位首部长度来判断该报文是否有选项字段。如果有,则继续读取选项字段。读取完选项字段,这样就完成解包,即报头与有效载荷分离。
IP协议如何将有效载荷交付给上一层哪一个协议?
在IP报头当中有一个字段叫做8位协议,该字段表示的就是上层协议的类型,IP就是根据该字段判定应该将分离出来的有效载荷交付给上层的哪一个协议的,该字段是发送方的IP层从上层传输层获取到数据后填充的,比如是上层TCP交给IP层的数据,那么该数据在封装IP报头时的8位协议填充的就是TCP对应的编号。
32位源IP地址和32位目的IP地址
数据在网络传输过程中会遇到一个一个的路由器,这些路由器会帮助网络当中的数据进行路由转发,使得网络当中的数据慢慢趋近于目标主机,路由器在帮助数据进行路由转发时,会提取出该数据的IP报头当中的目的IP地址,并以此作为数据路由转发的重要依据。
当接收方收到了发送端发送过来的数据是,接收方可能也想要给发送方发送数据,因此发送端在发送数据时,除了需要知名该数据的目的IP地址,还需要指明该数据的源IP地址,也就是发送端的IP地址,即使接收端收到数据后没有数据项要发送给发送端,但至少接收端需要向发送端发送一个响应报文,表明发送端发送的数据已经被接收端可靠的收到了,因此发送出去的数据除了需要指明该数据的目的IP地址,还需要指明该数据的源IP地址。
这里我们需要注意的是,发送数据时我们不需要指明发送方的源IP地址和源端口号,因为传输层和网络层都是在操作系统内核当中实现的,数据在进行封装时,系统会自行填充上对应的源IP地址和源端口号。
数据链路层由于物理特性的原因,一般无法转发太大的数据,因此数据链路层对转发到网络的报文大小有限制,称之为 MTU(Maximum Transmission Unit,最大传输单元),一般是 1500 字节。 如果 IP 报文超过了 MTU,就需要对 IP 报文进行 分片
。分片的行为是在网络层进行的,同样数据的 组装
也是在网络层进行的。IP 报文分片和组装的行为,传输层是不知道,也不关心的。
分片
: 当IP层的数据超过1500字节时,需要现在IP层对该数据进行分片,然后再将分片后的数据交给下层MAC帧进行发送。
组装
: 如果在发送数据时在IP层进行了分片,那么当这些分片数据到达对端主机的IP层后就需要先进行组装,然后再将组装好的数据交付给上层。
IP报文的分片:
16 位标识(id)是 IP 报文的序号。如果 IP 报文在数据链路层被分片了,那么每一个片里面的这个 id 都是相同的。如果 16 位标识不相同,则说明它们不是同一个 IP 报文。
3 位标志字段中的第一位是保留的,而第二位为 1 表示禁止分片,主要用来探测数据链路层的最大传输单元。第三位表示 “更多分片”,如果分片了的话,最后一个分片置为 0,其他是 1,类似于一个结束标记。
13 位分片偏移(framegament offset)是分片相对于原始 IP 报文开始处的偏移,其实就是在表示当前分片在原报文中处在哪个位置,实际偏移的字节数是这个值 * 8 得到的。
IP报文的组装:
分片这种行为并不是主流,如果分片了,就会大大增加丢包的概率。
能够从众多报文中识别出哪些是不同的报文,哪些是相同的报文,这个可以通过 16 位标识来区分。不同的报文,标识是不同的。而相同报文的分片,标识是相同的。
能够识别报文是否被分片与是否没有被分片:如果报文没有被分片,那么更多分片标志位位 0 并且 13 位片偏移为 0。 如果更多分片标志位是 1,则表明该报文被分片了。
能够识别出分片是原始报文中的哪一部分:如果更多分片标志位为 1,片偏移为 0,则表示该分片是报文的开始部分。而如果更多分片标志位为 0,片偏移不为 0,则表示该分片是报文的结尾部分。如果更多分片标志位为 1,片偏移不为 0,则表示该分片是报文的中间部分。中间部分的分片可能会有多个,那如何保证收齐了这些分片呢?其实可以根据偏移量进行升序排序,然后扫描全部分片来判断分片是否收齐。因为下一个分片的偏移量等于上一个分片的偏移量 + 上一个分片的大小,如果分片没有收齐,那么一定不符合这个关系,那么中间的分片就一定有丢失的。
异常处理:如果有分片丢失,需要能够识别出来。
为什么不建议进行分片?
需要注意的是,只要分片报文当中的某一个出现了丢包,此时传输层都需要将数据整体进行重传,因为传输层并不知道底层IP对数据进行了分片,当传输层发送出去的数据得不到应答时传输层就只能将数据整体进行重传,因此数据在发送时不建议进行分片。
MAC帧的有效载荷最大为MTU,TCP的有效载荷最大为MSS,由于TCP和IP常规情况下报头的长度都是20字节,因此一般情况下 MSS = MTU - 20 - 20,而MTU的值一般是1500字节,因此MSS的值一般就是1460字节。
所以一般建议TCP将发送的数据控制在1460字节以内,此时就能够降低数据分片的可能性。之所以说是降低数据分片的可能性,是因为每个网络的链路层对应的MTU可能是不同的,如果数据在传输过程中进入到了一个MTU较小的网络,那么该数据仍然可能需要在路由器中进行分片。
IP地址分为两个部分, 网络号
和 主机号
上图中路由器连接了两个网段,对于网络标识来讲,同一网段内主机的网络标识是不同的,而对于主机标识来讲,同一网段内主机的主机标识是不同的,不同网段内主机的主机标识是可以相同的。
动态主机配置协议(Dynamic Host Configuration Protocol,简称 DHCP)
是一种计算机网络协议,它用于在网络中自动分配 IP 地址和其他网络配置参数,以便网络设备(如计算机、手机、打印机等)能够在加入网络时获得所需的网络配置信息。DHCP 能够简化网络管理,使得设备的连接和配置更加便捷。
DHCP 协议的优势在于它简化了网络中的 IP 地址管理,减轻了网络管理员的负担,并且使设备的添加和移除更加灵活和方便。同时,DHCP 也支持 IP 地址重用,即设备离开网络后,它分配的 IP 地址可以被其他设备再次使用,充分利用 IP 地址资源。
一般的路由器都带有 DHCP 功能. 因此路由器也可以看做一个 DHCP 服务器。当设备加入网络时,它会向路由器发送一个 DHCP 请求,请求一个可用的 IP 地址。所以,当我们连接WiFi时需要输入密码,本质就是因为路由器需要验证我们的账号和密码,当验证通过时,那么路由器就会给我们动态分配一个IP地址,然后我们就可以基于这个IP地址进行各种上网动作了。
网段划分
过去曾提出一种划分网络号和主机号的方案,就是把所有的IP地址分为5类,如下图所示:
随着 Internet 的飞速发展,这种划分方案的局限性很快显现出来。大多数组织都申请 B 类网络地址,导致 B 类地址很快就分配完了,而 A 类却浪费了大量地址。例如:申请了一个 B 类地址,理论上一个子网内能允许 6 万 5 千多个主机,A 类地址的子网内的主机数更多。然而实际网络架设中,不会存在一个子网内有这么多的情况,因此大量的 IP 地址都被浪费掉了。
为了避免这种情况,于是又提出了新的划分方案,称为CIDR(Classless Interdomain Routing)
:
CIDR 引入一个额外的子网掩码(subnet mask)来区分网络号和主机号。子网掩码也是一个 32 位的正整数,通常用一串 “0” 来结尾。将 IP 地址和子网掩码进行 “按位与” 操作,得到的结果就是网络号。网络号和主机号的划分与这个 IP 地址是 A 类、B 类还是 C 类无关。
可见 IP 地址与子网掩码做与运算可以得到网络号,主机号从全 0 到全 1 就是子网的地址范围。IP 地址和子网掩码还有一种更简洁的表示方法,例如 140.252.20.68/24
,表示 IP 地址为 140.252.20.68
,子网掩码的高 24 位是 1,也就是 255.255.255.0
。
因为路由器至少要连接两个不同的子网,而每个网络的网络号是不同的,那么每个路由器都需要给自己直接连接的网络配置对应的子网掩码。有了子网掩码,给不同的路由器配置不同位数的子网掩码,也就能够看到不同的网络号了。那么,只需要将目的 IP 地址与路由器子网掩码进行按位与操作,就能够得到该报文要去的目的网络了。
特殊的IP地址
本地回环的目的就是将数据自顶向下贯穿协议栈,进行一次数据封装的过程,然后再自底向上贯穿协议栈,进行一次解包和分用的过程,用于测试本地网络功能是否正常。
我们知道,IP 地址(IPv4)是一个 4 字节 32 位的正整数。 那么一共只有 2 的 32 次方个 IP 地址,大概是 43 亿左右。 而 TCP / IP 协议规定,每个主机都需要有一个 IP 地址。
这意味着,一共只有 43 亿台主机能接入网络么?实际上,由于一些特殊的 IP 地址的存在,数量远不足 43 亿。另外 IP 地址并非是按照主机台数来配置的,而是每一个网卡都需要配置一个或多个 IP 地址。所以32亿个IP地址其实早就不够用了,因此才提出了CIDR的方案对已经划分好的五类网络继续进行子网划分,其目的就是为了减小IP地址的浪费。
CIDR 在一定程度上缓解了 IP 地址不够用的问题,但是仍然不够用,因此解决IP地址不足有以下几种方式:
动态分配IP地址
: 只给接入网络的设备分配IP地址,因此同一个MAC地址的设备,每次接入互联网中,得到的IP地址不一定是相同的,避免了IP地址强绑定于某一台设备。NAT技术
: 能够让不同局域网当中同时存在两个相同的IP地址,NAT技术不仅能解决IP地址不足的问题,而且还能够有效地避免来自网络外部的攻击,隐藏并保护网络内部的计算机。IPv6
: IPv6用16字节128位来表示一个IP地址,能够大大缓解IP地址不足的问题。但IPv6并不是IPv4的简单升级版,它们是互不相干的两个协议,彼此并不兼容,因此目前IPv6还没有普及。
如果一个组织内部组建局域网,IP 地址只用于局域网内的通信,而不直接连到 Internet上。理论上使用任意的 IP 地址都可以,但是 RFC 1918 规定了用于组建局域网的私有 IP 地址。
10.*
,前 8 位是网络号,共 16777216 个地址。
172.16.
到172.31.
,前 12 位是网络号,共 1048576 个地址。
192.168.*
,前 16 位是网络号,共 65536 个地址。
包含在这个范围中的 IP 地址,都成为私有 IP,其余的则称为全局 IP 或公网 IP。
我们上网时为什么不是给互联网公司交钱,而是给运行商交钱?
实际网络通信的基础设施都是运营商搭建的,我们访问服务器的数据并不是直接发送到了对应的服务器,而是需要经过运营商建设的各种基站以及各种路由器,最终数据才能到达对应的服务器。
因为运营商为我们提供了通信的基础设施,所以我们交网费实际就相当于购买入网许可一样。
没有运营商提供的这些基础设施,就不会诞生所谓的互联网公司,因为互联网公司是诞生在网络通信基础之上的。
也就是说,用户上网的数据首先必须经过运营商的相关网络设备,然后才能发送到互联网公司对应的服务器。因此所谓的网段划分、子网划分等工作实际都是运营商做的。
为什么我们访问不了 Google、Facebook、YouTube 等网站呢?
因为我们国家是有墙的,其学术名称为防火长城(Great Firewall,GFW)。当你以www.google.com的方式来访问谷歌时,运营商可以直接不给你提供域名解析服务。或者当你直接使用公网 IP 地址的方式来访问谷歌,运营商识别出来可以直接拦截你的请求。
路由器是连接两个或多个网络的硬件设备,在路由器上有两种网络接口,分别是LAN口和WAN口:
LAN口(Local Area Network)
: 表示连接本地网络的端口,主要与家庭网络当中的交换机、集线器或PC相连。WAN口(Wide Area Network)
:表示连接广域网的端口,一般指互联网。LAN口的IP地址叫做LAN口IP,也叫做子网IP,WAN口的IP地址叫做WAN口IP,也叫做外网IP。
我们使用的电脑、家用路由器、运营商路由器、广域网以及我们要访问的服务器之间的关系大致如下:
访问公网的过程
假设我们主机的 IP 地址是192.168.1.201,要访问的服务器的 IP 地址是122.77.241.3。我们将上网请求交给家用路由器,家用路由器发现我们要访问的 IP 地址是122.77.241.3,就将这个网络请求交给最外层的运行商路由器,这样网络请求就到达了公网。然后运行商路由器发现目的 IP 是122.77.241.3,最后就将该网络请求转发给这台服务器了。需要注意的是,每经过一个运营商的内网路由器时,都要将报文中的源 IP 地址替换成该路由器的 WAN 口 IP。当报文出现在公网上,就不再需要做替换了。
当服务器处理完网络请求后,服务器似乎只能够将响应转发给最外层的路由器,无法将响应转发给用户的主机。但并不是这样的,这个需要我们知道后面的内容才能够了解清楚。
两个局域网当中的主机不能不跨公网进行通信
两个局域网当中的主机理论上是不能不跨公网进行通信的,因为一个主机要将数据发送给另一台主机的前提是得先知道另一台主机的IP地址。
即便现在这个主机知道了另一台主机的IP地址,但有可能这两台主机的IP地址是一样的,因为它们的IP地址都是私网IP地址。
当这一台主机发送数据时将目的IP地址填成和自己相同的IP地址,操作系统就会认为这个数据就是要发给自己的,而不会向外进行发送了。
所以数据要从一个局域网发送到另一个局域网,如果不经过公网是基本上不可能的。我们在和别人聊天的时候,也不是直接将数据从一个局域网直接发送到了另一个局域网,而是先将数据经过公网发送到了服务器,然后再由服务器将数据经过公网转发到了另一个局域网。
但实际确实存在一些技术能够使数据包在发送过程中不进行公网IP的替换,而将数据正确送到目标主机,这种技术叫做内网穿透,也叫做NAT穿透。
路由过程
是指在计算机网络中,数据包从源设备发送到目标设备的过程,其中涉及到多个网络设备(如路由器和交换机)的协作工作,以确保数据包能够正确地从源地址到目标地址进行传输。路由的过程,就是这样一跳一跳(Hop by Hop) “问路” 的过程。所谓 “一跳” 就是数据链路层中的一个区间,具体在以太网中指从源 MAC 地址到目的 MAC 地址之间的帧传输区间。
IP数据包的传输过程中会遇到很多路由器,当 IP 数据包到达路由器时,路由器会先查看目的 IP。然后路由器才会决定这个数据包是能直接发送给目标主机还是需要发送给下一个路由器,如此反复,一直达到目标 IP 所在的局域。
路由器的查找结果可能有以下三种:
路由表查询的具体过程
每个路由器内部都会维护一个路由表,我们可以通过route命令查看云服务器上对应的路由表。
- Destination代表的是目的网络地址。
- Gateway代表的是下一跳地址。
- Genmask代表的是子网掩码。
- Flags中,U标志表示此条目有效(可以禁用某些条目)G标志表示此条目的下一跳地址是某个路由器的地址,没有G标志的条目表示目的网络地址是与本机接口直接相连的网络,不必经路由器转发。
- Iface代表的是发送接口。
当IP数据包到达路由器时,路由器就会用该数据的目的IP地址,依次与路由表中的子网掩码 Genmask进行“按位与”操作,然后将结果与子网掩码对应的目的网络地址Destination进行比对,如果匹配则说明该数据包下一跳就应该跳去这个子网,此时就会将该数据包通过对应的发送接口Iface发出。
如果将该数据包的目的IP地址与子网掩码进行“按位与”后,没有找到匹配的目的网络地址,此时路由器就会将这个数据包发送到默认路由,也就是路由表中目标网络地址中的default。可以看到默认路由对应的Flags是UG,实际就是将该数据转给了另一台路由器,让该数据在另一台路由器继续进行路由。
数据包不断经过路由器路由后,最终就能到达目标主机所在的目标网络,此时就不再根据该数据包目的IP地址当中的网络号进行路由了,而是根据目的IP地址当中的主机号进行路由,最终根据该数据包对应的主机号就能将数据发送给目标主机了。
路由表生成算法
路由表可以由网络管理员手动维护(静态路由),也可以通过一些算法自动生成(动态路由)。路由表相关的生成算法:距离向量算法、LS 算法、Dijkstra 算法等。
IP 协议只是依据目的 IP 地址、子网划分、路由表查找与路由算法提供了数据转发的策略,并没有实现设备转发的具体功能。具体的设备转发就是局域网内数据转发的问题,这是由下一层数据链路层来解决的。