网络基础（六）数据链路层、ARP协议、ICMP协议及DNS域名系统

网络通信过程简述

基于TCP/IP协议网络通信的过程中，将发出数据的主机称为源主机，接收数据的主机称为目的主机。当源主机发出数据时，数据在源主机中从上层向下层传送。源主机中的应用进程先将数据交给应用层，应用层加上必要的控制信息就成了报文流，向下传给传输层。传输层将收到的数据单元加上本层的控制信息，形成报文段、数据报，再交给网际层。网际层加上本层的控制信息，形成IP数据报，传给网络接口层。网络接口层将网际层交下来的IP数据报组装成帧，并以比特流的形式传给网络硬件（即物理层），数据就离开源主机。到达目标主机后在层层分用，数据就会传输到目的主机上的某个应用层进程。

网络接口层

网络接口层：在TCP/IP协议中，网络接口层位于第四层。由于网络接口层兼并了物理层和数据链路层,所以网络接口层既是传输数据的物理媒介，也可以为网络层提供一条准确无误的线路.

数据链路层概念及功能

数据链路层在物理层提供的服务的基础上向网络层提供服务，其最基本的服务是将源自网络层来的数据可靠地传输到相邻节点的目标机网络层 。
大致流程：
以太网协议(局域网技术标准)规定，接入网络的设备都必须安装网络适配器，即网卡，数据包必须是从一块网卡传送到另一块网卡。而网卡地址就是数据包的发送地址和接收地址，有了MAC地址(网卡硬件地址)以后，以太网采用广播形式，把数据包发给该子网内所有主机，子网内每台主机在接收到这个包以后，都会读取首部里的目标MAC地址，然后和自己的MAC地址进行对比（ARP协议），如果相同（是给我的），就做下一步处理，如果不同（与我无关），就丢弃这个包。

所以链路层的主要工作就是对电信号进行分组并形成具有特定意义的数据帧，然后以广播的形式通过物理介质发送给接收方。

数据链路层定义了在单个链路上如何传输数据。数据链路层必须具备一系列相应的功能，主要有：

• 如何将数据组合成数据块，在数据链路层中称这种数据块为帧，帧是数据链路层的传送单位；
• 如何控制帧在物理信道上的传输，包括如何处理传输差错，如何调节发送速率以使与接收方相匹配；
• 以及在两个网络实体之间提供数据链路通路的建立、维持和释放的管理。

物理链路（物理线路）：是由传输介质与设备组成的。原始的物理传输线路是指没有采用高层差错控制的基本的物理传输介质与设备。

数据链路（逻辑线路）：在一条物理线路之上，通过一些规程或协议来控制这些数据的传输，以保证被传输数据的正确性。实现这些规程或协议的硬件和软件加到物理线路，这样就构成了数据链路，从数据发送点到数据接收点所经过的传输途径。当采用复用技术时，一条物理链路上可以有多条数据链路。

认识MAC地址

• MAC地址用来识别数据链路层中相连的节点;
• 长度为48位, 及6个字节. 一般用16进制数字加上冒号的形式来表示
  (例如: 08:00:27:03:fb:19)
• 在网卡出厂时就确定了, 不能修改. mac地址通常是唯一的(虚拟机中的mac地址不是真实的mac地址, 可能会冲突; 也有些网卡支持用户配置mac地址)

理解MAC地址和IP地址：
IP地址描述的是路途总体的 起点 和 终点;
MAC地址描述的是路途上的每一个区间的起点和终点。

以太网

以太网不是一种具体的网络, 而是一种技术标准; 既包含了数据链路层的内容, 也包含了一些物理层的内容.
例如: 规定了网络拓扑结构, 访问控制方式, 传输速率（逻辑线路）等;
例如：以太网中的网线必须使用双绞线（物理线路）; 传输速率有10M, 100M, 1000M等;
以太网是当前应用最广泛的局域网技术; 和以太网并列的还有令牌环网, 无线LAN等;

以太网帧格式

• 源地址和目的地址是指网卡的硬件地址(也叫MAC地址), 长度是48位,是在网卡出厂时固化的;
• 帧协议类型字段有三种值,分别对应网络层使用的协议：IP、ARP、RARP;
• 帧末尾是CRC校验码。

一个数据从传输层（使用TCP协议）下来封装成以太网帧格式时：

MTU（最大传输单元）

相当于发快递时对包裹尺寸的限制. 这个限制是不同的数据链路对应的物理层, 产生的限制.以太网帧中的数据长度规定最小46字节,最大1500字节,ARP数据包的长度不够46字节,要在后面补填充位;

• 最大值1500称为以太网的最大传输单元(MTU),不同的网络类型有不同的MTU;
• 如果一个数据包从以太网路由到拨号链路上,数据包长度大于拨号链路的MTU了,则需要对数据包进行分片;
• 不同的数据链路层标准的MTU是不同的;

MTU对IP协议的影响
由于数据链路层MTU的限制, 对于较大的IP数据包要进行分包（利用IP协议头里的标识和标志字段及片偏移字段来完成分包和重组）.

• 将较大的IP包分成多个小包, 每个小包IP协议头的 16位标识(id) 都是相同的;
• 每个小包的IP协议头的3位标志字段中, 第2位置为0, 表示允许分片, 第3位来表示结束标记(当前是否是最后一个小包, 是的话置为1, 否则置为0);
• 到达对端时再将这些小包, 会按顺序重组, 拼装到一起返回给传输层;
• 一旦这些小包中任意一个小包丢失, 接收端的重组就会失败. 但是IP层不会负责重新传输数据（ip协议也是不可靠的）;
  

MTU对UDP协议的影响

• UDP是整条数据交付的,就有可能提交给网络层的数据,超过了MTU的大小;那就必须在网络层就需要对UDP数据进行分片传输
• 且UDP协议是不可靠的，网络层的ip协议也是不可靠的;如果在分片传输的时候，网络层丢失了一个分片,则需要整条UDP数据就全部丢掉了（也不会重发）;

总结:

• 一旦UDP携带的数据超过1472（1500 - 20(IP首部) - 8(UDP首部)), 那么就会在网络层分成多个IP数据报.
• 这多个IP数据报有任意一个丢失, 都会引起接收端网络层重组失败. 那么这就意味着, 如果UDP数据报在网络层被分片, 整个数据被丢失的概率就大大增加了.

MTU对于TCP协议的影响

• MSS:TCP的一个数据报也还是受制于MTU,而TCP的单个数据报的最大消息长度, 称为MSS(MaxSegment Size);
• TCP在建立连接的过程中, 通信双方会进行MSS协商（tcp独有的东西）(三次握手时).
  – 双方在发送SYN的时候会在TCP头部写入自己能支持的MSS值.
  –然后双方得知对方的MSS值之后, 选择较小的作为最终MSS.
  –MSS的值就是在TCP首部的40字节变长选项中(kind=2);
  
  理论上的公式：MTU = MSS + ipheader + tcpheader
  注意:如果tcp通信双方在同一台机器,网络传输只走了协议栈,走的是本地回环网卡,而本地回环网卡的MTU大小一般是65535 ，
  所以上面MSS=65495 ===》 65535-20(ip头)-20(tcp头)
• 最理想的情况下, MSS的值正好是在IP不会被分片处理的最大长度(这个长度仍然是受制于数据链路层的MTU).

总结：TCP由于按照握手时协商的MSS给网络层提交数据 ,所以在网络层加上ip头部之后,也是小于等于MTU的,所以不需要分片传输 。

MTU总结：

• 由于网络电气特性的影响，在数据链路层对数据帧做出了限制，MTU:最大传输单元，单位是字节
• 如果网络层提交给数据链路层的数据大小大于MTU ,需要分片传输
• 数据封装的时候,网络层的数据来源于传输层，而传输层有两个协议TCP, UDP,而TCP由于是按照协商的MSS传输数据的，所以不用分片，而UDP并没有这样的机制，所以可能会被分片，而一旦在分片传输的过程中丢失，就会造成对端重组数据失败，被丢弃。

ARP协议

ARP协议即地址解析协议，是根据IP地址获取MAC地址的一个协议。
强调：ARP不是一个单纯的数据链路层的协议, 而是一个介于数据链路层和网络层之间的协议;
ARP协议的作用：
ARP协议建立了主机 IP地址 和 MAC地址 的映射关系.
在网络通讯时,源主机的应用程序知道目的主机的IP地址和端口号,却不知道目的主机的硬件地址;
数据包首先是被网卡接收到再去处理上层协议的,如果接收到的数据包的硬件地址与本机不符,则直接丢弃;因此在通讯前必须获得目的主机的硬件地址;

ARP数据报的格式

• ARP协议格式=以以网首部+ 28字节ARP请求或者应答首部

• 注意到源MAC地址、目的MAC地址在以太网首部和ARP请求中各出现一次,对于链路层为以太网标准时的情况是多余的,但如果链路层是其它类型的则有可能是必要的。

• 以太网首部:
  – 以太网目的地址: ARP请求的目的MAC地址，填充为全1 ,则表示广播地址;
  – 以太网源地址: ARP请求的源主机的MAC地址;
  – 帧类型: 以太网数据帧类型,表示上层使用什么协议
  IP协议: 0x0800
  ARP请求或者应答: 0x0806

• 28字节的请求或者应答：
  2字节硬件地址类型: 指链路层网络类型–》1为以太网， 令牌环网(已经被淘汰)
  2字节协议类型:表示使用什么协议，ip地址转换MAC地址的;
  1字节的硬件地址长度: 表示MAC地址的长度，对于以太网地址为6字节；
  1字节的协议地址程度: 对于和IP地址为4字节
  op字段 :标识是ARP请求还是APR应答，1表示请求，2表示应答

其工作原理：
ARP首先会发起一个请求数据包，数据包的首部包含了目标主机的IP地址，然后这个数据包会在链路层进行再次包装（类型字段里为ARP请求），生成以太网数据包，最终由以太网广播给子网内的所有主机，每一台主机都会接收到这个数据包，并取出标头里的IP地址，然后和自己的IP地址进行比较，如果相同就通过RARP应答数据包返回自己的MAC地址，如果不同就丢弃该数据包。ARP接收返回消息，以此确定目标机的MAC地址；与此同时，ARP还会将返回的MAC地址与对应的IP地址存入本机ARP缓存中并保留一定时间，下次请求时直接查询ARP缓存以节约资源。

ARP协议的工作流程演示

第一步：源主机发出ARP请求（一个以太网帧）,询问“IP地址是172.2.1.2的主机的硬件地址是多少”, 并将这个请求广播到本地网段(以太网帧首部的硬件地址填FF:FF:FF:FF:FF:FF表示广播);
第二步：目的主机接收到广播的ARP请求,发现其中的IP地址与本机相符,则发送一个ARP应答数据包给源主机,将自己的硬件地址填写在应答包中;

注意：

• ARP协议只在子网内部有效（广播给子网内所有主机）
• 每台主机都维护一个ARP缓存表,可以用arp -a命令查看。缓存表中的表项有过期时间(一般为20分钟),如果20分钟内没有再次使用某个表项,则该表项失效,下次还要发ARP请求来获得目的主机的硬件地址

DNS(Domain Name System)域名解析协议

DNS背景
TCP/IP中使用IP地址和端口号来确定网络上的一台主机的一个程序. 但是IP地址不方便记忆.于是人们发明了一种叫域名的东西, 是一个字符串, 并且使用hosts文件来描述主机名和IP地址的关系.保存域名映射到IP的关系对。
最初, 通过互连网信息中心(SRI-NIC)来管理这个hosts文件的.
如果一个新计算机要接入网络, 或者某个计算机IP变更, 都需要到信息中心申请变更hosts文件.其他计算机也需要定期下载更新新版本的hosts文件才能正确上网.
这样就太麻烦了, 于是产生了DNS系统.
一个组织的系统管理机构, 维护系统内的每个主机的IP和主机名的对应关系.如果新计算机接入网络, 将这个信息注册到数据库中;用户输入域名的时候, 会自动查询DNS服务器, 由DNS服务器检索数据库, 得到对应的IP地址.
至今, 我们的计算机上仍然保留了hosts文件. 在域名解析的过程中仍然会优先查找hosts文件的内容.

cat /etc/hosts 可以查看hosts文件内容

• 1.域名:域名其实就是由"." 分割的字符串的集合,分割的字符串表示公司的名称或者性质的字符串;
  jingdong.com baidu.com taobao.com
  com :商业公司.cn(中国) .us(美国) .edu(教育) .gov(政府)
• 2.作用:将域名转化为IP地址
• 3.域名服务器( DNS服务器) : 保存了域名和ip的对应关系,处理DNS请求,将域名对应的IP地址应答给请求的浏览器，底层使用UDP协议来处理这样的请求
• 4.域名服务器是一种层级的管理方式,不同的域名服务器管理的域名不同
  根域名服务器–》授权管理
  顶级域名服务器–》.com :商业公司.cn(中国) .us(美国) .edu(教育) .gov(政府)
  二级域名服务器–》jingdong.com 、 baidu.com、 taobao.com
  三级域名服务器–》baike.baidu.com
  
  分布式DNS服务器（迭代查询）的特点：
  • 安全性：即使根服务器出现问题，分布在下面的DNS解析器还是可以使用的。
  • 速度快：传输的速度快，效率高。
  • 可以分摊压力：每个DNS都是独立的一部分，它可以帮助根服务器分摊压力。

注意：

• DNS是应用层协议
• 浏览器会缓存DNS结果
• DNS底层使用UDP协议

ICMP协议

ICMP协议是一个网络层协议。
一个新搭建好的网络, 往往需要先进行一个简单的测试, 来验证网络是否畅通; 但是IP协议并不提供可靠传输. 如果丢包了, IP协议并不能通知传输层是否丢包以及丢包的原因.

ICMP功能：
ICMP正是提供这种功能的协议; ICMP主要功能包括:

• 确认IP包是否成功到达目标地址.
• 通知在发送过程中IP包被丢弃的原因.
• ICMP也是基于IP协议工作的. 但是它并不是传输层的功能, 因此人们仍然把它归结为网络层协议;
• ICMP只能搭配IPv4使用. 如果是IPv6的情况下, 需要是用ICMPv6;

ICMP的报文格式

ICMP大概分为两类报文:
一类是通知出错原因
一类是用于诊断查询

实例分析：

ping命令

利用 ping命令来解析ICMP协议（ping命令就是基于ICMP协议的）

注意, 此处 ping 的是域名, 而不是url! 一个域名可以通过DNS解析成IP地址.

• ping命令不光能验证网络的连通性, 同时也会统计响应时间和TTL(IP包中的Time To Live, 生存周期).
• ping命令会先发送一个 ICMP Echo Request给对端;
• 对端接收到之后, 会返回一个ICMP Echo Reply;
  

一个值得注意的坑（面试问题）
有些面试官可能会问: telnet是23端口, ssh是22端口, 那么ping是什么端口?
正确回答就是：ping命令基于ICMP, 是在网络层. 而端口号, 是传输层的内容. 在ICMP中根本就不关注端口号这样的信息.

traceroute命令
也是基于ICMP协议实现, 能够打印出可执行程序主机, 一直到目标主机之前经历多少路由器.