IP协议与MAC地址详解

IP协议

基本概念

主机: 配有IP地址, 但是不进行路由控制的设备; 路由器: 即配有IP地址, 又能进行路由控制; 节点: 主机和路由器的统称;

协议头格式

1、4位版本号(version): 指定IP协议的版本, 对于IPv4来说, 就是4。

2、4位首部长度(header length): 4个比特位能表示的最大数是15,每个单位是4个字节，即4位首部长度最大为 length * 4 的字节数.，也就是60字节，最小是最基本的20个字节。

报头与有效载荷分离;先读取20个字节，拿到首部长度和16位总长度，16位总长度减去有4位首部长度就是有效载荷。

3、8位服务类型(Type Of Service): 3位优先权字段(已经弃用), 4位TOS字段, 和1位保留字段(必须置为0).
4位TOS分别表示: 最小延时, 最大吞吐量, 最高可靠性, 最小成本. 这四者相互冲突, 只能选择一个. 对于ssh/telnet这样的应用程序, 最小延时比较重要; 对于ftp这样的程序, 最大吞吐量比较重要.

4、16位总长度(total length): IP数据报整体占多少个字节.

5、16位标识(id): 唯一的标识主机发送的报文. 如果IP报文在数据链路层被分片了, 那么每一个片里面的这个id都是相同的.

6、3位标志字段: 第一位保留(保留的意思是现在不用, 但是还没想好说不定以后要用到). 第二位置为1表示禁止分片, 这时候如果报文长度超过MTU, IP模块就会丢弃报文. 第三位表示"更多分片", 如果分片了的话, 最后一个分片置为1, 其他是0. 类似于一个结束标记.

7、13位分片偏移(framegament offset): 是分片相对于原始IP报文开始处的偏移. 其实就是在表示当前分片在原报文中处在哪个位置. 实际偏移的字节数是这个值 * 8 得到的. 因此, 除了最后一个报文之外, 其他报文的长度必须是8的整数倍(否则报文就不连续了).

8、8位生存时间(Time To Live, TTL): 数据报到达目的地的最大报文跳数. 一般是64. 每次经过一个路由, TTL -= 1, 一直减到0还没到达, 那么就丢弃了. 这个字段主要是用来防止出现路由循环。

9、8位协议: 表示上层协议的类型，例、有可能是TCP，有可能是UDP。

10、16位头部校验和: 使用CRC进行校验, 来鉴别头部是否损坏。

11、32位源地址和32位目标地址: 表示发送端和接收端.

12、选项字段(不定长, 最多40字节)

网段划分

IP地址分为两个部分, 网络号和主机号

1、网络号: 保证相互连接的两个网段具有不同的标识;
2、主机号: 同一网段内, 主机之间具有相同的网络号, 但是必须有不同的主机号;

3、不同的子网其实就是把网络号相同的主机放到一起.

4、如果在子网中新增一台主机, 则这台主机的网络号和这个子网的网络号一致, 但是主机号必须不能和子网中的其他主机重复。

通过合理设置主机号和网络号, 就可以保证在相互连接的网络中, 每台主机的IP地址都不相同.

那么问题来了, 手动管理子网内的IP, 是一个相当麻烦的事情.

有一种技术叫做DHCP, 能够自动的给子网内新增主机节点分配IP地址, 避免了手动管理IP的不便。

一般的路由器都带有DHCP功能. 因此路由器也可以看做一个DHCP服务器。

过去曾经提出一种划分网络号和主机号的方案, 把所有IP 地址分为五类, 如下图所示

随着Internet的飞速发展,这种划分方案的局限性很快显现出来,大多数组织都申请B类网络地址, 导致B类地址很快就分配完了, 而A类却浪费了大量地址;

例如, 申请了一个B类地址, 理论上一个子网内能允许6万5千多个主机. A类地址的子网内的主机数更多.

然而实际网络架设中, 不会存在一个子网内有这么多的情况. 因此大量的IP地址都被浪费掉了.

针对这种情况提出了新的划分方案, 称为CIDR(Classless Interdomain Routing):

• 引入一个额外的子网掩码(subnet mask)来区分网络号和主机号;
• 子网掩码也是一个32位的正整数. 通常用一串 “0” 来结尾;
• 将IP地址和子网掩码进行 “按位与” 操作, 得到的结果就是网络号;
• 网络号和主机号的划分与这个IP地址是A类、B类还是C类无关;

下面举2个例子：

可见,IP地址与子网掩码做与运算可以得到网络号, 主机号从全0到全1就是子网的地址范围;
IP地址和子网掩码还有一种更简洁的表示方法,例如140.252.20.68/24,表示IP地址为140.252.20.68, 子网掩码的高24位是1,也就是255.255.255.0

特殊的IP地址

• 将IP地址中的主机地址全部设为0, 就成为了网络号, 代表这个局域网；
• 将IP地址中的主机地址全部设为1, 就成为了广播地址, 用于给同一个链路中相互连接的所有主机发送数据包;
• 127.*的IP地址用于本机环回(loop back)测试,通常是127.0.0.1；

IP地址的数量限制

我们知道, IP地址(IPv4)是一个4字节32位的正整数. 那么一共只有 2的32次方 个IP地址, 大概是43亿左右. 而TCP/IP协议规定, 每个主机都需要有一个IP地址。

这意味着, 一共只有43亿台主机能接入网络么?
实际上, 由于一些特殊的IP地址的存在, 数量远不足43亿; 另外IP地址并非是按照主机台数来配置的, 而是每一个网卡都需要配置一个或多个IP地址.

CIDR在一定程度上缓解了IP地址不够用的问题(提高了利用率, 减少了浪费, 但是IP地址的绝对上限并没有增加), 仍然不是很够用. 这时候有三种方式来解决:

• 动态分配IP地址: 只给接入网络的设备分配IP地址. 因此同一个MAC地址的设备, 每次接入互联网中, 得到的IP地址不一定是相同的;
• NAT技术(后面会重点介绍);
• IPv6: IPv6并不是IPv4的简单升级版. 这是互不相干的两个协议, 彼此并不兼容; IPv6用16字节128位来表示一个IP地址; 但是目前IPv6还没有普及;

私有IP地址和公网IP地址

如果一个组织内部组建局域网,IP地址只用于局域网内的通信,而不直接连到Internet上,理论上 使用任意的IP地址都可以,但是RFC 1918规定了用于组建局域网的私有IP地址：

• 10.*,前8位是网络号,共16,777,216个地址；
• 172.16.到172.31.,前12位是网络号,共1,048,576个地址；
• 192.168.*,前16位是网络号,共65,536个地址；

包含在这个范围中的, 都成为私有IP, 其余的则称为全局IP(或公网IP);

路由

在复杂的网络结构中, 找出一条通往终点的路线;

路由的过程, 就是这样一跳一跳(Hop by Hop) “问路” 的过程. 所谓 “一跳” 就是数据链路层中的一个区间. 具体在以太网中指从源MAC地址到目的MAC地址之间的帧传输区间.

IP数据包的传输过程也和问路一样

• 当IP数据包, 到达路由器时, 路由器会先查看目的IP;
• 路由器决定这个数据包是能直接发送给目标主机, 还是需要发送给下一个路由器;
• 依次反复, 一直到达目标IP地址;

• 路由表可以使用route命令查看
• 如果目的IP命中了路由表, 就直接转发即可;
• 路由表中的最后一行,主要由下一跳地址和发送接口两部分组成,当目的地址与路由表中其它行都不匹配时,就按缺省路由条目规定的接口发送到下一跳地址。

假设某主机上的网络接口配置和路由表如下:

• 这台主机有两个网络接口,一个网络接口连到192.168.10.0/24网络,另一个网络接口连到192.168.56.0/24网络;
• 路由表的 Destination 是目的网络地址, Genmask 是子网掩码, Gateway 是下一跳地址, Iface 是发送接口, Flags中 的 U 标志表示此条目有效(可以禁用某些 条目), G 标志表示此条目的下一跳地址是某个路由器的地址,没有 G 标志的条目表示目的网络地址是与本机接口直接相连的网络,不必经路由器转发;

转发过程例1: 如果要发送的数据包的目的地址是192.168.56.3

• 跟第一行的子网掩码做与运算得 到192.168.56.0,与第一行的目的网络地址不符；
• 再跟第二行的子网掩码做与运算得 到192.168.56.0,正是第二行的目的网络地址,因此从eth1接口发送出去;
• 由于192.168.56.0/24正 是与eth1 接口直接相连的网络,因此可以直接发到目的主机,不需要经路由器转发;

转发过程例2: 如果要发送的数据包的目的地址是202.10.1.2

• 依次和路由表前几项进行对比, 发现都不匹配;
• 按缺省路由条目, 从eth0接口发出去, 发往192.168.10.1路由器;
• 由192.168.10.1路由器根据它的路由表决定下一跳地址;

NAT(Network Address Translation，网络地址转换).

IPv4协议中, IP地址数量不充足的问题；

NAT技术当前解决IP地址不够用的主要手段, 是路由器的一个重要功能;

• NAT能够将私有IP对外通信时转为全局IP. 也就是就是一种将私有IP和全局IP相互转化的技术方法:
• 很多学校, 家庭, 公司内部采用每个终端设置私有IP, 而在路由器或必要的服务器上设置全局IP;
• 全局IP要求唯一, 但是私有IP不需要; 在不同的局域网中出现相同的私有IP是完全不影响的;

• 一个路由器可以配置两个IP地址, 一个是WAN口IP, 一个是LAN口IP(子网IP).
• 路由器LAN口连接的主机, 都从属于当前这个路由器的子网中.
• 不同的路由器, 子网IP其实都是一样的(通常都是192.168.1.1). 子网内的主机IP地址不能重复. 但是子网之间的IP地址就可以重复了.
• 每一个家用路由器, 其实又作为运营商路由器的子网中的一个节点. 这样的运营商路由器可能会有很多级, 最外层的运营商路由器, WAN口IP就是一个公网IP了.
• 子网内的主机需要和外网进行通信时, 路由器将IP首部中的IP地址进行替换(替换成WAN口IP), 这样逐级替换, 最终数据包中的IP地址成为一个公网IP. 这种技术称为NAT(Network Address Translation，网络地址转换).

两个主机如何跨网络通信呢？

NAT IP转换过程

• NAT路由器将源地址从10.0.0.10替换成全局的IP 202.244.174.37;
• NAT路由器收到外部的数据时, 又会把目标IP从202.244.174.37替换回10.0.0.10;
• 在NAT路由器内部, 有一张自动生成的, 用于地址转换的表;
• 当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系;

NAPT

那么问题来了, 如果局域网内, 有多个主机都访问同一个外网服务器, 那么对于服务器返回的数据中, 目的IP都是相同的. 那么NAT路由器如何判定将这个数据包转发给哪个局域网的主机?

这时候NAPT来解决这个问题了. 使用IP+port来建立这个关联关系

这种关联关系也是由NAT路由器自动维护的. 例如在TCP的情况下, 建立连接时, 就会生成这个表项; 在断开连接后, 就会删除这个表项

NAT技术的缺陷

• 无法从NAT外部向内部服务器建立连接;
• 装换表的生成和销毁都需要额外开销;
• 通信过程中一旦NAT设备异常, 即使存在热备, 所有的TCP连接也都会断开;

数据链路层

认识以太网

• “以太网” 不是一种具体的网络, 而是一种技术标准; 既包含了数据链路层的内容, 也包含了一些物理层的内容. 例如: 规定了网络拓扑结构, 访问控制方式, 传输速率等;
• 例如以太网中的网线必须使用双绞线; 传输速率有10M, 100M, 1000M等;
• 以太网是当前应用最广泛的局域网技术; 和以太网并列的还有令牌环网, 无线LAN等;

以太网帧格式

认识MAC地址

• MAC地址用来识别数据链路层中相连的节点;
• 长度为48位, 及6个字节. 一般用16进制数字加上冒号的形式来表示(例如: 08:00:27:03:fb:19)；
• 在网卡出厂时就确定了, 不能修改. mac地址通常是唯一的(虚拟机中的mac地址不是真实的mac地址, 可能会冲突; 也有些网卡支持用户配置mac地址).

对比理解MAC地址和IP地址

• IP地址描述的是路途总体的 起点 和 终点;
• MAC地址描述的是路途上的每一个区间的起点和终点;

举例说明：唐僧西天取经：
别人会问唐僧从哪来，要到哪里去。唐僧都会回答道，贫僧是从东土大唐而来，要到西方拜佛求经。

这里的东土大唐就是：源IP
西方雷音寺就是：目的IP

有人问：和尚，你上一站从哪里来，下一站要到哪里去。唐僧回答：贫僧上一站从火焰山来，下一站要到女儿国去。

火焰山和女儿国就是：MAC地址，MAC地址，在途中，是一直改变的。

认识MTU

MTU相当于发快递时对包裹尺寸的限制. 这个限制是不同的数据链路对应的物理层, 产生的限制

• 以太网帧中的数据长度规定最小46字节,最大1500字节,ARP数据包的长度不够46字节,要在后面补填充位;
• 最大值1500称为以太网的最大传输单元(MTU),不同的网络类型有不同的MTU;
• 如果一个数据包从以太网路由到拨号链路上,数据包长度大于拨号链路的MTU了,则需要对数据包进行分片(fragmentation);
• 不同的数据链路层标准的MTU是不同的;

注意：在网络中传播的数据都是MAC帧数据，而MAC帧最大只能一次传1500个字节，所以IP将报文给MAC帧时，每个报文不能大于1500，超过1500字节，IP要负责将其分片，分成多片传给MAC帧。当数据传到对端主机时，到 IP 层时，IP要负责组装，分片与组装，后面详谈。

MTU对IP协议的影响

由于数据链路层MTU的限制, 对于较大的IP数据包要进行分包.

• 将较大的IP包分成多个小包, 并给每个小包打上标签;
• 每个小包IP协议头的 16位标识(id) 都是相同的;
• 每个小包的IP协议头的3位标志字段中, 第2位置为0, 表示允许分片, 第3位来表示结束标记(当前是否是最后一个小包, 是的话置为1, 否则置为0);
• 到达对端时再将这些小包, 会按顺序重组, 拼装到一起返回给传输层;
• 一旦这些小包中任意一个小包丢失, 接收端的重组就会失败. 但是IP层不会负责重新传输数据;重传数据由TCP负责。
  

MTU对UDP协议的影响

• 一旦UDP携带的数据超过1472(1500 - 20(IP首部) - 8(UDP首部)), 那么就会在网络层分成多个IP数据报。
• 这多个IP数据报有任意一个丢失, 都会引起接收端网络层重组失败. 那么这就意味着, 如果UDP数据报在网络层被分片, 整个数据被丢失的概率就大大增加了。

MTU对于TCP协议的影响

• TCP的一个数据报也不能无限大, 还是受制于MTU。TCP的单个数据报的最大消息长度, 称为MSS(Max Segment Size);
• TCP在建立连接的过程中, 通信双方会进行MSS协商.
• 最理想的情况下, MSS的值正好是在IP不会被分片处理的最大长度(这个长度仍然是受制于数据链路层的MTU).
• 双方在发送SYN的时候会在TCP头部写入自己能支持的MSS值.
• 然后双方得知对方的MSS值之后, 选择较小的作为最终MSS.
• MSS的值就是在TCP首部的40字节变长选项中(kind=2);

ARP协议

虽然我们在这里介绍ARP协议, 但是需要强调, ARP不是一个单纯的数据链路层的协议, 而是一个介于数据链路层和网络层之间的协议;

ARP数据报的格式

• 注意到源MAC地址、目的MAC地址在以太网首部和ARP请求中各出现一次,对于链路层为以太网的情况是多余的,但如果链路层是其它类型的网络则有可能是必要的
• 硬件类型指链路层网络类型,1为以太网;
• 协议类型指要转换的地址类型,0x0800为IP地址;
• 硬件地址长度对于以太网地址为6字节;
• 协议地址长度对于和IP地址为4字节;
• op字段为1表示ARP请求,op字段为2表示ARP应答；

ARP协议的作用

ARP协议建立了主机 IP地址 和 MAC地址 的映射关系.

• 在网络通讯时,源主机的应用程序知道目的主机的IP地址和端口号,却不知道目的主机的硬件地址（MAC地址）;
• 数据包首先是被网卡接收到再去处理上层协议的,如果接收到的数据包的硬件地址与本机不符,则直接丢弃;
• 因此在通讯前必须获得目的主机的硬件地址;

ARP协议的工作流程

ARP的原理：通过IP地址找到目标主机的MAC地址。

ARP报头中含有目标主机的IP地址: 通过路由找到目标网络之后，但是不知道目标主机的MAC地址。因为数据在网络中传送都是以MAC帧形式的，所以双方都要知道对方的MAC地址才可以。此时ARP发一条广播出去，谁的IP地址是XXX,请主动联系我。局域网所有主机都会收到这条数据，将数据向上交付到网络层，对比自己的IP地址。如果相同，就回复自对方，将自己的MAC地址告诉对方，不同，就将数据丢弃。

RARP原理：通过MAC地址找IP地址。