Linux高性能服务器编程——学习笔记①

第一章有一些概念讲的很好，值得好好关注一下！！！

一、tcp/ip协议族

1.1 主要的协议

1.1.1 数据链路层

​ 数据链路层实现了网卡接口的网络驱动程序，以处理数据在物理媒介（以太网、令牌环）上的传输。

​ 常用的协议有两种：

• ARP协议（Address Resolve Protocol，地址解析协议）

• RARP（Reverse Address Resolve Protocol，逆地址解析协议）

​ 它们实现了IP地址和机器物理地址（通常是MAC地址，以太网、令牌环和802.11无线网络都使用MAC地址）之间的相互转换。

​ 网络层使用IP地址寻址一台机器，而数据链路层使用物理地址寻址一台机器，因此网络层必须先将目标机器的IP地址转换为物理地址，才能使用数据链路层提供的服务，这就是ARP协议。RARP协议仅用于网络上的某些无盘工作站，因为缺乏存储设备，无盘工作站无法记住自己的IP地址，但它们可以利用网卡上的物理地址来向网络管理者查询自身的IP地址。运行RARP服务的网络管理者通常存有该网络所有机器的物理地址到IP地址的映射。

1.1.2 网络层

​ 网络层实现数据包的选路和转发。WAN广域网通常使用众多分级的路由器来连接分散的主机或者LAN局域网。因此，通信的两台主机一般不是直接相连的，而是通过多个中间节点（路由器）连接的。网络层的任务就是选择这些中间节点，以确定两台主机之间的通信路径。同时，网络层对上层协议隐藏了网络拓扑连接的细节，使得在传输层和网络应用程序看来，通信的双方是直接相连的。

​ 网络层常用的协议也是两种：

• IP协议（Internet Protocol，因特网协议）是网络层最核心的协议，IP协议根据数据包的目的IP地址来决定如何投递它。如果数据包不能够直接发送给目标主机，那么IP协议就为它寻找一个合适的下一跳路由器，并将数据包交付给该路由器来转发。多次重复这一过程，数据包最终到达目标主机，或者由于发送失败而被丢弃。可见，IP协议使用逐跳的方式确认通信路径。第二章详细介绍IP协议。
• ICMP协议（Internet Control Message Protocol，因特网控制报文协议）它是IP协议的重要补充，主要用于检测网络连接

​ 8位类型字段用于区分报文类型。它将ICMP报文分为两大类：一类是差错报文，这类报文主要用来回应网络错误，比如目标不可到达（类型值为3）和重定向（类型值为5）；另一类是查询报文，用来查询网络信息，比如ping程序就是使用ICMP报文查看目标是否可到达（类型值为8）。有的ICMP报文还使用8位代码字段来进一步细分不同的条件，重定向报文使用代码值0表示网络重定向，代码值1表示对主机重定向。ICMP报文使用16位校验和字段对整个报文（头部和内容）进行循环冗余校验（Cyclic Redundancy Check, CRC），以检验报文在传输过程中是否损坏。不同的ICMP报文类型具有不同的正文内容。

​ 需要指出的是，ICMP协议并非严格意义上的网络层协议，因为它使用处于同一层的IP协议提供的服务（一般来说，上层协议使用下层协议提供的服务）。

1.1.3 传输层

​ 传输层为两台主机上的应用程序提供端到端的通信。与网络层使用的逐跳通信方式不同，传输层只关心通信的起始端和目的端，而不关心数据包的中转过程。

​ 垂直的实线表示TCP/IP协议族各层之间的实体通信（数据包确实是沿着这些线路传递的），而水平的虚线表示逻辑通信线路。

​ 传输层协议主要有三个：TCP协议、UDP协议和SCTP协议。

​ TCP协议（Transmission Control Protocol，传输控制协议）为应用层提供可靠的、面向连接的和基于流的服务。TCP协议使用超时重传、数据确认等方式来确保数据包被正确地发送至目的端，因此TCP服务是可靠的。使用TCP协议通信的双方必须先建立TCP连接，并在内核中为该连接维持一些必要的数据结构，比如连接的状态、读写缓冲区、以及诸多定时器等。当通信结束时，双方必须关闭连接以释放这些内核数据。TCP服务是基于流的，基于流的数据没有边界（长度）的限制，它远远不断从通信的一端流入另一端。发送端可以逐个字节地向数据流中写入数据，接收端也可以逐个字节地将它们读出。

​ UDP协议（User Datagram Protocol，用户数据报协议）则与TCP协议完全相反，它为应用层提供不可靠、无连接和基于数据报的服务。“不可靠”意味着UDP协议无法保证数据从发送端正确地传送到目的端。如果数据在中途丢失，或者目的端通过数据校验发现数据错误而将其丢弃，则UDP协议只是简单地通知应用程序发送失败。因此，使用UDP协议的应用程序通常要自己处理数据确认、超时重传等逻辑。UDP协议是无连接的，即通信双方不保持一个 长久的联系，需要应用程序每次发送数据都需要明确指定接收端的地址（IP地址等信息）。基于数据报的服务，是相对基于流的服务而言的。每个UDP数据报都有一个长度，接收端必须以该长度为最小单位将其所有内容一次性读出，否则数据将被截断。

​ SCTP（Stream Control Transmission Protocol，流控制传输协议）是一种相对较新的传输层协议，它是为了在因特网上传输电话信号而设计的。本书不讨论SCTP协议。

1.1.4 应用层

​ 应用层负责处理应用程序的逻辑。数据链路层、网络层和传输层负责处理网络通信细节，这部分必须既稳定又高效，因此它们都在内核控件中实现。而应用层则在用户空间实现，因为它负责处理众多逻辑，比如文件传输、名称查询和网络管理等。如果应用层也在内核中实现，则会使内核变得非常庞大。当然，也有少数服务器程序是在内核中实现的，这样代码就无须在用户空间和内核空间来回切换（主要是数据的复制），极大地提高了工作效率。不过这种代码实现起来较复杂，不够灵活，且不便于移植。

​ 应用层协议很多。

​ ping是应用程序，不是协议，前面说它利用ICMP报文检测网络连接，是调试网络环境的必备工具。

​ telnet协议是一种远程登录协议，它使我们能在本地完成远程任务。

​ OSPF（Open Shortest Path First，开放最短路径优先）协议是一种动态路由更新协议，用于路由器之间的通信，以告知对方各自的路由信息。

​ DNS（Domain Name Service，域名服务）协议提供机器域名到IP地址的转换。

​ 应用层协议（或程序）可能跳过传输层直接使用网络层提供的服务，比如ping程序和OSPF协议。应用层协议（或程序）通常既可以使用TCP服务，又可以使用UDP服务，比如DNS协议。我们可以通过/etc/services文件查看所有知名的应用层协议，以及它们都能使用哪些传输层服务。

1.2 封装

​ 每层协议都将在上层数据的基础上加上自己的头部信息（有时还包括尾部信息），以实现该层的功能。

​ 当发送端使用send或write向一个TCP连接写入数据的时候，内核中的TCP模块首先把这些数据复制到与该连接对应的TCP内核发送缓冲区中，然后TCP模块调用IP模块提供的服务，传递的参数包括TCP头部信息和TCP发送缓冲区中的数据，即TCP报文段。

​ 经过UDP封装后的数据称为UDP数据报（UDP datagram）。UDP对应用程序数据的封装与TCP类似。不同的是，UDP无须为应用层数据保留副本，因为它提供的服务是不可靠的。当一个UDP数据报被成功发送以后，UDP内核缓冲区中的该数据报就被丢弃了。如果应用程序检测到该数据报未能被接收端正确接收，并打算重发这个数据报，则应用程序需要重新从用户空间将该数据报拷贝到UDP内核发送缓冲区中。

​ 经过IP封装后的数据称为IP数据报（IP datagram）。IP数据报也包括头部信息和数据部分，其中数据部分就是一个TCP报文段、UDP数据报或者ICMP报文。

​ 经过数据链路层封装的数据称为帧（Frame） 传输媒介不同，帧的类型也不同。比如，以太网上传输的是以太网帧（ethernet frame），而令牌环网络上传输的则是令牌环帧（token ring frame）以以太网为例，其封装格式如图1-6

​

1.3 分用

​ 当帧到达目的主机时，将沿着协议栈自底向上依次传递。各层协议依次处理帧中本层负责的头部数据，以获取所需的信息，并最终将处理后的帧交给目标应用程序。这个过程称为分用（demultiplexing），依靠头部信息的类型字段实现。

1.4 测试网络

​ ISP（运营商）分配的IP地址一般是动态的。

1.5 ARP协议工作原理

1.5.1 以太网ARP请求/应答报文详解

​ ARP协议能实现任意网络层地址到任意物理地址的转换，不过本书仅讨论从IP地址到以太网地址（MAC地址）的转换。其工作原理是：主机向自己所在的网络广播一个ARP请求，该请求包含目标机器的网络地址。此网络上的其他机器都将收到这个请求，但只有被请求的目标机器会回应一个ARP应答，其中包含自己的物理地址。

​

1.5.2 ARP高速缓存的查看和修改

​ **通常，ARP维护一个高速缓存，其中包含经常访问（比如网关地址）或最近访问的机器的IP地址到物理地址的映射。**这样就避免了重复的ARP请求，提高了发送数据包的速度。

​ Linux下可以使用arp命令来查看和修改ARP高速缓存。比如，ernest-laptop在某一时刻（注意，ARP高速缓存是动态变化的）的ARP缓存内容如下（使用arp-a命令）

​

1.5.3 使用tcpdump观察ARP通信过程

​ 关于该图，需要说明三点：

​ 第一，我们将两次传输的以太网帧按照图1-6所描述的以太网帧封装格式绘制在图的下半部分。

​ 第二，ARP请求和应答是从以太网驱动程序发出的，而并非像图中描述的那样从ARP模块直接发送到以太网上，所以我们将它们用虚线表示，这主要是为了体现携带ARP数据的以太网帧和其他以太网帧（比如携带IP数据报的以太网帧）的区别。

​ 第三，路由器也将接收到以太网帧1，因为该帧是一个广播帧。不过很显然，路由器并没有回应其中的ARP请求，正如前文讨论的那样，被请求的目标机器会回应一个ARP应答。

1.6 DNS工作原理

​ 通常使用域名访问机器，而不直接使用IP地址。如何将机器的域名转换成IP？这就需要使用域名查询服务，有很多实现方式，比如NIS（Network Information Service，网络信息服务）、DNS和本地静态文件等。

1.6.1 DNS查询和应答报文详解

1.6.2 Linux下访问DNS服务

1.6.3 使用tcpdump观察dns通信过程

1.7 Socket和TCP/IP协议族的关系

​ 前面提到，数据链路层、网络层、传输层协议是在内核中实现的。因此操作系统需要实现一组系统调用，使得应用程序能够访问这些协议提供的服务。实现这组系统调用的API（Application Programming Interface，应用程序编程接口）主要由两套：socket和XTI。XTI现在基本不再使用。

​ 由socket定义的这一组API提供如下两点功能

• 一是将应用程序从用户缓冲区中复制到TCP/UDP内核发送缓冲器，以交付内核来发送数据（send或者write），或者是从内核TCP/UDP接收缓冲区中复制数据到用户缓冲区，以读取数据
• 二是应用程序可以通过它们来修改内核中各层协议的某些头部信息或其他数据结构，从而精细地控制底层通信的行为。比如可以通过setsockopt函数来设置IP数据报在网络上的存活时间。

​ 值得一提的是，socke是一套通用网络编程接口，它不但可以访问内核中TCP/IP协议栈，而且可以访问其他网络协议栈（X.25、UNIX本地域协议栈等）