网络是怎样连接的--探索协议栈和网卡

“如果一生只有一次翻身的机会，那就用尽全力吧。”

1.创建套接字

1.1 协议栈的内部结构

  操作系统内部包括协议栈，是哪个半部分分为TCP和UDP，这俩区别就是浏览器、邮件等一般应用收发数据用TCP；DNS查询这种比较短的数据用UDP。
  下面就是IP模块，IP协议控制网络包收发，在互联网发送数据时，数据会被切割成一小块网络包的形式，然后由IP模块发送给通信对象。
  IP模块中的ICMP和ARP协议，ICMP用于告知网络包传输过程中发生的错误及各种控制信息；ARP根据IP地址查询以太网mac地址。

---

1.2 套接字的实体就是通信控制信息

  协议栈内部有一块存放控制信息的内存空间，记录了例如通信对象的IP，端口号，进行状态等控制通信操作的控制信息。套接字其实就是一个概念，也可以说这些控制信息就是套接字的实体。 协议栈在执行通信相关的操作时，都需要查看这些信息。协议栈是根据套接字中记录的控制信息来工作的。

---

1.3 调用socket时的操作

  应用程序根据调用socket请求创建套接字，然后协议栈根据应用程序的申请来执行相关的操作。
  具体过程：协议栈首先分配一个存放套接字的内存空间，记录控制信息用的，没有进行操作的时候内存空间就写如初始状态的控制信息。接下来协议栈生成一个描述符返回给应用程序。收到描述符后，应用程序就只需要跟协议栈提这个描述符就可以了，通过描述符确定套接字。

---

2.连接服务器

2.1连接含义

  创建完套接字之后，应用程序会调用socket库中的connect，然后协议栈就会将本地的套接字和服务器的套接字连接上。（1）套接字刚创建的时候，里面还没有相关的信息，因此需要将服务器的IP地址和端口号告诉协议栈；（2）客户端这边的信息处理好了，现在需要知道服务器的套接字信息，服务器一般在系统启动的时候就创建好了套接字等待客户端连接。但是与客户端不同的是，服务器不知道和谁通信。所以客户端需要给服务器发送通信的请求，同时交换控制信息(这就叫连接)。

  在数据收发的时候，也需要一块内存空间(缓冲区)，用于临时存放数据。
 

---

2.2 负责保存控制信息的头部

  上面说的交换控制信息，整个通信过程都会需要，包括数据收发，断开等，这些内容在TCP协议的格式中有定义，这些信息会被添加在客户端与服务器通信发送网络包的头部，以太网和IP协议都有自己的控制信息，都是分开的。

  控制信息还有另外一类：保存在套接字中用来控制协议栈的信息：包括应用程序传递过来的信息以及通信对象传递过来的信息和收发数据的执行信息。套接字的控制信息和协议栈程序本身是一体的。

---

2.3 连接操作的实际过程

  连接操作是应用程序调用socket库中的connect开始的，connect(<描述符>,<服务器IP地址和端口号>，…)。括号中的信息会传递给TCP模块，TCP模块会与服务器的TCP模块交换控制信息。具体过程如下：

• 首先，客户端创建数据收发操作控制信息的头部(注意发送方和接收方的端口号)
• 将头部中的SYN比特设置为1，表示连接。还有合适的序列号和窗口号

  TCP头部创建好后，TCP模块会将信息传递给IP模块(执行发送)，执行发送操作之后，服务器会接收到网络包，服务器上的IP模块会将数据传递给TCP模块，然后TCP模块根据TCP的头部信息找到端口号对应的套接字，然后将套接字的状态写成正在连接，然后服务器会返回响应消息，过程和客户端一样，需要在TCP头部设置发送方和接收方的端口号和SYN比特，在返回响应消息时将ack控制位设置为1，表示已经接收到网络包。
  连接成功之后客户端会在套接字中写入服务器的IP和端口号等信息，状态改成连接完毕。最终呢客户端还需要将ack设置为1返回到服务器，表示响应包已经接收到了。

---

3.收发数据

3.1将http请求消息交给协议栈

  连接完成之后就是进行数据收发的操作，数据收发操作首先也是应用程序调用write将要发送的数据交给协议栈(放入发送缓冲区 ，等下一段数据)。协议栈不关心内容，应用程序会在调用write的时候告诉长度。协议栈内部有一计时器，即使到一定时间之后，缓冲区数据长度不够，也会将数据发出去。

---

3.2对较大的数据进行拆分

---

3.3 使用ack号确认网络包已收到

  网络包发送给服务器，TCP需要确定对方是否收到网络包，没收到会重发。接受方会将目前接收到的数据长度加起来，写入TCP头部的ack号(比特设置为1)中发送给发送方。

  图中序号的初始值并不一定是1，而是一个随机数·。在设置SYN的时候就会设置序号的初始值。服务器收到序号和数据之后会返回给客户端ack号。服务器发送返回消息也是这个操作。

  如果没有返回某些包对应的ack号那么就会重新发送这些包。但是呢，遇到服务器宕机和网络中断的时候，TCP会尝试几次传递之后就会放弃，并向应用程序报错。

---

3.4调整ack号等待时间

  根据网络包的平均往返时间调整ack号等待时间，也就是说因为网络繁忙的情况导致ack号返回很慢，这种情况应该先不重传数据。等待时间需要动态调整(TCP)，TCP会在发送数据的时候持续测量ack号的返回时间。

---

3.5 使用窗口有效管理ack号

  在等待ack号的过程不做什么就有点浪费资源了，所以在等待ack号的过程中可以持续的传递数据。

但是像这种传递方式可能会导致接收缓冲区溢出，所以呢，接收方就需要将自己最多能接收多少数据告诉发送方。接受方会通过TCP窗口将自己能接受的最大数据量(窗口大小)告诉发送方。

ack号和窗口合并

  如果在等待发送ack号的时候正好需要更新窗口，那么更新窗口和ack号就可以放进入一个包。还有就是因为ack号表示已经接收到的数据量，如果碰着连续发送ack号的，那么就发送最后一个ack号就可以了。窗口更新也是如此。

---

3.6接收HTTP响应消息

  接收HTTP响应消息，浏览器会调用read来读取响应消息，控制流程转入协议栈，接收消息也是放入内存缓冲区，然后浏览器读取数据，协议栈会将原始数据还原出来复制到应用程序的内存地址，然后控制流程转移到应用程序。协议栈还需要找合适的时机向服务器发送窗口更新。

---

4.与服务器断开连接并删除套接字

4.1数据发送完毕后断开连接

  以服务器发起断开为例：服务器会调用close，然后服务器协议栈生成包含断开信息的TCP头部，也就是将FIN比特设为1。然后协议栈委托IP模块发出去。当客户端收到信息之后，会将自己的套接字进入断开操作，客户端会返回一个ack号以告知服务器我已经收到信息。然后应用程序就调用read来读数据。然后告诉应用程序来自服务器的信息都收到了，然后客户端调用close结束收发操作，现在客户端也会生成一个FIN比特设为1的TCP头部的包，委托IP模块发出去，然后服务器再返回一个ack号，就结束了。

---

4.2删除套接字

删除套接字操作一般会等待几分钟，因为假如套接字立刻删除了，而客户端返回的ack号丢失了，那么重新发送的ack号就可能进入新的同端口号的套接字，然后新套接字就开始执行断开操作。所以需要等几分钟再删除套接字。

---

4.3收发小结

---

5.IP与以太网的包的收发操作

5.1包的基本知识

  包一般分为头部和数据，头部一般包含控制信息，地址等，可以理解为快递的面单，后面就是数据。

  生成包后也就是得进行发送和转发包的操作，包会首先发往被最近的网络转发设备，然后转发设备根据头部信息判断接下来会发往哪儿，转发设备里面会有一张表，记录每一个地址对应的发送方向。发送方和接受方是终端节点，网络转发设备是中间节点。

路由器和集线器两种转发设备的分工

1. 路由器根据目标地址判断下一个路由器的位置
2. 集线器在子网中将网络包传给下一个路由

集线器是按照以太网规则来的，路由器是按照IP规制

1. IP协议根据目标地址判断下一个IP转发设备
2. 子网中的以太网协议将包传递给下一个转发设备

  TCP/IP包有以太网头部和IP头部，服务器的IP地址在IP头部，IP协议会委托以太网委托以太网协议将包发送出去，IP协议会去找下一个路由器的以太网地址，并将这个地址写入mac头部，集线器里面有以太网表，根据以太网头部信息查询出对应的传输方向。

---

5.2包的收发操作概览

  实际上包的发送传输工作都是由集线器和路由器来整的，IP模块就是一入口。TCP模块指定通信对象的IP地址，IP模块收到TCP的委托之后，会将整块包当作一个数据，并且添加IP头部和mac头部，IP头部包含IP协议规定的和根据IP地址发送到目的地的控制信息。mac头部包含通过以太网的局域网将包传递给最近的路由器所需的控制信息。
  封装好的包会传递给网卡，网卡会将这些信息转换成电信号和光信号，并通过网线or光纤进行传输，然后这些信号就会到达集线器和路由器这些位置，到到达后，接收方也会做出响应，接受过程和发送过程是相反的，网卡会将其转换成数字信息之后再传给IP模块，然后IP会将TCP块传递给TCP模块。

---

5.3生成包含接收方IP地址的头部

  TCP模块会将接收方的IP告诉IP模块，这个地址来自应用程序，IP模块还包含发送方的IP，这个IP并不是分配给计算机的，如果计算机上有多个网卡，那么就会有多个IP地址，发送方IP需要通过判断发送方使用的网卡来判断具体的IP地址。先确定目标路由器就能确定具体网卡，也就是确定也发送方的IP。

---

5.4生成以太网用的mac头部

  发送方的mac地址是生产网卡时写入rom里面的，需要的时候直接读取就欧克，如果多块网卡的情况就先判断使用了那儿块网卡，然后再读取。对方的以太网地址根据IP地址查询mac地址。

---

5.5 通过arp查询路由器的mac地址

  上面说到根据IP地址查询mac地址的操作，具体如何查询呢，这时就需要ARP(地址解析协议)，也就是利用广播向所有的设备提问。

为了增加查询效率，也设置了ARP缓存，查询过就会有记录。过一段时间也会删除。

---

5.6以太网的基本知识

  现在以太网采用的是交换式集线器的结构，现在信号只会流到mac地址指定的设备，以太网最基本的性质如下

• 将包发送到mac头部对应的接收方的mac地址
• 用发送方的mac识别发送方
• 用以太类型识别包的内容

---

5.7将IP包转换成电或者光信号发送出去

  讲完了IP模块的内容，接下来就是网卡的作用，IP生成的网络包只是存在内存的遗传数字，没办法发送出去，所以需要将数字信息转换成光信号or电信号，这就是网卡的作用。但是网卡不能单独工作，得需要驱动程序，大部分得硬件设备都需要驱动程序。网卡并不是一通电就能用，还需要初始化，由网卡驱动程序进行。

网卡中保存的mac地址由网卡驱动程序读取并分配给mac头部。

---

5.8给网络包加三个控制数据

  网卡驱动从IP获取包后，将其复制到网卡的缓冲区，然后向模块发送发送包的命令。mac将包从缓冲区取出来，加上报头和起始帧，在末尾加上检测错误的FCS(帧校验序列)。

---

5.9向集线器发送网络包

  给网络包加上上个数据之后，就可以将网络包发送出去了有两种发送方式：1是使用集线器的半双工模式，2是使用交换机的全双工模式。2在下一章。

半双工模式

  ①为了避免信号碰撞，首先需要判断网线中是否有其他设备发送的信号。
  ②然后mac模块就开始将数字信息按每个比特转换成电信号。
  ③然后由PHY或者MUA的信号收发模块发送出去。
  ④PHY模块会将信号转换成可在网线上传输的格式。

  注：将数字转换成电信号的速率就是网络的传输速率。

  以太网规格中对不同网线类型和速率以及其对应的信号进行了规定，但是mac不关心这些，随便搞个任意格式的发给PHY了，然后PHY再转换成网线上的传输形式。

  PHY模块还需要监控线路中有没有其他信号。这可能会发生阻塞信号，然后所有的发送操作都会停止，然后等待，这儿需要设置一等待时间，mac地址生成的随机数，但是网络拥塞的时候，还是容易碰撞。

---

5.10接收返回包

  接收操作和发送操作是相反的，首先PHY工作将电信号转换成通用格式发给mac，mac将电信号转换成数字信号，然后放入缓冲区，到达末尾的信号还需检查FCS。接下来网卡会通知计算机收到一个包，这时需要中断计算机的任务，让他关注网卡，有个机制叫做中断。
  中断：网卡向扩展总线的中断信号线发送信号，该信号线通过中断控制器连到CPU，这时会切换到中断处理程序。中断处理程序会调用网卡驱动，控制网卡执行相关操作。中断也是有编号的，网卡在安装的时候和硬件设置了中断号，中断处理程序将中断号和相应的驱动程序绑定。
  调用完中断处理程序之后，从缓冲区取出包，通过mac头部判断协议类型，通常是TCP/IP，然后交给TCP/IP协议栈。

---

5.11将服务器的响应包从IP传递给TCP

  传递到TCP/IP协议栈的时候，会先由IP模块来工作，先检查IP头部格式，如果不是自己的包，IP模块会通过ICMP消息叫错误告诉给发送方。

ICMP消息

当收到分片的包时，IP模块会将这些暂存在缓冲区，如果IP正确，当IP头部具有相同id的全到达之后，那么IP模块会把他们还原成原始的包，此外IP头部还有一个分片偏移量字段，表示分片在整个包的位置。—分片重组。
  最后就是TCP模块的工作了，TCP根据IP头部双方的IP地址，和TCP头部双方的端口号然后找到对应的套接字，根据套接字记录的通信状态，然后执行相关操作。–>如果包里是应用程序数据，返回确认的包，将数据放回缓冲区，等应用程序来取；

---