Linux网络之传输层协议tcp/udp

文章目录

目录

一、再谈端口号

1.端口号划分

2.知名端口号

3.netstat,pidof

二、UDP协议

1.udp协议格式

2.udp特点

3.基于udp的应用层协议

三、TCP协议

1.tcp报头

确认应答机制(ACK)

超时重传机制

连接管理机制(三次握手四次挥手)

1)三次握手

服务端:

客户端

服务端:

客户端

理解TIME_WAIT状态

解决TIME_WAIT状态引起Bind失败的方法

理解CLOSE_WAIT状态

滑动窗口

流量控制

拥塞控制

延迟应答

捎带应答

面向字节流

粘包问题

2.tcp小结

3.基于tcp的应用层协议

4.TCP/UDP对比

5.用udp实现可靠传输(高频面试题)

6.理解listen的第二个参数


传输层的功能就是负责数据能够从发送端传输到接收端。

一、再谈端口号

端口号标识了一个主机上进行通信的不同的应用程序。在tcp/ip协议中,用”源IP","源端口号”,“目的ip",”目的端口号“,"协议号"这样一个五元组来标识一个通信(可以用nestat -n)查看

1.端口号划分

  • 0-1023:知名端口号,hrrp,ftp,ssh等这些应用层协议,他们的端口号都是固定的
  • 1024-65525:操作系统动态分配的端口号 客户端程序的端口号就是os从这个范围分配的

2.知名端口号

  • ssh服务器,使用22号端口
  • ftp服务器,使用21号端口
  • telnet服务器,使用23号端口
  • http服务器,使用80端口
  • https服务器,使用443端口号
  • 使用cat /etc/services可以看到知名端口号
  • 当我们自己创建一个进程使用端口号时,要避开这些知名端口号

1.一个进程是否可以bind多个端口号?

可以,因为一个进程可以打开多个文件描述符,而每个文件描述符都对应一个端口号,因此一个进程可以绑定多个端口号

2.一个端口号是否可以被多个进程Bind?

不可以,如果一个进程先绑定一个端口号,然后fork一个子进程,这样就实现了多个进程绑定一个端口号,但是不同的进程绑定同一个端口号是不可以的。

3.netstat,pidof

语法:netstat [选项]

功能:查看网络状态 常用选项: n 拒绝显示别名,能显示数字的全部转化成数字

l 仅列出有在 Listen (监听) 的服務状态

p 显示建立相关链接的程序名

t (tcp)仅显示tcp相关选项

u (udp)仅显示udp相关选项

a (all)显示所有选项,默认不显示LISTEN相关

pidof 在查看服务器的进程id时非常方便.

语法:pidof [进程名]

功能:通过进程名, 查看进程id

二、UDP协议

1.udp协议格式

16位源端口号 16位目的端口号
16位udp长度 16位udp检验和
数据
  • 16位Udp长度,表示整个数据包(udp首部+udp数据)的最大长度
  • 如果校验和出错,就会直接丢弃

2.udp特点

udp的传输过程类似于寄信

  • 无连接:知道对端的ip和端口号就可以直接进行传输,不需要建立连接
  • 不可靠:没有确认机制,没有重传机制,如果因为网络故障该段无法发送到对方,udp协议也不会给应用层返回任何错误信息
  • 面向数据报:不能够灵活的控制读写数据的次数和数量

面向数据报

应用层交给udp多长的报文,udp原样发送,不会拆分合并

用udp传输100个字节的数据:

  • 如果发送端调用一次sendto,发送100个字节,那么接收端也必须调用一次recvfrom接收100个字节,而不能循环调用10次recvfrom,每次接收10个字节

udp缓冲区

  • udp没有真正意义上的缓冲区,调用sendto会直接交给内核,由内核将数据传送网络层协议后续的传输动作
  • udp具有接收缓冲区,但是这个接收缓冲区不能保证udp报的顺序和发送udp报的顺序一致;如果缓冲区满了,再到达的udp数据就会被丢弃

udp的socket能读也能写,是全双工的。

udp的使用事项

udp协议首部中有一个16位最大长度,也就是说udp能传送的数据最大长度是64K(包括报头),如果我们要使用udp传输超过64K就需要在应用层进行手动分包,多次发送,并且在接收端手动拼接

3.基于udp的应用层协议

  • NFS:网络文件系统
  • TFTP:简单文件传输协议
  • DHCP:动态主机配置协议
  • BOOTP:启动协议(用于无盘设备启动)
  • DNS:域名解析协议

三、TCP协议

TCP协议全称为“传输控制协议”,要对数据的传输进行一个详细的控制

1.tcp报头

16位源端口号 16位目的端口号
32位序号
32位确认序号
4位首部长度 保留(6位) urg ack psh rst syn fin 16位窗口大小
16位检验和 16位紧急指针
选项
数据
  • 源/目的端口:表示数据从哪个进程来,到哪个进程去
  • 32位序号/32位确认号
  • 4位TCP报头长度:表示该TCP头部有多少个32位bit(有多少个4字节),所以tcp头部最大长度是15*4 = 60
  • 6个标志位:
  • URG:紧急指针是否有效
  • ACK:确认号是否有效
  • PSH:提示接收端应用程序立刻从TCP缓冲区把数据读走
  • RST:对方要求重新建立连接,携带RST标志的称为复位报文段
  • SYN:请求建立连接:将携带SYN标识的称为同步报文段
  • FIN:通知对方,本端要关闭了,携带FIN标识的为结束报文段
  • 16位窗口大小
  • 16位校验和:发送端填充,CRC校验,接收端校验不通过,则认为数据有问题,此处的检验不光包含头部,也包含数据部分
  • 16位紧急指针:标识哪部分数据是紧急数据
  • 40字节头部选项

确认应答机制(ACK)

主机A向主机B发送数据,第一次发送序号(1-1000),主机B向主机A发送一个确认应答1000,表示已经收到了,下一个你要向我发的数据是1001,主机A下次就从1001号发送数据

tcp将每个字节的数据都进行了编号,即为序列号,每一个ACK都带有一个对应的确认序列号,意思告诉发送者,我已经收到了那些数据,下一次你从哪里开始发

超时重传机制

  • 主机A发送给主机B之后,可能因为网络拥塞等原因,数据无法到达主机B,如果主机A在特定的时间间隔之内没有收到主机B发送的确认应答,就会进行重发
  • 但是主机A未能收到主机B的确认应答,也可能是ACK丢失了,因此主机B会收到很多重复数据,那么TCP协议需要能够识别出哪些包是重复的,并把重复的丢掉,这个时候就可以用序列号来进行去重
  • 关于超时的时间,不能太短也不能太长,太短会频繁发送重复的包,太长会影响整体的传送效率。因此tcp在任何情况下,要保证比较高性能的通信,会动态计算这个最大超时时间。linux中,超时以500ms作为一个单位,每次判断超时重发的时间都是500ms的整数倍;如果重发一次后,仍然不能得到应答,等2*500ms再次重传;如果仍然不能等到,等4*500ms进行重传,以此类推,以指数形式递增,累计到一定的重传次数,tcp认为网络或者对端主机出现异常,强制关闭链接。

连接管理机制(三次握手四次挥手)

在正常情况下,tcp要经过三次握手建立连接,四次挥手断开连接

1)三次握手

Linux网络之传输层协议tcp/udp_第1张图片

服务端:
  • closed->listen 服务器调用listen后进入LISTEN状态,等待客户端连接
  • LISTEN->SYN_RCVD 一旦监听到连接请求(同步报文段),就将该连接放入内核等待队列中,并向客户端发起SYN确认报文
  • syn_rcvd->established 服务端一旦收到客户端的确认报文,就进入到estalished状态,可以进行读写数据了
客户端
  • closed->syn_sent:客户端调用connect,发送同步报文段
  • syn_sent->esatablished:conncet调用成功,进入established状态,开始读写数据

2)四次挥手

Linux网络之传输层协议tcp/udp_第2张图片

服务端:
  • established->close_wait:当客户端主动关闭连接(调用close),服务器会收到结束报文,服务器返回确认报文并进入close_wait
  • close_wait->last_ack:进入close_wait后说明服务器准备关闭连接(需要处理完之前的数据);当服务器真正调用close关闭连接时,会向客户端发送fin,此时服务器进入last_ack状态,等待最后一个ack到来(这个ack是客户端确认收到了fin)
  • last_ack->closed:服务器收到了对端fin的ack,彻底关闭连接
客户端
  • establised->fin_wait_1:客户端主动调用close,向服务器发送结束报文段
  • fin_wait_1->fin_wait_2:客户端收到服务器对结束报文的确认,进入FIN_WAIT_2
  • fin_wait_2->time_wait:客户端收到服务器发来的结束报文,进入time_wait,并发出last_ack
  • time_wait->closed:客户端要等待2msl(max segment life,报文最大生存时间),才会进入closed

理解TIME_WAIT状态

可以做一个实验进行测试,首先启动server,然后启动client,然后用crtl-c让server中指,这是再运行server,会发现无法起来,并且出现: bind error :address already in use。

这是因为,sever的应用虽然终止,但是tcp协议连接没有完全断开,因此不能再次监听同样的server端口。

  • tcp协议规定,主动关闭连接的一方要处于time_wait状态,等待2个msl时间后才能进入closed
  • 上述实验中,server主动关闭,在time_wait期间仍然不能再次监听同样的server端口
  • msl在rfc1122中规定为2分钟,但是各个os上会有不同,在centos7上默认为60s
  • 可以通过 cat /proc/sys/net/ipv4/tcp_fin_timeout查看msl的值
  • msl是tcp报文的最大生存时间,因此time_wait持续存在2msl的话,就能保证在两个传输方向是尚未被接收或迟到的报文段都已经消失(否则服务器立刻重启,可能会收到来自上一个进程迟到的数据,但是这个数据很可能是错误的),同时也保证了最后一个报文可靠到达,假设最后一个ack丢失,那么服务器会重发一个fin,这时客户端的进程虽然不在了,但是tcp连接还在,仍然可以重发last_ack

解决TIME_WAIT状态引起Bind失败的方法

在server的TCP连接没有完全断开之前不允许重新监听, 某些情况下可能是不合理的

服务器需要处理非常大量的客户端的连接(每个连接的生存时间可能很短, 但是每秒都有很大数量的客户 端来请求). 这个时候如果由服务器端主动关闭连接(比如某些客户端不活跃, 就需要被服务器端主动清理掉), 就会产 生大量TIME_WAIT连接.

由于我们的请求量很大, 就可能导致TIME_WAIT的连接数很多, 每个连接都会占用一个通信五元组(源ip, 源端口, 目的ip, 目的端口, 协议). 其中服务器的ip和端口和协议是固定的. 如果新来的客户端连接的ip和 端口号和TIME_WAIT占用的链接重复了 , 就会出现问题.

使用setsockopt()设置socket描述符的 选项SO_REUSEADDR为1, 表示允许创建端口号相同但IP地址不同的多个 socket描述符

理解CLOSE_WAIT状态

将s中的close代码进行注释掉,运行c和s,关闭掉client,观察tcp状态会出现服务器进入到close_wait状态,对于服务器上出现大量的 CLOSE_WAIT 状态, 原因就是服务器没有正确的关闭 socket, 导致四次挥手没有正确 完成. 这是一个 BUG. 只需要加上对应的 close 即可解决问题。

滑动窗口

确认应答策略, 对每一个发送的数据段, 都要给一个ACK确认应答. 收到ACK后再发送下一个数据段. 这样做有一个比较大的缺点, 就是性能较差. 尤其是数据往返的时间较长的时候。

既然这样一发一收的方式性能较低, 那么我们一次发送多条数据, 就可以大大的提高性能(其实是将多个段的等待时 间重叠在一起了)。

比如现在要发送1-9000的数据,设置滑动窗口大小为4000,刚开始发送发送1-4000,同时发送,即(1-1000,1001-2000,2001-3000,3001-4000),发送后收到应答1001,2001,3001,4001.....

窗口大小指的是无需等待确认应答而可以继续发送数据的最大值,上述窗口大小就是4000个字节(4个段),发送的时候不需要等待任何ack,直接发送

收到第一个ack后,窗口向后滑动,继续发送第五个段的数据....

os内核为了维护这个滑动窗口,需要开辟发送缓冲区来记录当前还有哪些数据没有应答,只有确认应答过的数据,才能从缓冲区中删掉

窗口越大,网络的吞吐率就越高。

Linux网络之传输层协议tcp/udp_第3张图片

如果出现丢包,如何进行重传?这里分两种情况讨论
1)数据包已经抵达,ack丢失

这种情况下,部分ack丢失并不要紧,因为可以通过后续的ack进行确认

2)数据包直接丢失

当某一段报文丢失之后,发送端会一直收到1001这样的ack,就像是提醒发送端,我要的是1001

如果发送端主机连续3次收到同样的1001,这样的应答,就会从1001-2000重新发送

这个时候接收端收到1001之后,再次返回ack就是7001,因为2001-7000接收端已经收到,被放在os的接收缓冲区中

这种机制被称为“高速重发控制”(也叫快重传)

流量控制

接收端处理数据的速度是有限的,如果发送端发送太快,导致接收端的缓冲区被打满,这个时候如果发送端继续发送,就会造成丢包,继而引起丢包重传等一系列连锁反应。

因此tcp支持根据接收端的处理能力,来决定发送端的发送速度,这个机制称为流量控制

  • 接收端将自己可以接收的缓冲区大小放入tcp首部中的“窗口大小”字段,通过ack通知发送端
  • 窗口大小字段越小,说明网络的吞吐量越高
  • 接收端一旦发现自己的缓冲区快满了,就会将窗口大小设置称一个更小的值通知给发送端
  • 发送端接受到这个窗口之后,就会减慢自己的发送速度
  • 如果接收端缓冲区满了,就会将窗口设置为0,这时发送方不再发送数据,但是需要定期发送一个窗口探测数据段,使接收端把窗口大小告诉发送端

接收端如何把窗口大小告诉发送端呢? 回忆我们的TCP首部中, 有一个16位窗口字段, 就是存放了窗口大小信息;

那么问题来了, 16位数字最大表示65535, 那么TCP窗口最大就是65535字节么? 实际上, TCP首部40字节选项中还包含了一个窗口扩大因子M, 实际窗口大小是 窗口字段的值左移 M 位

拥塞控制

虽然tcp有了滑动窗口,能够高效可靠的发送大量数据,但是如果在刚启动就发送大量数据,仍然可能引发问题

因为网络上有很多计算机,可能当前网络状态就比较拥堵,在不清楚当前网络状态下,贸然发送大量数据,很有可能雪上加霜。

tcp引入慢启动机制,先发少量的数据, 探探路, 摸清当前的网络拥堵状态, 再决定按照多大的速度传输数据

  • 此处引入一个概念程为拥塞窗口 发送开始的时候, 定义拥塞窗口大小为1;
  • 每次收到一个ACK应答, 拥塞窗口加1;
  • 每次发送数据包的时候, 将拥塞窗口和接收端主机反馈的窗口大小做比较, 取较小的值作为实际发送的窗口;
  • 像上面这样的拥塞窗口增长速度, 是指数级别的. "慢启动" 只是指初使时慢, 但是增长速度非常快.
  • 为了不增长的那么快, 因此不能使拥塞窗口单纯的加倍. 此处引入一个叫做慢启动的阈值 当拥塞窗口超过这个阈值的时候, 不再按照指数方式增长, 而是按照线性方式增长
  • 当TCP开始启动的时候, 慢启动阈值等于窗口最大值; 在每次超时重发的时候, 慢启动阈值会变成原来的一半, 同时拥塞窗口置回1;
  • 少量的丢包, 我们仅仅是触发超时重传; 大量的丢包, 我们就认为网络拥塞; 当TCP通信开始后, 网络吞吐量会逐渐上升; 随着网络发生拥堵, 吞吐量会立刻下降; 拥塞控制, 归根结底是TCP协议想尽可能快的把数据传输给对方, 但是又要避免给网络造成太大压力的折中方案
  • TCP拥塞控制这样的过程, 就好像 热恋的感觉

延迟应答

如果接收数据的主机立刻返回ACK应答, 这时候返回的窗口可能比较小。

假设接收端缓冲区为1M. 一次收到了500K的数据; 如果立刻应答, 返回的窗口就是500K;

但实际上可能处理端处理的速度很快, 10ms之内就把500K数据从缓冲区消费掉了; 在这种情况下, 接收端处理还远没有达到自己的极限, 即使窗口再放大一些, 也能处理过来; 如果接收端稍微等一会再应答, 比如等待200ms再应答, 那么这个时候返回的窗口大小就是1M;

一定要记得, 窗口越大, 网络吞吐量就越大, 传输效率就越高.

我们的目标是在保证网络不拥塞的情况下尽量提高传输 效率;

那么所有的包都可以延迟应答么? 肯定也不是;

数量限制: 每隔N个包就应答一次;

时间限制: 超过最大延迟时间就应答一次;

具体的数量和超时时间, 依操作系统不同也有差异; 一般N取2, 超时时间取200ms;

捎带应答

在延迟应答的基础上, 我们发现, 很多情况下, 客户端服务器在应用层也是 "一发一收" 的. 意味着客户端给服务器说 了 "How are you", 服务器也会给客户端回一个 "Fine, thank you"; 那么这个时候ACK就可以搭顺风车, 和服务器回应的 "Fine, thank you" 一起回给客户端

面向字节流

创建一个TCP的socket, 同时在内核中创建一个 发送缓冲区 和一个 接收缓冲区;

调用write时, 数据会先写入发送缓冲区中; 如果发送的字节数太长, 会被拆分成多个TCP的数据包发出;

如果发送的字节数太短, 就会先在缓冲区里等待, 等到缓冲区长度差不多了, 或者其他合适的时机发送出 去; 接收数据的时候, 数据也是从网卡驱动程序到达内核的接收缓冲区;

然后应用程序可以调用read从接收缓冲区拿数据;

另一方面, TCP的一个连接, 既有发送缓冲区, 也有接收缓冲区, 那么对于这一个连接, 既可以读数据, 也可 以写数据. 这个概念叫做 全双工

由于缓冲区的存在, TCP程序的读和写不需要一一匹配, 例如: 写100个字节数据时, 可以调用一次write写100个字节, 也可以调用100次write, 每次写一个字节; 读100个字节数据时, 也完全不需要考虑写的时候是怎么写的, 既可以一次read 100个字节, 也可以一次 read一个字节, 重复100次

粘包问题

首先,沾包问题中的“包”,是指的应用层的数据包

在tcp协议在,没有如同udp中“报文长度”这样的这样的字段,但是有一个序号这样的字段

在传输层的角度,tcp的一个一个报文传过来的,按照序号排好序放在缓冲区中

站在应用层的角度,看到的只是一串连续的字节数据

应用程序看到这样一连串的字节数据,不知道从哪里开始到哪里结束,是一个完整的应用层数据包

那么如何避免粘包问题 需要明确两个包之间的边界

  • 对于定长的包, 保证每次都按固定大小读取即可; 例如上面的Request结构, 是固定大小的, 那么就从缓冲 区从头开始按sizeof(Request)依次读取即可;
  • 对于变长的包, 可以在包头的位置, 约定一个包总长度的字段, 从而就知道了包的结束位置;
  • 对于变长的包, 还可以在包和包之间使用明确的分隔符(应用层协议, 是程序猿自己来定的, 只要保证分隔 符不和正文冲突即可)

2.tcp小结

tcp这么复杂,因为要保证可靠性,同时又尽可能的提高性能

可靠性:

  • 校验和
  • 序列号
  • 确认应答
  • 超时重传
  • 连接管理
  • 流量控制
  • 拥塞控制

提高性能:

  • 滑动窗口
  • 快速重传
  • 延迟应答
  • 捎带应答

3.基于tcp的应用层协议

http,https,ssh,telnet,ftp,smtp...

4.TCP/UDP对比

  • TCP用于可靠传输的情况, 应用于文件传输, 重要状态更新等场景;
  • UDP用于对高速传输和实时性要求较高的通信领域, 例如, 早期的QQ, 视频传输等. 另外UDP可以用于广 播;

5.用udp实现可靠传输(高频面试题)

参考tcp的可靠性机制,在应用层实现类似的逻辑

例如:引入序列号,保证数据顺序 引入确认应答,保证对端收到了数据

引入超时重传,如果隔一段时间没有应答,就重发数据

6.理解listen的第二个参数

 Linux内核协议栈为一个tcp连接管理使用两个队列:

1. 半链接队列(用来保存处于SYN_SENT和SYN_RECV状态的请求)

2. 全连接队列(accpetd队列)(用来保存处于established状态,但是应用层没有调用accept取走的请求)

而全连接队列的长度会受到 listen 第二个参数的影响. 全连接队列满了的时候, 就无法继续让当前连接的状态进入 established 状态了. 这个队列的长度通过上述实验可知, 是 listen 的第二个参数 + 1


你可能感兴趣的:(linux,网络,linux,tcp/ip,网络协议)