网络协议
一、 网络协议
1.1 网络模型
1.1.1 OSI七层模型
开放系统互联参考模型（Open System Interconnect）是国际标准化组织（ISO）制订的一个用于计算机或通信系统间互联的标准体系。采用七层结构，自下而上依次为：物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。
1.1.2 TCP/IP模型
是一组用于实现网络互连的通信协议。Internet网络体系结构以TCP/IP为核心。采用四层结构，自下而上依次为：链路层、网络层、传输层、应用层。
两个模型之间的对应关系：
TCP/IP协议族
TCP/IP协议簇是Internet的基础，也是当今最流行的组网形式。TCP/IP是一组协议的代名词，包括许多别的协议，组成了TCP/IP协议簇。
1.2 TCP
TCP是为了在不可靠的互联网络上提供一种面向连接的、可靠的、基于字节流的传输层通信协议。
1.2.1 TCP的三次握手（建立连接）
建立一个TCP连接时需要客户端和服务端总共发送三次数据包以确认连接的建立。
三次握手过程：
1) 客户端发送SYN（SYN=x）报文给服务端，进入SYN_SEND状态。
2) 服务端收到SYN报文，回应一个SYN（SEQ=y）ACK（ACK=x+1）报文，进入SYN_RECV状态。
3) 客户端收到服务端的SYN报文，回应一个ACK(ACK=y+1)报文，进入Established状态，完成三次握手。
TCP三次握手的漏洞
如果你一个客户端向服务端发送了SYN报文后突然死机或掉线，那么服务器在发送SYN+ACK报文后是无法收到客户端ACK报文的，这种情况下服务端一般会不停的重试，并等待一段时间（大约为30秒-2分钟）后丢弃未完成的链接。一个用户出现异常不是什么大问题，但如果一个攻击者发送大量伪造原IP地址的攻击报文到服务器，服务器将为了维护一个非常大的半连接队列而消耗更多的CPU和内存资源。服务器忙于处理伪造的TCP连接请求而无暇理睬客户的正常需求。这种情况称为服务器受到了SYN Flood攻击（SYN洪水攻击）。
解决方案：
- 缩短SYN无效时间
过小的无效时间可能会影响到正常客户端连接，不建议使用。 - 延迟TCB分配
一般第一次握手后，服务器会为该请求分配TCB（连接控制资源），通常需要200多字节。如果等到连接建立后再分配，可有效的减轻服务器资源的消耗。 - 防火墙
防火墙在确认了连接的有效性后，才向内部的服务器（Listener）发起 SYN请求。
1.2.2 TCP四次挥手（连接终止）
建立一个连接需要三次握手，而终止一个连接要经过四次挥手。这是由TCP的半关（half-close）造成的。
具体过程如下：
1) 客户端进程向服务端发送标志位是FIN的报文段，设置序列号为seq,此时，客户端进入FIN_WAIT_1状态，并且停止发送数据。
2) 服务端收到客户端发送的FIN报文段，向客户端返回一个标志位为ACK（ack=seq+1）的报文段，服务器进入CLOSE_WAIT（关闭等待）状态。客户端收到服务器确认请求后，进入FIN_WAIT_2状态，等待服务器发送连接释放报文（在这之前还需要接受服务器发送的最后数据）。
3) 服务器将最后的数据发送完毕后，就向客户端发送连接释放报文（FIN=1,ACK=seq+1）,服务器进入LAST_ACK状态，等待客户端确认。
4) 客户端收到服务端连接释放的报文后，发出确认报文，客户端进入TIME_WAIT状态。此时TCP连接还没释放，必须经过2MSL（最长报文寿命）的时间后，撤销TCB，进入CLOSED状态。服务端只要收到确认，立即进入CLOSED状态。
TCP的可靠性
在TCP中，当发送端的数据达到接收主机时，接收主机会发回确认应答（ACK）。如果发送端收到确认应答，说明数据已成功发送到接收主机。反之，如果一段时间内没有收到确认应答，发送端就认为数据丢失，进行重发。因此即使产生丢包，仍然能够保证数据到达接收主机，实现可靠传输。
未收到确认应答并不意味着数据丢失，也有可能接收方已经收到数据，但是确认应答数据在途中丢失，这种情况发送端会误以为接收方没有收到而重发数据。
对于接收方来说，反复收到相同的数据是不可取的。为了对上层应用提供可靠传输，接收主机必须放弃重复的数据包。因此引入了序列号。
序列号是按照顺序给发送数据的每一个字节（8 位字节）都标上号码的编号。接收端查询接收数据 TCP 首部中的序列号和数据的长度，将自己下一步应该接收的序列号作为确认应答返送回去。通过序列号和确认应答号，TCP 能够识别是否已经接收数据，又能够判断是否需要接收，从而实现可靠传输。
TCP中的滑动窗口
滑动窗口是TCP流量控制的一种方法。
首先第一次发送数据的时候窗口大小是根据链路带宽的大小决定的，假设是3。接收方收到数据后会对数据进行确认（ACK），并告诉发送方下次希望收到的数据是多少。发送方收到确认后按照发送方希望的数据大小发送。
1.3 UDP
UDP（用户数据协议，User Datagram Protocol）为应用程序提供了一种无需建立连接就可以发送数据包的方法。UDP是一个不可靠的协议。
使用UDP的服务主要包括：视频音频等多媒体通信、限定于局域网等特定网络中的通信、广播通信等。
1.4 HTTP
HTTP（超文本传输协议，Hyper Text Transfer Protocol）是用于万维网（www）客户端浏览器和服务器进行传输的协议。
一次完整HTTP请求的7个过程
1) 三次握手建立TCP连接。
2) 客户端向服务器发送请求命令。
3) 客户端发送请求头信息。
4) 服务器应答。
;5) 服务器向客户端发送数据。
;6) 关闭TCP连接。
HTTP协议报文结构
请求报文结构：
响应报文结构：
二、 JAVA原生网络编程
2.1 LINUX网络IO模型
阻塞IO
应用程序调用IO函数后阻塞，等待数据准备好。当数据准备好时，将数据从内核拷贝到用户空间，IO函数返回。
非阻塞IO
当应用程序调用IO函数后不会阻塞，如果没有数据会返回一个错误，应用程序反复调用IO函数，直到数据准备好。不断调用的过程会消耗大量的CPU资源，不推荐使用。
IO多路复用
IO多路复用模型是建立在内核提供的多路分离函数select基础之上的，使用select函数可以避免同步非阻塞IO模型中轮询等待的问题，此外poll、epoll都是这种模型。在该种模式下，用户首先将需要进行IO操作的 socket添加到select中，然后阻塞等待select系统调用返回。当数据到达时，socket被激活，select函数返回。用户线程正式发起 read请求，读取数据并继续执行。从流程上来看，使用select函数进行IO请求和同步阻塞模型没有太大的区别，甚至还多了添加监视socket，以及调用select函数的额外操作，效率更差。但是，使用select以后最大的优势是用户可以在一个线程内同时处理 多个socket的IO请求。用户可以注册多个socket，然后不断地调用select读取被激活的socket，即可达到在同一个线程内同时处 理多个IO请求的目的。而在同步阻塞模型中，必须通过多线程的方式才能达到这个目的。
信号驱动IO
套接口进行信号驱动IO，并安装一个信号处理函数，进程继续运行而不阻塞。当数据准备好时，进程会收到一个SIGIO信号，可以在信号函数调用IO函数处理数据。
异步IO
当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的部件在完成后，通过状态、通知和回调来通知调用者的输入输出操作。
LINUX底层使用epoll实现，是伪异步。
5种IO模型比较：
select、poll、epoll区别
- 打开的最大连接数不同。
select最小，底层使用数组实现。
poll最大，没有限制。底层使用链表实现。
epoll非常大，有限制。1G内存支持10万个连接。 - IO效率不同。
FD（文件描述符）增加后带来的IO效率问题。
因为每次调用时都会对连接进行遍历，所以随着 FD（文件描述符） 的增加select和poll性能呈线性下降。而epoll只关注活跃连接，所以在活跃连接较少的情况下，性能高于前两者。 - 消息（报文）传递方式不同
select、poll：数据需要从内核空间传输到用户空间。
epoll：通过内核和用户空间共享一块内存实现的。
2.2 BIO
传统的BIO通信模型：服务端通常由一个独立Acceptor线程负责监听客户端连接，收到客户端请求后为每个客户端创建一个新的线程进行处理，处理完成后通过输出流返回应答给客户端。该模型最大的问题是当请求增多，线程数量增加，系统性能急剧下降。可以使用线程池进行改进。
服务端代码：
public class Server {
public static void main(String[] args) throws IOException {
ServerSocket serverSocket = new ServerSocket();
serverSocket.bind(new InetSocketAddress(8888));
while (true) {
new Thread(new Task(serverSocket.accept())).start();
}
}
static class Task implements Runnable {
private Socket socket;
Task(Socket socket) {
this.socket = socket;
}
@SneakyThrows
@Override
public void run() {
ObjectOutputStream outputStream = null;
ObjectInputStream inputStream = null;
try {
inputStream = new ObjectInputStream(socket.getInputStream());
String name = inputStream.readUTF();
System.out.println("收到客户端发来的信息....." + name);
outputStream = new ObjectOutputStream(socket.getOutputStream());
outputStream.writeUTF("Hello," + name);
outputStream.flush();
} finally {
if (inputStream != null) inputStream.close();
if (outputStream != null) outputStream.close();
}
}
}
}
客户端代码：
public class Client {
private final static String IP = "127.0.0.1";
private final static int PORT = 8888;
public static void main(String[] args) throws IOException {
Socket socket = new Socket();
socket.connect(new InetSocketAddress(IP, PORT));
ObjectOutputStream outputStream = new ObjectOutputStream(socket.getOutputStream());
outputStream.writeUTF("hello");
outputStream.flush();
ObjectInputStream inputStream = new ObjectInputStream(socket.getInputStream());
String context = inputStream.readUTF();
System.out.println("收到了服务器回复的消息..." + context);
outputStream.close();
inputStream.close();
socket.close();
}
}
2.3 NIO
2.3.1 NIO与BIO的区别
- NIO是面向缓冲区的，BIO是面向流的。
- NIO是非阻塞的，BIO是阻塞的。
- NIO使用Selectors（选择器）。
2.3.2 NIO主要由三个核心部分组成
- Selector（选择器） 应用程序将向 Selector 对象注册需要它关注的 Channel，以及具体的某一个Channel会对哪些 IO 事件感兴趣。Selector 中也会维护一个“已经注册的 Channel” 的容器。
- Channel（通道）
应用程序和操作系统交互事件、传递内容的渠道。应用程序可以通过通道读取数据，也可以通过通道向操作系统写数据。
ServerSocketChannel ScoketChannel - Buffer（缓冲区）