网络通信协议学习

网络通信协议

互联网的核心是一系列协议，总称为“互联网协议（Internet Protocol Suite）”，这些协议规定了电脑如何连接和组网

Socket
- 接口抽象层
TCP/UDP ：传输层
- 面向连接（可靠）/无连接（不可靠）
HTTP1.1/HTTP2/QUIC（HTTP3）：应用层
- 超文本传输协议

Socket抽象层

应用接口通过“套接字”向网络发送数据，主要包含下面的几种操作

建立，接收连接
读写，关闭，超时
获取地址，端口

图片.png

TCP

TCP/IP是传输控制协议/网间协议，是一种面向连接（连接导向）的，可靠的，基于字节流的传输层通信协议
服务端流程

监听端口
接口客户端请求建立连接
创建goroutine处理连接

客户端流程

建立同服务端的连接
进行数据收发
关闭连接

TCP三次握手.png

closewait处理方式

UDP

UDP 协议（User Datagram Protocol）中文名称是用户数据报协议，是 OSI（Open System Interconnection，开放式系统互联）参考模型中一种无连接的传输层协议。
一个简单的传输层协议：

不需要建立连接
不可靠的、没有时序的通信
数据报是有长度（65535-20=65515）
支持多播和广播
低延迟，实时性比较好
应用于用于视频直播、游戏同步

HTTP超文本协议

HTTP(HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议，它详细规定了浏览器和万维网服务器之间互相通信的规则，通过因特网传送万维网文档的数据传送协议

请求报文

Method: HEAD/GET/POST/PUT/DELETE
Accept：text/html、application/json
Content-Type: 
application/json
application/x-www-form-urlencoded
请求正文

响应报文

状态行(200/400/500)
响应头(Response Header)
响应正文

常用命令

nload
tcpflow:  监听指定端口
ss
netstat
nmon
top

grpc

gRPC 基于 HTTP2 协议扩展
请求消息

Headers
    :method = POST
    :scheme = https
    :path = /api.echo.v1.Echo/SayHello
    content-type = application/grpc+proto
    grpc-encoding = gzip
Data
    
Data:
    1 byte of zero (not compressed).
    network order 4 bytes of proto message length.
    serialized proto message.

返回消息

Headers
    :status = 200
    grpc-encoding = gzip
    content-type = application/grpc+proto
Data
    
Trailers
    grpc-status = 0
    grpc-message = OK
    grpc-details-bin = base64(pb)

HTTP2

HTTP1.1

增加了持久连接，每个请求进行串行请求。
浏览器为每个域名最多同时维护 6 个 TCP 持久连接。
使用 CDN 的实现域名分片机制。

HTTP2多路复用

请求数据二进制分帧层处理之后，会转换成请求 ID 编号的帧，通过协议栈将这些帧发送给服务器。
服务器接收到所有帧之后，会将所有相同 ID 的帧合并为一条完整的请求信息。
然后服务器处理该条请求，并将处理的响应行、响应头和响应体分别发送至二进制分帧层。
同样，二进制分帧层会将这些响应数据转换为一个个带有请求 ID 编号的帧，经过协议栈发送给浏览器。
浏览器接收到响应帧之后，会根据 ID 编号将帧的数据提交给对应的请求

HTTPS

HTTPS；常称为HTTP over TLS、HTTP over SSL或HTTP Secure）是一种通过计算机网络进行安全通信的传输协议。

SSL/TLS 协议提供主要的作用有：

认证用户和服务器，确保数据发送到正确的客户端和服务器。
加密数据以防止数据中途被窃取。
维护数据的完整性，确保数据在传输过程中不被改变。

哈希算法：

CA 用自己的私钥对指纹签名，浏览器通过内置 CA 跟证书公钥进行解密，如果解密成功就确定证书是 CA 颁发的。

对称加密：
-指的就是加、解密使用的同是一串密钥，所以被称做对称加密。对称加密只有一个密钥作为私钥。
非对称加密：
-指的是加、解密使用不同的密钥，一把作为公开的公钥，另一把作为私钥。公钥加密的信息，只有私钥才能解密。
CA 证书机构：
- CA 是负责签发证书、认证证书、管理已颁发证书的机关；通常内置在操作系统，或者浏览器中，防止。

Go网络编程

基础概念
- Socket：数据传输
- Encoding：内容编码
- Session：连接会话状态
- C/S模式：通过客户端实现双端通信
- B/S模式：通过浏览器即可完成数据的传输

简单例子

func main(){
  listen,err := net.Listen("tcp","127.0.0.1:10000")
  if err != nil{
      panic(err)
  }
  for {
        conn,err := listen.Accept()
        if err != nil {
            continue
      }
      go handleConn(conn)
  }
}

func handleConn(conn net.Conn){
      defer conn.close()
      rd := buffio.NewReader(conn)
      wr := buffio.NewWriter(conn)
      for {
            line,_ ,err := rd.ReadLine()
             if err != nil{
                  return
              }
              wr.WriteString("aaa")
              wr.Write(line)
              wr.Flush()
      }
}

func main() {
listen, err := net.ListenUDP("udp", &net.UDPAddr{Port: 20000})
if err != nil {
    log.Fatalf("listen error: %v\n", err)
}
defer listen.Close()
for {
    var buf [1024]byte
    n, addr, err := listen.ReadFromUDP(buf[:])
    if err != nil {
        log.Printf("read udp error: %v\n", err)
        continue
    }
    data := append([]byte("hello "), buf[:n]...)
    listen.WriteToUDP(data, addr)
  }
}

func main() {
  mux := http.NewServeMux()
  mux.HandleFunc("/", func(w http.ResponseWriter, req *http.Request) {
    if req.URL.Path != "/" {
        http.NotFound(w, req)
        return
    }
    fmt.Fprintf(w, "Welcome to the home page!")
  })
  s := &http.Server{
    Addr:           ":8080",
    Handler:        mux,
    ReadTimeout:    1 * time.Second,
    WriteTimeout:   1 * time.Second,
    MaxHeaderBytes: 1 << 20,
}

IO模型

Linux下主要的IO模型分为:

Blocking IO - 阻塞I O
Nonblocking IO - 非阻塞IO
IO multiplexing - IO 多路复用
Signal-driven IO - 信号驱动式IO（异步阻塞）
Asynchronous IO - 异步IO

I/O多路复用

I/O 多路复用：进程阻塞于 select，等待多个 IO 中的任一个变为可读，select 调用返回，通知相应 IO 可以读。它可以支持单线程响应多个请求这种模式。

图片.png

GO采用的是I/Oduo路复用，模型处理I/O 操作，但是并没有选择常见的select，而是在linuxs上采用的Epoll，虽然select也可以提哦那个I/O 多路复用的能力，但是其使用有较多的限制

监听能力有限
内存拷贝开销较大
时间复杂度

多路复用模块

为了提高 I/O 多路复用的性能
不同的操作系统也都实现了自己的 I/O 多路复用函数，例如：epoll、kqueue 和 evport 等
Go 语言为了提高在不同操作系统上的 I/O 操作性能，使用平台特定的函数实现了多个版本的网络轮询模块：

src/runtime/netpoll_epoll.go
src/runtime/netpoll_kqueue.go
src/runtime/netpoll_solaris.go
src/runtime/netpoll_windows.go
src/runtime/netpoll_aix.go
src/runtime/netpoll_fake.go

网络通信协议学习