Python高级学习笔记（二）—— 网络编程

1 IP 地址

1.1 IP 地址的概念

IP 地址就是标识网络中设备的一个地址，好比现实生活中的家庭地址。

IP 地址分为两类： IPv4 和 IPv6

• IPv4 是目前使用的 ip 地址，由点分十进制组成；
• IPv6 是未来使用的 ip 地址，由冒号十六进制组成。

IP 地址的作用是 标识网络中唯一的一台设备 的，也就是说通过IP地址能够找到网络中某台设备。

1.2 查看 IP 地址

Linux 和 mac OS 使用 ifconfig 这个命令
Windows 使用 ipconfig 这个命令

说明：

• 192.168.1.107 是设备在网络中的IP地址
• 127.0.0.1表示本机地址，提示：如果和自己的电脑通信就可以使用该地址。
• 127.0.0.1该地址对应的域名是 localhost，域名是 ip 地址的别名，通过域名能解析出一个对应的 ip 地址。

1.3 检查网络是否正常

检查网络是否正常使用 ping 命令

说明:

• ping www.baidu.com 检查是否能上公网
• ping 当前局域网的ip地址 检查是否在同一个局域网内
• ping 127.0.0.1\localhost 检查本地网卡是否正常

2 端口与端口号

当要使用电脑1的QQ程序给电脑2的QQ程序发送数据时，我们只知道对方的 ip 地址是找不到对方主机的QQ程序的。

端口 ：是传输数据的通道，好比教室的门，是数据传输必经之路。每运行一个网络程序都会有一个端口，想要给对应的程序发送数据，找到对应的端口即可。

端口号：操作系统为了统一管理这么多端口，就对端口进行了编号，这就是端口号，端口号其实就是一个数字，好比我们现实生活中的门牌号

• 知名端口号：指众所周知的端口号，范围：0 ~1023。
• 动态端口号：一般程序员开发应用程序使用端口号称为动态端口号, 范围：1024~65535。
  • 如果程序员开发的程序没有设置端口号，操作系统会在动态端口号这个范围内随机生成一个给开发的应用程序使用。
  • 当运行一个程序默认会有一个端口号，当这个程序退出时，所占用的这个端口号就会被释放

端口号可以标识唯一的一个端口。

那么最终 QQ 之间进行数据通信的流程是这样的，通过 ip 地址找到对应的设备，通过端口号找到对应的端口，然后通过端口把数据传输给应用程序。

3 TCP 协议

我们知道，通过 IP 地址能够找到对应的设备，然后再通过端口号找到对应的端口，再通过端口把数据传输给应用程序，但是，数据不能随便发送，在发送之前还需要选择一个对应的传输协议—— TCP协议，保证程序之间按照指定的传输规则进行数据的通信。

TCP (Transmission Control Protocol)简称传输控制协议，它是一种传输层通信协议，其特点：

• 基于字节流
• 面向连接
  • 通信双方必须先建立好连接才能进行数据的传输，数据传输完成后，双方必须断开此连接，以释放系统资源。
• 可靠的
  • TCP 采用发送应答机制
  • 超时重传
  • 错误校验
  • 流量控制和阻塞管理

TCP 通信步骤:

• 创建连接
• 传输数据
• 关闭连接

4 套接字 socket

socket (简称 套接字) 是进程之间通信一个工具，进程之间想要进行网络通信需要基于这个 socket。

socket 负责进程之间的网络数据传输，好比数据的搬运工。

5 TCP 网络应用程序开发

TCP 网络应用程序开发分为:

• TCP 客户端程序开发
  • 运行在用户设备上的程序
• TCP 服务端程序开发
  • 运行在服务器设备上的程序，专门为客户端提供数据服务。

5.1 TCP 客户端程序开发

开发流程：

1. 创建客户端套接字对象
2. 和服务端套接字建立连接
3. 发送数据
4. 接收数据
5. 关闭客户端套接字

"""
导入socket模块：import socket

创建客户端socket对象：socket.socket(AddressFamily, Type)

参数说明:
- AddressFamily 表示IP地址类型, 分为IPv4和IPv6
- Type 表示传输协议类型

方法说明:
- connect((host, port)) 表示和服务端套接字建立连接, host是服务器ip地址，port是服务器应用程序的端口号
- send(data) 表示发送数据，data是二进制数据
- recv(buffersize) 表示接收数据, buffersize是每次接收数据的长度

"""
import socket

# 1. 创建客户端套接字对象
# socket.AF_INET：IPV4地址类型，socket.SOCK_STREAM：TCP传输协议类型
tcp_client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 2. 和服务端套接字建立连接
tcp_client_socket.connect(("192.168.1.10", 8080))

# 3. 发送数据
send_content = "哈喽，我是客户端小胡！"
# 对字符串进程编码成为二进制数据
# 对于Windows，网络调试助手使用gbk编码，对于Linux，网络调试助手使用utf-8编码
send_content = send_content.encode("gbk")
tcp_client_socket.send(send_content)

# 4. 接收数据
# 1024：表示每次接受数据的最大字节数
recv_content = tcp_client_socket.recv(1024)
# print(recv_content) # 接收到的数据是二进制的
# 对二进制数据进行解码
recv_content = recv_content.decode("gbk")
print(recv_content)

# 5. 关闭客户端套接字
tcp_client_socket.close()

5.2 TCP 服务端程序开发

开发流程：

1. 创建服务端端套接字对象
2. 绑定端口号
3. 设置监听
4. 等待接受客户端的连接请求
5. 接收数据
6. 发送数据
7. 关闭套接字

"""
导入socket模块：import socket
创建客户端socket对象：socket.socket(AddressFamily, Type)

参数说明:
- AddressFamily 表示IP地址类型, 分为IPv4和IPv6
- Type 表示传输协议类型

方法说明:
- bind((host, port)) 表示绑定端口号, host 是 ip 地址，port 是端口号，ip 地址一般不指定，表示本机的任何一个ip地址都可以。
- listen (backlog) 表示设置监听，backlog参数表示最大等待建立连接的个数。
- accept() 表示等待接受客户端的连接请求
- send(data) 表示发送数据，data 是二进制数据
- recv(buffersize) 表示接收数据, buffersize 是每次接收数据的长度
"""
import socket

# 1. 创建服务端端套接字对象
tcp_sever_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 设置端口号复用
# socket.SOL_SOCKET：表示当前套接字
# socket.SO_REUSEADDR：表示复用端口号的选项
# True：确定复用
tcp_sever_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)

# 2. 绑定端口号
# 第一个参数表示ip地址，一般不用指定，表示本机的任何一个ip即可（一个服务器可能有多个网卡）
tcp_sever_socket.bind(("", 8080))

# 3. 设置监听
# 128表示最大等待建立连接的个数
tcp_sever_socket.listen(128)

# 4. 等待接受客户端的连接请求
# tcp_sever_socket只负责等待接收客户端的连接请求，收发消息不使用该套接字
new_socket, ip_port = tcp_sever_socket.accept()
print("客户端的ip与端口号为：", ip_port)

# 5. 接收数据
# 收发消息都使用返回的这个新的套接字
recv_content = new_socket.recv(1024)
recv_content = recv_content.decode("gbk")
print("接收的客户端的数据为：", recv_content)

# 6. 发送数据
send_content = "这是服务端发给客户端的数据！"
send_content = send_content.encode("gbk")
new_socket.send(send_content)

# 7. 关闭套接字
# 关闭服务与客户端套接字，表示和客户端终止通信
new_socket.close()
# 关闭服务端套接字，表示服务端以后不再等待接收客户端的连接请求
tcp_sever_socket.close()

注意：

• 当 TCP 客户端程序想要和 TCP 服务端程序进行通信的时候必须要先建立连接
• TCP 客户端程序一般不需要绑定端口号，因为客户端是主动发起建立连接的，TCP 服务端程序必须绑定端口号，否则客户端找不到这个 TCP 服务端程序。
• listen 后的套接字是被动套接字，只负责接收新的客户端的连接请求，不能收发消息。当 TCP 客户端程序和 TCP 服务端程序连接成功后， TCP 服务器端程序会产生一个新的套接字，收发客户端消息使用该套接字。
• 关闭 accept 返回的套接字意味着和这个客户端已经通信完毕；关闭 listen 后的套接字意味着服务端的套接字关闭了，会导致新的客户端不能连接服务端，但是之前已经接成功的客户端还能正常通信。
• 当客户端的套接字调用 close 后，服务器端的 recv 会解阻塞，返回的数据长度为0，服务端可以通过返回数据的长度来判断客户端是否已经下线，反之服务端关闭套接字，客户端的 recv 也会解阻塞，返回的数据长度也为0。
• 当客户端和服务端建立连接后，服务端程序退出后端口号不会立即释放，需要等待大概1-2分钟。解决办法有两种:
  • 更换服务端端口号
  • 设置端口号复用(推荐使用)，也就是说让服务端程序退出后端口号立即释放

# 参数1: 表示当前套接字
# 参数2: 设置端口号复用选项
# 参数3: 设置端口号复用选项对应的值
tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)

5.3 多任务TCP服务端程序开发

目前我们开发的TCP服务端程序只能服务于一个客户端，如何开发一个多任务版的TCP服务端程序能够服务于多个客户端呢?

完成多任务，可以使用线程，比进程更加节省内存资源。

具体实现步骤：

1. 编写一个TCP服务端程序，循环等待接受客户端的连接请求
2. 当客户端和服务端建立连接成功，创建子线程，使用子线程专门处理客户端的请求，防止主线程阻塞
3. 把创建的子线程设置成为守护主线程，防止主线程无法退出。

import socket
import threading


# 处理客户端请求的任务
def handle_client_request(ip_port, new_client):
    print("客户端的ip和端口号为:", ip_port)
    # 5. 接收客户端的数据
    # 收发消息都使用返回的这个新的套接字
    # 循环接收客户端的消息
    while True:
        recv_data = new_client.recv(1024)
        if recv_data:
            print("接收的数据长度是:", len(recv_data))
            # 对二进制数据进行解码变成字符串
            recv_content = recv_data.decode("gbk")
            print("接收客户端的数据为:", recv_content, ip_port)

            send_content = "问题正在处理中..."
            # 对字符串进行编码
            send_data = send_content.encode("gbk")
            # 6. 发送数据到客户端
            new_client.send(send_data)
        else:
            # 客户端关闭连接
            print("客户端下线了:", ip_port)
            break
    # 关闭服务与客户端套接字，表示和客户端终止通信
    new_client.close()


if __name__ == '__main__':

    # 1. 创建tcp服务端套接字
    # AF_INET: ipv4 , AF_INET6: ipv6
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 设置端口号复用，表示意思： 服务端程序退出端口号立即释放
    # 1. SOL_SOCKET: 表示当前套接字
    # 2. SO_REUSEADDR： 表示复用端口号的选项
    # 3. True： 确定复用
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
    # 2. 绑定端口号
    # 第一个参数表示ip地址，一般不用指定，表示本机的任何一个ip即可
    # 第二个参数表示端口号
    tcp_server_socket.bind(("", 9090))
    # 3. 设置监听
    # 128: 表示最大等待建立连接的个数
    tcp_server_socket.listen(128)
    # 4. 等待接受客户端的连接请求
    # 注意点： 每次当客户端和服务端建立连接成功都会返回一个新的套接字
    # tcp_server_socket只负责等待接收客户端的连接请求，收发消息不使用该套接字
    # 循环等待接受客户端的连接请求
    while True:
        new_client, ip_port = tcp_server_socket.accept()
        # 代码执行到此，说明客户端和服务端建立连接成功
        # 当客户端和服务端建立连接成功，创建子线程，让子线程专门负责接收客户端的消息
        sub_thread = threading.Thread(target=handle_client_request, args=(ip_port, new_client))
        # 设置守护主线程，主线程退出子线程直接销毁
        sub_thread.setDaemon(True)
        # 启动子线程执行对应的任务
        sub_thread.start()

    # 7. 关闭服务端套接字， 表示服务端以后不再等待接受客户端的连接请求
    # tcp_server_socket.close()  # 因为服务端的程序需要一直运行，所以关闭服务端套接字的代码可以省略不写

6 socket之send和recv原理剖析

当创建一个TCP socket对象的时候会有一个发送缓冲区和一个接收缓冲区，这个发送和接收缓冲区指的就是内存中的一片空间。

send原理剖析

send是不是直接把数据发给服务端?

不是，要想发数据，必须得通过网卡发送数据，应用程序是无法直接通过网卡发送数据的，它需要调用操作系统接口，也就是说，应用程序把发送的数据先写入到发送缓冲区(内存中的一片空间)，再由操作系统控制网卡把发送缓冲区的数据发送给服务端网卡 。

recv原理剖析

recv是不是直接从客户端接收数据?

不是，应用软件是无法直接通过网卡接收数据的，它需要调用操作系统接口，由操作系统通过网卡接收数据，把接收的数据写入到接收缓冲区(内存中的一片空间），应用程序再从接收缓存区获取客户端发送的数据。

注意：

• 不管是recv还是send都不是直接接收到对方的数据和发送数据到对方，发送数据会写入到发送缓冲区，接收数据是从接收缓冲区来读取，发送数据和接收数据最终是由操作系统控制网卡来完成。