Python的秘密基地--[章节16] Python 网络编程
第16章：Python 网络编程
在现代软件开发中，网络通信是不可或缺的部分。Python 提供了强大的网络编程支持，包括 socket 通信、HTTP 请求、WebSocket 通信和爬虫技术。本章将介绍如何使用 Python 进行网络通信，并实现常见的网络编程任务。
16.1 网络编程基础
16.1.1 网络通信协议
- TCP（Transmission Control Protocol）：面向连接的可靠传输协议，适用于 HTTP、FTP 等。
- UDP（User Datagram Protocol）：无连接、快速但不可靠，适用于视频流、实时通信等。
16.2 使用 socket 进行网络通信
Python 的 socket 模块可以用来实现 TCP 和 UDP 通信。
16.2.1 创建 TCP 服务器
import socket
server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 创建 TCP 套接字
server_socket.bind(("0.0.0.0", 8080)) # 绑定地址和端口
server_socket.listen(5) # 监听连接
print("等待客户端连接...")
conn, addr = server_socket.accept() # 接受客户端连接
print(f"客户端 {addr} 连接成功")
data = conn.recv(1024).decode() # 接收数据
print(f"收到数据：{data}")
conn.send("你好，客户端！".encode()) # 发送数据
conn.close()
server_socket.close()
16.2.2 创建 TCP 客户端
import socket
client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
client_socket.connect(("127.0.0.1", 8080)) # 连接服务器
client_socket.send("Hello, Server!".encode()) # 发送数据
response = client_socket.recv(1024).decode() # 接收数据
print(f"服务器响应：{response}")
client_socket.close()
16.3 处理 HTTP 请求（requests 模块）
requests 模块可以方便地进行 HTTP 请求，适用于 Web 爬虫、API 调用等。
16.3.1 安装 requests
pip install requests
16.3.2 发送 GET 请求
import requests
response = requests.get("https://jsonplaceholder.typicode.com/todos/1")
print(response.json()) # 解析 JSON 响应
16.3.3 发送 POST 请求
import requests
data = {"name": "Alice", "age": 25}
response = requests.post("https://httpbin.org/post", json=data)
print(response.json())
16.4 WebSocket 通信
WebSocket 适用于 即时聊天、实时数据推送，可以实现双向通信。
16.4.1 安装 WebSocket 库
pip install websockets
16.4.2 创建 WebSocket 服务器
import asyncio
import websockets
async def echo(websocket, path):
async for message in websocket:
await websocket.send(f"收到：{message}")
start_server = websockets.serve(echo, "localhost", 8765)
asyncio.get_event_loop().run_until_complete(start_server)
asyncio.get_event_loop().run_forever()
16.4.3 创建 WebSocket 客户端
import asyncio
import websockets
async def send_message():
async with websockets.connect("ws://localhost:8765") as websocket:
await websocket.send("你好，WebSocket！")
response = await websocket.recv()
print(f"服务器响应：{response}")
asyncio.run(send_message())
16.5 Python 网络爬虫
Python 爬虫可以自动获取网页数据，常用于 数据采集、自动化测试。
16.5.1 使用 BeautifulSoup 解析 HTML
pip install beautifulsoup4
import requests
from bs4 import BeautifulSoup
url = "https://news.ycombinator.com/"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
for title in soup.find_all("a", class_="storylink"):
print(title.text)
16.5.2 使用 Scrapy 进行爬取
Scrapy 是功能强大的爬虫框架，适用于大规模数据采集：
pip install scrapy
创建 Scrapy 爬虫：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = ["http://quotes.toscrape.com"]
def parse(self, response):
for quote in response.css("div.quote"):
yield {"text": quote.css("span.text::text").get()}
运行爬虫：
scrapy runspider my_spider.py -o quotes.json
16.6 小结
本章介绍了：
- socket 通信：实现 TCP 服务器和客户端。
- HTTP 请求：使用
requests进行 API 调用。 - WebSocket 通信：实现实时双向通信。
- 网络爬虫：使用
BeautifulSoup和Scrapy进行数据采集。