学Python的漫画漫步进阶 -- 第十四步
学Python的漫画漫步进阶 -- 第十四步
- 十四、网络通信
-
- 14.1 基本的网络知识
-
- 14.1.1 TCP/IP
- 14.1.2 IP地址
- 14.1.3 端口
- 14.1.4 HTTP/HTTPS
- 14.2 搭建自己的Web服务器
- 14.3 urllib.request模块
-
- 14.3.1 发送GET请求
- 14.3.2 发送POST请求
- 14.4 JSON数据
-
- 14.4.1 JSON文档的结构
- 14.4.2 JSON数据的解码
- 14.5 动动手——下载图片示例
- 14.6 动动手——返回所有备忘录信息
- 14.7 练一练
十四、网络通信
本章讲解如何通过Python访问互联网上的资源，这也是网络爬虫技术的基础。
Python是一种通用的编程语言，具有易于学习和使用的特性，因此在网络通信方面也有广泛的应用。
网络通信是指在不同设备之间传输数据和信息的过程。为了实现网络通信，需要遵循一些协议和规范，其中最常见的协议是TCP/IP协议和HTTP/HTTPS协议。
TCP/IP协议是互联网的基础协议，包括TCP和IP两个协议。TCP协议负责数据的可靠传输，IP协议负责数据的路由和寻址。在Python中，可以使用socket模块实现TCP/IP协议的网络通信。
HTTP/HTTPS协议是一种基于TCP/IP协议的应用层协议，用于Web浏览器和Web服务器之间的通信。HTTP/HTTPS协议定义了浏览器和服务器之间的请求和响应格式，常见的HTTP方法包括GET和POST等。在Python中，可以使用urllib、requests等库实现HTTP/HTTPS协议的网络通信。
JSON是一种常用的数据交换格式，可以用于在不同设备之间传输数据。在Python中，可以使用json模块处理JSON数据。
综上所述，Python中常见的网络通信协议包括TCP/IP协议、HTTP/HTTPS协议等，可以使用socket模块、urllib库、requests库等实现网络通信。JSON是一种常用的数据交换格式，可以用于在不同设备之间传输数据。
14.1 基本的网络知识
程序员在进行网络编程前，需要掌握基本的网络知识，本节会介绍这些内容。
14.1.1 TCP/IP
在网络通信中会用到一些相关协议，其中，TCP/IP是非常重要的协议，由IP和TCP两个协议构成。IP（Internet Protocol）是一种低级的路由协议，它将数据拆分在许多小的数据包中，并通过网络将它们发送到某一特定地址，但无法保证所有包都抵达目的地，也不能保证包按顺序抵达。
由于通过IP传输数据存在不安全性，所以还需要通过TCP（Transmission Control Protocol，传输控制协议）进行网络通信。TCP是一种高层次的协议，是面向连接的可靠数据传输协议，如果有些数据包没被收到，则会重发，对数据包的内容准确性进行检查并保证数据包按顺序抵达。所以，TCP能够保证数据包安全地按照发送时的顺序送达目的地。
14.1.2 IP地址
为了实现网络中不同计算机之间的通信，每台计算机都必须有一个与众不同的标识，这就是IP地址，TCP/IP使用IP地址来标识源地址和目的地址。
最初，所有的IP地址都是由32位数字构成的，由4个8位的二进制数组成，每8位之间用圆点隔开，例如192.168.1.1，这种类型的地址通过IP v4指定。现在有一种新的地址模式，叫作IPv6，IPv6使用128位数字表示一个地址。尽管IPv6比IPv4有很多优势，但是由于习惯的问题，很多设备还是采用IPv4。
另外，我们有时还会用到一个特殊的IP地址127.0.0.1，127.0.0.1叫作回送地址，指本机。回送地址主要用于网络软件测试及本机的进程间通信，只发送数据，只进行本机进程间通信，不进行任何网络传输。
14.1.3 端口
一个IP地址标识一台计算机，每一台计算机又有很多网络通信程序在运行，提供网络服务或进行通信，这就需要不同的端口进行通信。如果把IP地址比作电话号码，那么端口就是分机号码，在进行网络通信时不仅要指定IP地址，还要指定端口号。
TCP/IP系统中的端口号是一个16位的数字，它的范围是 0～65535。将小于1024的端口号保留给预定义的服务，例如HTTP是80，FTP是21，Telnet是23，Email是25，等等。除非要和那些服务进行通信，否则不应该使用小于1024的端口。
14.1.4 HTTP/HTTPS
对互联网的访问大多基于HTTP/HTTPS，HTTP/HTTPS是TCP/IP的一种协议。
1 HTTP
HTTP（Hypertext Transfer Protocol，超文本传输协议）属于应用层协议，其简捷、快速的方式适用于分布式超文本信息传输。HTTP是无连接协议，即在每一次请求时都建立连接，服务器在处理完客户端的请求后，会先应答客户端，然后断开连接，不会一直占用网络资源。
HTTP/1.1共定义了8种请求方法：OPTIONS、HEAD、GET、POST、PUT、DELETE、TRACE和CONNECT。GET和POST方法最常用。
1） GET方法：用于向指定的资源发出请求，被发送的信息“显式”地跟在URL后面。它一般只用于读取数据，例如静态图片等。GET方法有点像使用明信片给别人写信，将“信的内容”写在外面，接触到的人都可以看到，因此是不安全的。
2） POST方法：用于向指定的资源提交数据，请求服务器进行处理，例如提交表单或者上传文件等。数据被包含在请求体中。POST方法像是把“信的内容”装入信封中，接触到该信封的人都看不到信的内容，因此是相对安全的。
2 HTTPS
HTTPS（Hypertext Transfer Protocol Secure，超文本传输安全协议）是超文本传输协议和SSL的组合，用于提供加密通信及对网络服务器身份的鉴定。简单地说，HTTPS是加密的HTTP。
HTTPS与HTTP的区别是：HTTPS使用https：//代替http：//，HTTPS使用端口443，而HTTP使用端口80与TCP/IP通信。
14.2 搭建自己的Web服务器
搭建Web服务器的步骤如下。
1 安装JDK（Java开发工具包）
我们的Web服务器是Apache Tomcat，是支持Java Web技术的Web服务器。Apache Tomcat的运行需要Java运行环境，而JDK提供了Java运行环境，因此我们首先需要安装JDK。
我们可以从本章配套代码中找到JDK安装包jdk-8u211-windows-i586.exe。具体安装步骤不再赘述。
2 配置Java运行环境
Apache Tomcat在运行时需要用到JAVA_HOME环境变量，因此需要先设置JAVA_HOME环境变量。
首先，打开Windows系统环境变量设置对话框，打开该对话框有很多方式，如果是Windows 10系统，则在桌面上用鼠标右键单击“此电脑”图标，弹出Windows系统对话框，之后如下图所示操作。
3 安装Apache Tomcat服务器
我们可以从本章的配套代码中找到Apache Tomcat安装包apache-tomcat-9.0.13.zip，只需将apache-tomcat-9.0.13.zip解压即可安装Apache Tomcat服务器。
4 启动Apache Tomcat服务器
在Apache Tomcat解压目录的bin目录下找到startup.bat文件，双击startup.bat即可启动Apache Tomcat。
启动Apache Tomcat成功后会看到如下信息:
5 测试Apache Tomcat服务器
打开浏览器，在地址栏中输入http：//localhost：8080/NoteWebService/，在打开的页面上介绍了当前Web服务器已经安装的Web应用（NoteWebService）的具体使用方法。
打开浏览器，在地址栏中输入网址http：//localhost：8080/NoteWebService/note.do，在打开的页面上可以查询所有数据。
14.3 urllib.request模块
我们要想在Python中访问互联网资源，则可以使用官方内置的urllib.request模块。
14.3.1 发送GET请求
如果要发送HTTP/HTTPS的GET请求，则可以使用urllib.request模块的Request对象。
示例代码如下：
参考14.2节启动Web服务器，然后通过Python指令运行文件:
14.3.2 发送POST请求
如果要发送HTTP/HTTPS的POST请求，则其发送流程与发送GET
请求非常类似。
示例代码如下：
参考14.2节启动Web服务器，然后通过Python指令运行文件:
14.4 JSON数据
14.4.1 JSON文档的结构
构成JSON文档的两种结构为：JSON对象（object）和JSON数组（array）。
1 JSON对象
JSON对象类似于Python中的字典类型，示例如下：
14.4.2 JSON数据的解码
JSON数据的解码（decode）指将JSON数据转换为Python数据，当从网络中接收或从磁盘中读取JSON数据时，需要将其解码为Python数据。
在编码过程中，JSON数据被转换为Python数据。
2 JSON数组
JSON数组类似于Python中的列表类型，示例如下：
我们使用json模块提供的loads（str）函数进行JSON数据的解码，参数str是JSON字符串，返回Python数据。
重构14.3.1节的示例，代码如下：
通过Python指令运行文件:
14.5 动动手——下载图片示例
参考代码如下：
参考14.2节启动Web服务器，然后通过Python指令运行文件:
在文件下载成功后，会在当前目录下看到download.png文件。
14.6 动动手——返回所有备忘录信息
参考代码如下：
参考14.2节启动Web服务器，然后通过Python指令运行文件:
14.7 练一练
1 请简述HTTP中POST和GET方法的不同。
2 请编写Python程序，访问你熟悉的Web网站。
3 判断对错：（请在括号内打√或×，√表示正确，×表示错误）。
1）127.0.0.1叫作回送地址，指本机，主要用于网络软件测试及本机进程间通信，使用回送地址发送数据，不进行任何网络传输，只在本机进程间通信。（）
2）JSON对象是用大括号括起来的。（）
3）JSON数组是用中括号括起来的。（）
4）我们在自己编写网络通信程序时，应该使用大于1024的端口。（）
5）当向服务器请求发送发大量数据时，应该使用GET（）方法请求。（）
6）简单地说，HTTPS是加密版的HTTP。（）
7）JSON对象解码后返回的是Python中的字典对象。（）
8）JSON数组解码后返回的是Python中的列表对象。（）