【学习笔记】——网络编程（一）

目录

网络编程

tcp

socket:

HTTP协议：

URL

get 请求原始报文的数据格式

返回指定页面

---

网络编程：

1、ip地址作用：标识网络中唯一一台设备的地址
2、表现形式：
ipv4 点分十进制
ipv6 冒分十六进制
 172 .192. 10   ---局域网ip 地址
 在控制面板——网络和共享中可以查看-网络连接详细信息。
 3、查看ip 地址：
 ifconfig
 ipconfig
 域名：ip地址的别名 通过域名可以解析出一个对应的IP地址。

4、检查网络： ping
    1、ping ww3w.baidu.com 检查是否能上公网
    2、ping当前局域网的ip地址 检查是否在同一个局域网内 （如果可以ping通则在同一个局域网中）
    3、ping 127.0.0.1检查本地网卡是否正常。
 
5、端口和端口号：
 端口：数据传送的必经之路。
 端口号： 短号的编号
 每一个网络程序都有一个端口，每一个端口有一个端口号。
 通过端口号能找到对应端口。再通过端口给应用程序发送数据。
 
6、端口号分类：
 知名端口号： 众所周知的端口号 ：范围0~1023
         常见知名端口号: 21:ftp(文件传输协议), 25:SMTP(简单邮件传输协议)， 80 ：HTTP
 动态端口号： 开发应用程序使用的端口号，范围：1024——65535。
    程序员不指定，随机生成
    程序运行时生成，用完释放。

tcp

TCP：传输控制协议
特点：面向连接、可靠、基于字节流的传输层通信协议
过程;
1、创建连接
2、传输数据
3、关闭连接    

socket:

我们通过ip找到了主机，通过端口号找到了主机上应用程序端口，知道了传输数据遵守的规矩，
接下来查的就是通过什么工具去发送数据。——socket

socket:网络进程之间通信的一个工具
    负责进程之间数据传输，好比数据搬运工。
    网络相关的应用程序和软件都用到socket
  

tcp客户端程序开发流程;
    1、获取套接字对象
    2、通过套接字对象创建连接 建立连接是和服务端套接字建立链接 
            参数是一个元组
    3、向服务端发送数据
    4、接收数据
    5、关闭连接
   

tcp    服务端程序开发流程
1、创建连接对象
2、绑定端口号  因为绑定了端口号客服端才能通过ip和端口号与服务端建立连接
3、设置监听
4、等待接收客户端的连接请求
4、接收数据
5、发送数据
6、关闭套接字

两台电脑想要通信必须在同一网段。服务器的远程不分网段

TCP服务端程序：
导入socket模块
创建TCP套接字‘socket’
参数1: ‘AF_INET’, 表示IPv4地址类型
参数2: ‘SOCK_STREAM’, 表示TCP传输协议类型
绑定端口号‘bind’
参数: 元组, 比如:(ip地址, 端口号)
设置监听‘listen’
参数: 最大等待建立连接的个数
等待接受客户端的连接请求‘accept’
发送数据‘send’
参数: 要发送的二进制数据， 注意: 字符串需要使用encode()方法进行编码
接收数据‘recv’
参数: 表示每次接收数据的大小，单位是字节，注意: 解码成字符串使用decode()方法
关闭套接字‘socket’表示通信完成

 

多任务版服务端程序：
import threading

threading.thread(target = , argus = )

 

HTTP协议：

http协议：超文本传输协议（超越文本）
规定了浏览器和web服务器通信数据的格式==浏览器和web服务器通信需要使用http协议
只是一个数据格式：HTTP格式的数据想要发送要使用tcp协议

HTTP协议基于tcp的所以也需要建立连接。

浏览器访问web服务器的通信过程：
1、通过DNS(域名解析服务器)讲域名解析城ip地址。
2、从域名解析服务器获取ip地址
3、通过ip地址和默认端口与web 服务器程序建立连接
4、发送http请求
5、web服务器根据请求获取资源
6、返回资源给web服务器
7、web服务器返回http 响应数据。

URL

url: 网络资源地址 （网址）
组成：
1、协议部分：http://  https://  ftp://
2、域名部分：news.163.com
3、资源路径部分（以.html结尾）  / 如百度首页，后面资源路径没有。默认的资源路径就是一根斜线。
4、[可选]参数部分： 参数用？号开始，多个参数用&分隔。
eg:https://www.baidu.com/hello.html?page=1&count=10   3 分页显示，第一页十条记录。
查看HTTP协议的通信过程：
调出谷歌开发者工具：
苹果：alt + command + i
windows:CTRL+shift + i

标签选项：
elements: 网页标签元素
console：控制台、执行js代码的
sourses:网页静态资源文件
network:查看HTTP通信过程

General:
请求网络资源路径：Request URL
请求方法：        Request Method
状态码：    status code
远程服务器地址：re

response:相应提数据，根据客户端请求发送给客户端使用的数据

 

get 请求原始报文的数据格式

--------------------------http 请求报文---------------------------

-----请求行----
GET / HTTP/1.1\r\n   #  请求方法 请求资源路径 http协议的版本
-----请求头-----
Host: ntlias3.boxuegu.com\r\n  # 服务器的ip地址和端口号，如果不写默认使用80
Connection: keep-alive\r\n  # 和服务端保持长连接， 长连接的好处是建立一次连接可以发送多次请求和多次响应，节省创建连接资源
Cache-Control: max-age=0 \r\n# 不缓存
Upgrade-Insecure-Requests:\r\n 1 # 让浏览器升级不安全请求，使用https请求
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko)\r\n、Chrome/71.0.3578.98 Safari/537.36\r\n  # 用户代理，其实就是客户端的名称， 后续讲爬虫的可以根据请求头进行反爬
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\r\n # 告诉服务端接受的数据类型
Accept-Encoding: gzip, deflate\r\n # 告诉服务端支持的压缩算法
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8\r\n # 告诉服务端支持的语言。

 

get 请求报文数据格式:

请求行
请求头
\r\n(不能省略)

post 请求报文数据格式:

请求行
请求头
\r\n(不能省略)
请求体 From data

 

-----------http的原始响应报文--------------------
--- 响应行(状态行) -------
HTTP/1.1 200 OK\r\n  # http协议的版本 状态码  状态描述[可选]
--- 响应头-----------
Server: Itcast/9.99.9\r\n   # 服务器名称
Date: Thu, 14 Feb 2019 03:00:00 GMT\r\n  # 服务器的响应时间
Content-Type: text/html;charset=UTF-8\r\n   # 内容类型和编码格式
Transfer-Encoding: chunked\r\n   # 服务端不确定发送数据的大小，发送数据接收的标识： '0\r\n', Content-Length: 100字节， 服务端确定发送数据的大小， 两者只能出现一个
Connection: keep-alive\r\n   # 告诉客户端和客户端保持长连接
Vary: Accept-Encoding\r\n 
X-Application-Context: application:production:6202\r\n   # 以上两个是自定义响应头信息, 响应头和请求头都可以有程序员自定义的头信息
Content-Language: zh-CN\r\n    # 内容语言
Content-Encoding: gzip\r\n   # 内容压缩算法
\r\n (不能省略)
-----响应体---------------
服务端根据请求发送给客户端的响应数据

---------响应报文格式---------

响应行
响应头
\r\n
响应体

开发者工具的Headers选项总共有三部分组成:

1、General: 主要信息

2、Response Headers: 响应头

3、Request Headers: 请求头

Response选项是查看响应体信息的

http请求报文介绍：

最常见：

1、GET:向web服务器获取数据  会把你提交的数据以参数的方式拼接到地址栏，这很不安全。

2、POST：向web服务器提交i数据  比如登陆

搭建python自带的web静态服务器

终端：python3 -m http.server

-m：表示运行包里的模块，前提：需进入自己指定的静态文件目录

静态web服务器-返回固定页面数据

开发静态web服务器：

实现步骤：

1、编写一个tcp服务端程序

2、获取浏览浏览器发送的http请求报文数据

3、读取固定页面数据，把页面数据组装成http响应报文数据                                                  

import socket


if __name__ == '__main__':
    # 创建tcp服务端套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 设置端口号复用, 程序退出端口立即释放
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
    # 绑定端口号
    tcp_server_socket.bind(("", 9000))
    # 设置监听
    tcp_server_socket.listen(128)
    while True:
        # 等待接受客户端的连接请求
        new_socket, ip_port = tcp_server_socket.accept()
        # 代码执行到此，说明连接建立成功
        recv_client_data = new_socket.recv(4096)
        # 对二进制数据进行解码
        recv_client_content = recv_client_data.decode("utf-8")
        print(recv_client_content)

        with open("static/index.html", "rb") as file:
            # 读取文件数据
            file_data = file.read()


        # 响应行
        response_line = "HTTP/1.1 200 OK\r\n"
        # 响应头
        response_header = "Server: PWS1.0\r\n"

        # 响应体
        response_body = file_data

        # 拼接响应报文
        response_data = (response_line + response_header + "\r\n").encode("utf-8") + response_body
        # 发送数据
        new_socket.send(response_data)

        # 关闭服务与客户端的套接字
        new_socket.close()

返回指定页面

返回指定页面数据的实现步骤:

1. 获取用户请求资源的路径
2. 根据请求资源的路径，读取指定文件的数据
3. 组装指定文件数据的响应报文，发送给浏览器
4. 判断请求的文件在服务端不存在，组装404状态的响应报文，发送给浏览器

import socket


def main():
    # 创建tcp服务端套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 设置端口号复用, 程序退出端口立即释放
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
    # 绑定端口号
    tcp_server_socket.bind(("", 9000))
    # 设置监听
    tcp_server_socket.listen(128)
    while True:
        # 等待接受客户端的连接请求
        new_socket, ip_port = tcp_server_socket.accept()
        # 代码执行到此，说明连接建立成功
        recv_client_data = new_socket.recv(4096)
        if len(recv_client_data) == 0:
            print("关闭浏览器了")
            new_socket.close()
            return

        # 对二进制数据进行解码
        recv_client_content = recv_client_data.decode("utf-8")
        print(recv_client_content)
        # 根据指定字符串进行分割， 最大分割次数指定2
        request_list = recv_client_content.split(" ", maxsplit=2)

        # 获取请求资源路径
        request_path = request_list[1]
        print(request_path)

        # 判断请求的是否是根目录，如果条件成立，指定首页数据返回
        if request_path == "/":
            request_path = "/index.html"

        # 动态打开指定文件
        with open("static" + request_path, "rb") as file:   # 如果是r则不能加载图片。
            # 读取文件数据
            file_data = file.read()


        # 响应行
        response_line = "HTTP/1.1 200 OK\r\n"
        # 响应头
        response_header = "Server: PWS1.0\r\n"

        # 响应体
        response_body = file_data

        # 拼接响应报文
        response_data = (response_line + response_header + "\r\n").encode("utf-8") + response_body
        # 发送数据
        new_socket.send(response_data)

        # 关闭服务与客户端的套接字
        new_socket.close()

if __name__ == '__main__':
    main()

 

import socket


def main():
    # 创建tcp服务端套接字
    tcp_server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # 设置端口号复用, 程序退出端口立即释放
    tcp_server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, True)
    # 绑定端口号
    tcp_server_socket.bind(("", 9000))
    # 设置监听
    tcp_server_socket.listen(128)
    while True:
        # 等待接受客户端的连接请求
        new_socket, ip_port = tcp_server_socket.accept()
        # 代码执行到此，说明连接建立成功
        recv_client_data = new_socket.recv(4096)
        if len(recv_client_data) == 0:
            print("关闭浏览器了")
            new_socket.close()
            return

        # 对二进制数据进行解码
        recv_client_content = recv_client_data.decode("utf-8")
        print(recv_client_content)
        # 根据指定字符串进行分割， 最大分割次数指定2
        request_list = recv_client_content.split(" ", maxsplit=2)

        # 获取请求资源路径
        request_path = request_list[1]
        print(request_path)

        # 判断请求的是否是根目录，如果条件成立，指定首页数据返回
        if request_path == "/":
            request_path = "/index.html"

        try:
            # 动态打开指定文件
            with open("static" + request_path, "rb") as file:
                # 读取文件数据
                file_data = file.read()
        except Exception as e:
            # 请求资源不存在，返回404数据
            # 响应行
            response_line = "HTTP/1.1 404 Not Found\r\n"
            # 响应头
            response_header = "Server: PWS1.0\r\n"
            with open("static/error.html", "rb") as file:
                file_data = file.read()
            # 响应体
            response_body = file_data

            # 拼接响应报文
            response_data = (response_line + response_header + "\r\n").encode("utf-8") + response_body
            # 发送数据
            new_socket.send(response_data)
        else:
            # 响应行
            response_line = "HTTP/1.1 200 OK\r\n"
            # 响应头
            response_header = "Server: PWS1.0\r\n"

            # 响应体
            response_body = file_data

            # 拼接响应报文
            response_data = (response_line + response_header + "\r\n").encode("utf-8") + response_body
            # 发送数据
            new_socket.send(response_data)
        finally:
            # 关闭服务与客户端的套接字
            new_socket.close()

if __name__ == '__main__':
    main()