HTTP协议的基础
HTTP协议
- HTTP协议
- 一、网络基础
- 1、TCP/IP协议族各层作用
- 应用层
- 传输层
- 网络层
- 链路层
- 2、TCP/IP 通信传输流
- 3、关系密切的IP、TCP、DNS协议（3次握手）
- 4、URI和URL
- 1、TCP/IP协议族各层作用
- 二、简单的HTTP协议
- 1、通过请求和响应的交换达成通信
- 2、HTTP是一种无状态协议
- 3、HTTP方法
- 4、持久连接 keep-alive
- 5、cookie
- 三、HTTP报文
- 2、用于HTTP协议交互的信息称为HTTP报文
- 2、多部分对象集合
- 四、HTTP状态码
- 五、HTTP协作的Web服务器
- 1、通信数据转发：代理、网关、隧道
- 2、缓存
- 六、HTTP首部
- HTTP首部字段
- 七、HTTPS
- 1、HTTP的缺点
- 2、HTTP+加密+认证+完整性保护 = HTTPS
- 八、确认访问用户身份的认证
- 1、HTTP认证
- 2、Session管理和Cookie应用
- 九、基于HTTP的功能追加协议
- 1、HTTP瓶颈
- 2、Ajax
- 3、使用浏览器进行全双工通信的WebSocket
- 十、构建Web内容的技术
- 1、HTML+CSS+JavaScript
- 2、Web应用
- 3、数据格式
- 十一、Web攻击技术
- 1、针对Web的攻击技术
- 2、针对Web的攻击模式
- 3、密码破解
- 十二、参考资料
- 一、网络基础
一、网络基础
1、TCP/IP协议族各层作用
应用层
决定了向用户提供应用服务时通信的活动
比如：FTP、DNS、HTTP
传输层
提供数据传输
比如：TCP、UDP
网络层
处理在网络上流动的数据包（网络传输最小单位）
比如IP协议
链路层
用来处理连接网络的硬件部分
2、TCP/IP 通信传输流
发送端从应用层往下走，接收端则往应用层往上走 
发送端每经过一层打上一个该层的首部信息 -> 封装encapsulate
接收端每经过一层把首部信息消去
3、关系密切的IP、TCP、DNS协议（3次握手）
IP协议的作用是把各种数据包传送给对方。 IP地址和MAC地址。 ARP协议（解析地址的协议)。
TCP协议把数据准确的传给对方，可以分割大数据。 为了准确传输，采用三次握手策略。
*三次握手（three-way handshaking）
发送端发送一个带有SYN(synchronize)标志的数据包给对方
接收端收到后，回传一个带有SYN/ACK标志的数据包表示确认信息
发送端再回传一个ACK(acknowledgement)标志的数据包，代表握手结束
DNS服务提供域名到IP地址之间的解析服务 发送端发送http://t66y.com/，DNS解析对应一个IP地址，然后访问服务器
4、URI和URL
http://t66y.com/ => URL 统一资源定位符(Uniform Resource Locator)
http://t66y.com/index.php => URI 统一资源标识符(Uniform Resource Idenitifier)
绝对URI格式 
二、简单的HTTP协议
客户端：请求访问文本或图像等资源的一端
服务端：提供资源响应的一端
1、通过请求和响应的交换达成通信
请求报文是由请求方法、请求URI、协议版本、可选的请求首部字段和内容实体构成 
响应报文是由协议版本、状态码、状态码的原因短语、可选的响应首部字段和主体构成 
2、HTTP是一种无状态协议
使用HTTP协议，每当有新的请求发送，就会有新的响应产生
cookie可以保存状态
3、HTTP方法
GET：获取资源
POST：传输实体主体
PUT：传输文件
HEAD：获得报文首部
DELETE：删除文件
OPTIONS：询问支持的方法
4、持久连接 keep-alive
HTTP/1.1默认持久连接
特点：只要任意一端没有明确提出断开连接，则保持TCP连接状态
好处：减少重复连接和断开的开销，减轻服务器的负载，减少响应时间，提高速度
5、cookie
Cookie技术通过在请求和响应报文中写入Cookie信息来控制客户端的状态 Set-Cookie
三、HTTP报文
2、用于HTTP协议交互的信息称为HTTP报文
报文首部和报文主体是由回车符和换行符（CR+LF）来划分，报文主体可以没有
可以通过压缩来提升传输效率
通用首部
Request URL:http://t66y.com/
Request Method:GET
Status Code:200 OK
Remote Address:127.0.0.1:1086
Referrer Policy:no-referrer-when-downgrade
请求报文
GET / HTTP/1.1
Host: t66y.com
Connection: keep-alive
Cache-Control: max-age=0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Cookie: __cfduid=db7678b2090563fd2573d39bd6ea46ab21494210787; 227c9_lastfid=22; 227c9_lastvisit=0%091509547246%09%2Fthread0806.php%3Ffid%3D22%26search%3D%26page%3D661
AlexaToolbar-ALX_NS_PH: AlexaToolbar/alx-4.0.1
响应报文
HTTP/1.1 200 OK
Date: Thu, 01 Feb 2018 11:42:28 GMT
Content-Type: text/html
Content-Length: 920
Connection: keep-alive
X-Powered-By: PHP/5.6.33
Vary: Accept-Encoding
Content-Encoding: gzip
Server: cloudflare
CF-RAY: 3e64a5c607a313cb-LAX
2、多部分对象集合
MIME多用途因特网邮件扩展（Multipurpose Internet Mail Extensions）是允许邮件处理文本、图片、视频等的数据
- multipart/form-data
Web表单上传文件使用
四、HTTP状态码
| 状态码 | 英文描述 | 类别 | 原因短语 |
|---|---|---|---|
| 1XX | Informational | 信息性 | 接收的请求正在处理 |
| 2XX | Success | 成功 | 请求正常处理完毕 |
| 3XX | Redirection | 重定向 | 需要进行附加操作已完成请求 |
| 4XX | Client Error | 客户端错误 | 服务器无法处理请求 |
| 5XX | Server Error | 服务器错误 | 服务器处理请求出错 |
常见的状态码：
| 状态码 | 英文描述 | 描述 |
|---|---|---|
| 200 | ok | 请求正常，响应信息会随方法不同而不同 |
| 204 | No Content | 响应报文不含实体的主体部分 |
| 206 | partial Content | 范围请求 |
| 301 | Moved Permanently | 永久性重定向 |
| 302 | Found | 临时性重定向 |
| 303 | See Other | GET方法临时重定向 |
| 304 | Not Modified | 服务端资源未改变 |
| 307 | Temporary Redirect | 临时性重定向 |
| 400 | Bad Request | 请求语法错误 |
| 401 | Unauthorized | 认证失败 |
| 403 | Forbidden | 服务器拒绝 |
| 404 | Not Found | 服务器没有请求的资源 |
| 500 | Internal Server Error | 服务器端执行请求错误 |
| 503 | Server Unavailable | 服务器超负载 |
五、HTTP协作的Web服务器
虚拟主机：一台服务器为多位客户服务
1、通信数据转发：代理、网关、隧道
代理：扮演“中间人”角色，每层代理加上Via首部信息
网关：提供非HTTP协议服务，使得网络通信更加安全
隧道：使用SSL通信，保证安全性
2、缓存
服务器端缓存和客户端缓存，目的都是加快请求，具有有效期限
六、HTTP首部
HTTP首部字段
HTTP首部字段都是由首部字段名和字段值构成的，中间用冒号（:）分隔
4种：列举常见的
1.通用首部字段General
| 名字 | 说明 |
|---|---|
| Cache-Control | 控制缓存行为 |
| Connection | 逐跳首部、连接的管理 |
| Date | 创建报文的日期时间 |
| Transfer_Encoding | 指定报文主体的传输编码方式 |
| Via | 代理服务器的相关信息 |
2.请求首部字段Request
| 名字 | 说明 |
|---|---|
| Accept | 用户代理可处理的媒体类型 |
| Authorization | Web认证信息 |
| Host | 请求域名 |
| Referer | 原始请求方 |
| User-Agent | HTTP客户端程序的信息 |
3.响应首部字段Response
| 名字 | 说明 |
|---|---|
| Etag | 资源的匹配信息 |
| Location | 重定向至指定URI |
| Server | 服务器信息 |
4.实体首部字段Entity
| 名字 | 说明 |
|---|---|
| Allow | 资源可支持的HTTP方法 |
| Content-Encoding | 实体的编码方式 |
| Content-Type | 实体主体的媒体类型 |
| Expires | 过期日期 |
七、HTTPS
1、HTTP的缺点
通信使用明文，内容可能被窃听
不验证通信方的身份，因此可能遭遇伪装
无法证明报文的完整性，有可能已遭篡改
2、HTTP+加密+认证+完整性保护 = HTTPS
HTPPS 是身披SSL（Secure Socket Layer）的HTTP
八、确认访问用户身份的认证
1、HTTP认证
认证多半是基于表单认证
BASIC认证（基本认证）
DIGSET认证（摘要认证）
SSL客户端认证
FormBase认证（基于表单认证）
2、Session管理和Cookie应用
HTTP是无状态协议，无法实现状态管理，因此我们用Cookie来管理Session
九、基于HTTP的功能追加协议
1、HTTP瓶颈
- 一条连接上只可发送一个请求
- 请求只能从客户端开始
- 请求、响应首部未经压缩就发生
- 发送冗余的首部
- 可任意选择数据压缩格式
2、Ajax
Ajax（异步JavaScript和XML技术）操作DOM，以达到局部Web页面替换的异步通信手段
3、使用浏览器进行全双工通信的WebSocket
WebSocket是建立在HTTP基础上的协议，因此连接的发起方仍是客户端，服务器和客户端都可以直接向对方发送报文
WebSocket是长连接，一直会保持状态，减少了连接开销
- 握手请求 Upgrade: websocket
- 握手响应 HTTP/1.1 101 Switching Protocols
十、构建Web内容的技术
1、HTML+CSS+JavaScript
2、Web应用
CGI（通用网关接口）是指Web服务器在接收到客户端发过来的请求后转发给程序的一道机制，在CGI的作用下，程序会对请求内容作出相应的动作
CGI程序比如有Perl、PHP、Ruby、C
Servlet是一种能在服务器上创建动态内容的程序，是Java的一个接口，属于JavaEE
CGI每次接到请求，程序都要跟着重启一次，而Servlet运行在与Web服务器相同的进程中，因此受到负载较小
3、数据格式
XML（可扩展标记语言）
RSS（简易信息聚合）
JSON（JavaScript Object Notion）包含false、null、true、对象、数组、数字、字符串7种类型
十一、Web攻击技术
1、针对Web的攻击技术
一份调查：SQL注入（39%）、XSS（15%）、phpMyAdmin（9%）、ZanCart（5%）、其他（32%）
2、针对Web的攻击模式
主动攻击：攻击者直接访问Web应用进行攻击，代表SQL注入
被动攻击：利用圈套策略执行攻击代码，代表XSS（Cross-Site Script，跨站脚本攻击）、CSRF（Cross-Site Request Forgeries，跨站点请求伪造）
3、密码破解
穷举法、字典攻击、彩虹表