HTTPD之五---HTTP协议与相关工具

http协议

HTTP是一个属于应用层的面向对象的协议由于其简捷、快速的方式，适用于分布式超媒体信息系统。

http/0.9, http/1.0, http/1.1, http/2.0

（1）http协议：stateless 无状态

 服务器无法持续追踪访问者来源

（2）解决http协议无状态方法

 cookie 客户端存放
 session 服务端存放

（3）http事务：一次访问的过程

  请求：request
  响应：response

cookie分类

（1）胖cookie：记录了用户访问的详细信息，很容易泄露用户隐私，不建议使用

（2）瘦cookie：仅仅标识用户身份，而用户的更详细的浏览信息则保存在服务器中，比如用户购物车中的物品信息。session机制可以实现此功能，它能记录用户在网站的访问行为，session是关联到某个用户cookie上的。session是保存于内存中的一小段数据，记录了用户的操作。当用户带着cookie来访问时，服务器会查找与之对应的session信息，从而得知用户之前的浏览信息。

cookie和session是用来追踪用户访问行为的重要手段，从而弥补的http无状态的缺陷。

HTTP请求报文　　

HTTP响应报文

 

http协议状态码分类

status(状态码)：　　

1xx：100-101 信息提示
2xx：200-206 成功
3xx：300-305 重定向
4xx：400-415 错误类信息，客户端错误
5xx：500-505 错误类信息，服务器端错误

200： 成功，请求数据通过响应报文的entity-body部分发送;OK
301： 请求的URL指向的资源已经被删除；但在响应报文中通过首部Location指明了资源现在所处的新位置；Moved Permanently  永久重定向
302： 响应报文Location指明资源临时新位置 Moved Temporarily   临时重定向
304： 客户端发出了条件式请求，但服务器上的资源未曾发生改变，则通过响应此响应状态码通知客户端；Not Modified
401： 需要输入账号和密码认证方能访问资源；Unauthorized
403： 请求被禁止；Forbidden
404： 服务器无法找到客户端请求的资源；Not Found
500： 服务器内部错误；Internal Server Error
502： 代理服务器从后端服务器收到了一条伪响应，如无法连接到网关；Bad Gateway
503： 服务不可用，临时服务器维护或过载，服务器无法处理请求
504： 网关超时

HTTP 首部字段

1> HTTP 首部字段包含的信息最为丰富。首部字段同时存在于请求和响应报文内，并涵盖 HTTP 报文相关的内容信息。使用首部字段是为了给客服端和服务器端提供报文主体大小、所使用的语言、认证信息等内容
2> 首部字段结构HTTP 首部字段是由首部字段名和字段值构成的，中间用冒号“：”分隔
3> 字段值对应单个 HTTP 首部字段可以有多个值
4> 报文首部中出现了两个或以上具有相同首部字段名的首部字段时，在规范内尚未明确，根据浏览器内部处理逻辑的不同，优先处理的顺序可能不同，结果可能并不一致

首部的分类：

通用首部:请求报文和响应报文两方都会使用的首部
请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、请求内容相关优先级等信息
响应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客户端附加额外的内容信息
实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有关的的信息
扩展首部

通用首部：

Date: 报文的创建时间
Connection：连接状态，如keep-alive, close
Via：显示报文经过的中间节点（代理，网关）
Cache-Control：控制缓存，如缓存时长
MIME-Version:发送端使用的MIME版本
Warning：错误通知

请求首部：

Accept：通知服务器自己可接受的媒体类型
Accept-Charset： 客户端可接受的字符集
Accept-Encoding：客户端可接受编码格式，如gzip
Accept-Language：客户端可接受的语言

Client-IP: 请求的客户端IP
Host: 请求的服务器名称和端口号
Referer：跳转至当前URI的前一个URL
User-Agent：客户端代理，浏览器版本

条件式请求首部：

Expect：允许客户端列出某请求所要求的服务器行为
If-Modified-Since：自从指定的时间之后，请求的资源是否发生过修改
If-Unmodified-Since：与上面相反
If-None-Match：本地缓存中存储的文档的ETag标签是否与服务器文档的Etag不匹配
If-Match：与上面相反

安全请求首部：

Authorization：向服务器发送认证信息，如账号和密码
Cookie: 客户端向服务器发送cookie

代理请求首部：

Proxy-Authorization: 向代理服务器认证

响应首部：

信息性：

Age：从最初创建开始，响应持续时长
Server：服务器程序软件名称和版本

协商首部：某资源有多种表示方法时使用

Accept-Ranges：服务器可接受的请求范围类型
Vary：服务器查看的其它首部列表

安全响应首部：

Set-Cookie：向客户端设置cookie
WWW-Authenticate：来自服务器对客户端的质询列表

实体首部：

Allow: 列出对此资源实体可使用的请求方法
Location：告诉客户端真正的实体位于何处
Content-Encoding:对主体执行的编码
Content-Language:理解主体时最适合的语言
Content-Length: 主体的长度
Content-Location: 实体真正所处位置
Content-Type：主体的对象类型，如text

缓存相关：

ETag：实体的扩展标签
Expires：实体的过期时间
Last-Modified：最后一次修改的时间

Cookie

   HTTP 是一种无状态协议。协议自身不对请求和响应之间的通信状态进行保存。也就是说在 HTTP 这个级别，协议对于发送过的请求或响应都不做持久化处理。这是为了更快地处理大量事务，确保协议的可伸缩性，而特意把 HTTP 协议设计成如此简单的。可是随着 Web 的不断发展，很多业务都需要对通信状态进行保存。于是引入了 Cookie 技术。使用 Cookie 的状态管理Cookie 技术通过在请求和响应报文中写入 Cookie 信息来控制客户端的状态。Cookie 会根据从服务器端发送的响应报文内的一个叫做 Set-Cookie 的首部字段信息，通知客户端保存Cookie。当下次客户端再往该服务器发送请求时，客户端会自动在请求报文中加入 Cookie 值后发送出去。服务器端发现客户端发送过来的 Cookie 后，会去检查究竟是从哪一个客户端发来的连接请求，然后对比服务器上的记录，最后得到之前的状态信息　　

Set-Cookie首部字段

Set-cookie首部字段示例：

Set-Cookie: status=enable; expires=Fri, 24 Nov 2017 20:30:02 GMT; path=/;

含义：

NAME=VALUE 赋予 Cookie 的名称和其值,此为必需项
expires=DATE Cookie 的有效期，若不明确指定则默认为浏览器关闭前为止
path=PATH 将服务器上的文件目录作为Cookie的适用对象，若不指定则默认为文档所在的文件目录
domain=域名 作为 Cookie 适用对象的域名，若不指定则默认为创建 Cookie的服务器的域名
Secure 仅在 HTTPS 安全通信时才会发送 Cookie
HttpOnly 加以限制使 Cookie 不能被 JavaScript 脚本访问

curl工具

curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE及LDAP等协议。curl支持HTTPS认证，并且支持HTTP的POST、PUT等方法， FTP上传， kerberos认证，HTTP上传，代理服务器，cookies，用户名/密码认证， 下载文件断点续传，上载文件断点续传, http代理服务器管道（ proxy tunneling），还支持IPv6，socks5代理服务器，通过http代理服务器上传文件到FTP服务器等，功能十分强大

curl [options] [URL...]

-A/--user-agent  设置用户代理发送给服务器
-e/--referer  来源网址
--cacert  CA证书 (SSL)
-k/--insecure 允许忽略证书进行 SSL 连接
--compressed 要求返回是压缩的格式
-H/--header 自定义首部信息传递给服务器
-i 显示页面内容，包括报文首部信息
-I/--head 只显示响应报文首部信息
-D/--dump-header 将url的header信息存放在指定文件中
--basic 使用HTTP基本认证
-u/--user 设置服务器的用户和密码
-L 如果有3xx响应码，重新发请求到新位置
-O 使用URL中默认的文件名保存文件到本地
-o  将网络文件保存为指定的文件中
--limit-rate  设置传输速度
-0/--http1.0 数字0，使用HTTP 1.0
-v/--verbose 更详细
-C 选项可对文件使用断点续传功能
-c/--cookie-jar  将url中cookie存放在指定文件中
-x/--proxy  指定代理服务器地址
-X/--request  向服务器发送指定请求方法
-U/--proxy-user  代理服务器用户和密码
-T 选项可将指定的本地文件上传到FTP服务器上
--data/-d 方式指定使用POST方式传递数据
-b name=data 从服务器响应set-cookie得到值，返回给服务器

示例一：访问192.168.34.100主机下/var/www/html/目录下的文件信息

[[email protected]]#curl 192.168.34.100
welcome to shanghai

示例二：设置用户代理发给服务器    -A 用法

[[email protected]]#curl -A 'IE20' http://192.168.34.100
welcome to shanghai

示例三：网址来源，通过baidu网址跳转   -e选项用法

[[email protected]]#curl -A  'IE20' -e 'www.baidu.com' http://192.168.34.100
welcome to shanghai

A主机上跟踪，可以看到是通过baidu模仿

示例四：-i 选项：显示页面内容，包括报文首部信息

[[email protected]]#curl -i http://192.168.34.100
HTTP/1.1 200 OK
Date: Fri, 29 Nov 2019 04:00:51 GMT
Server: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips PHP/5.4.16
Last-Modified: Thu, 28 Nov 2019 13:43:21 GMT
ETag: "14-598684bf4e1c0"
Accept-Ranges: bytes
Content-Length: 20
Content-Type: text/html; charset=UTF-8

welcome to shanghai

示例五：将url中cookie存放在指定文件中  -c选项用法：

[root@centos7html]#curl -c /data/cookie.txt http://192.168.34.101/setcookie.php   将网页上的cookie.php存放在data目录下

elinks工具：

elinks [OPTION]... [URL]...

-dump: 非交互式模式，将URL的内容输出至标准输出
-source:打印源码

演示：

[root@centos7html]#elinks -dump 192.168.34.100
   welcome to shanghai
[root@centos7html]#elinks -source  192.168.34.100
welcome to shanghai

httpd自带的工具程序

htpasswd：basic认证基于文件实现时，用到的账号密码文件生成工具
apachectl：httpd自带的服务控制脚本，支持start和stop
rotatelogs：日志滚动工具
access.log -->
            access.log, access.1.log -->
                             access.log, acccess.1.log, access.2.log

httpd的压力测试工具

ab, webbench, http_load, seige
Jmeter 开源
Loadrunner 商业，有相关认证
tcpcopy：网易，复制生产环境中的真实请求，并将之保存

ab [OPTIONS] URL
来自httpd-tools包

-n：总请求数
-c：模拟的并行数
-k：以持久连接模式测试

ulimit –n # 调整能打开的文件数

示例：

在A主机导入一个log日志文件，存放在/var/www/html目录下，起名叫m.txt

[[email protected]]#cp /var/log/messages  /var/www/html/m.txt
[[email protected]]#cd /var/www/html
[root@centos7html]#ls
index.html  m.txt

在B主机进行压力测试，使用ab命令，执行2000个请求，模拟100个并行数　

[root@centos7html]#ab -c 100 -n 2000 http://192.168.34.100/m.txt  2000个请求数，模拟100个并行数
This is ApacheBench, Version 2.3 <$Revision: 1430300 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.34.100 (be patient)
Completed 200 requests
Completed 400 requests
Completed 600 requests
Completed 800 requests
Completed 1000 requests
Completed 1200 requests
Completed 1400 requests
Completed 1600 requests
Completed 1800 requests
Completed 2000 requests
Finished 2000 requests


Server Software:        Apache/2.4.6
Server Hostname:        192.168.34.100
Server Port:            80

Document Path:          /m.txt
Document Length:        207 bytes

Concurrency Level:      100
Time taken for tests:   0.943 seconds
Complete requests:      2000
Failed requests:        0
Write errors:           0
Non-2xx responses:      2000
Total transferred:      834000 bytes
HTML transferred:       414000 bytes
Requests per second:    2120.15 [#/sec] (mean)    每秒访问多少个文件
Time per request:       47.167 [ms] (mean)
Time per request:       0.472 [ms] (mean, across all concurrent requests)
Transfer rate:          863.38 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    2   3.4      1      23
Processing:     9   43   6.6     43      60
Waiting:        5   43   6.7     43      60
Total:         29   45   6.5     45      67

Percentage of the requests served within a certain time (ms)
  50%     45
  66%     48
  75%     49
  80%     51
  90%     54
  95%     57
  98%     59
  99%     61
 100%     67 (longest request)

 ulimit -n示例：调整文件大小，可以使ab的文件并发更多

[root@centos7html]#ulimit  -n 10240
[root@centos7html]#ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 5782
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 10240
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 5782
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

此时访问文件大小已经改为10240，就可以更大的并行访问文件