YANYI99

25.HTTP协议和WEB服务器APACHE

HTTP协议和WEB服务器APACHE

本章内容

Internet
http协议
Httpd介绍和安装
Httpd配置
http报文格式

1 Internet和HTTP协议

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4oCP6ap7-1576071307336)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210140033146.png)]

1.1 Internet 因特网

因特网是“Internet”的中文译名，它起源于美国的五角大楼，它的前身是美国国防部高级研究计划局（ARPA）主持研制的ARPAnet。20世纪50年代末，正处于冷战时期。当时美国军方为了自己的计算机网络在受到袭击时,即使部分网络被摧毁，其余部分仍能保持通信联系，便由美国国防部的高级研究计划局（ARPA）建设了一个军用网，叫做“阿帕网”（ARPAnet）。阿帕网于1969年正式启用，当时仅连接了4台计算机，供科学家们进行计算机联网实验用，这就是因特网的前身。

到70年代，ARPAnet已经有了好几十个计算机网络，但是每个网络只能在网络内部的计算机之间互联通信，不同计算机网络之间仍然不能互通。为此， ARPA又设立了新的研究项目，支持学术界和工业界进行有关的研究，研究的主要内容就是想用一种新的方法将不同的计算机局域网互联，形成“互联网”。研究人员称之为“internetwork”，简称“Internet” 在研究实现互联的过程中，计算机软件起了主要的作用。

1974年，出现了连接分组网络的协议，其中就包括了TCP/IP协议。TCP/IP有一个非常重要的特点，就是开放性，即TCP/IP的规范和Internet的技术都是公开的。目的就是使任何厂家生产的计算机都能相互通信，使Internet成为一个开放的系统，这正是后来Internet得到飞速发展的重要原因。ARPA在1982年接受了TCP/IP，选定Internet为主要的计算机通信系统，并把其它的军用计算机网络都转换到TCP/IP。1983年，ARPAnet分成两部分：一部分军用，称为MILNET；另一部分仍称ARPAnet，供民用。

1986年，美国国家科学基金组织（NSF）将分布在美国各地的5个为科研教育服务的超级计算机中心互联，并支持地区网络，形成SNSFnet。1988 年，SNSFnet替代ARPAnet成为Internet的主干网。

NSFnet主干网利用了在ARPAnet中已证明是非常成功的TCP/IP技术，准许各大学、政府或私人科研机构的网络加入。1989年，ARPAnet解散，Internet从军用转向民用。

Internet的发展引起了商家的极大兴趣。1992年，美国IBM、MCI、MERIT三家公司联合组建了一个高级网络服务公司（SNS），建立了一个新的网络，叫做SNSnet，成为Internet的另一个主干网。它与SNSFnet不同，NSFnet是由国家出资建立的，而SNSnet则是SNS 公司所有，从而使Internet开始走向商业化。 1995年4月30日，SNSFnet正式宣布停止运作。而此时Internet的骨干网已经覆盖了全球91个国家，主机已超过400万台。在最近，因特网更以惊人的速度向前发展，很快就达到了的规模

在90年代，超文本标识语言（HTML），即一个可以获得因特网的图像信息的超文本因特网协议被采用，使每一个人可以产生自己的图像页面（网址），然后成为一个巨大的虚拟超文本网络的组成部分。

这个增强型的因特网又被非正式地称为万维网，与此同时产生了数量庞大的新用户群。于是，许多人用“因特网” 一词指这个网络的物理结构，包括连接所有事物的客户机、服务器和网络；而用“万维网”一词指利用这个网络可以访问的所有网站和信息。

1.2 Internet 和中国

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I2wgOzGs-1576071307338)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210140508541.png)]

北京时间1987年9月20日，钱天白建立起一个网络节点，通过电话拨号连接到国际互联网，向他的德国朋友发出来自中国的第一封电子邮件：Across the Great Wall we can reach every corner in the world，自此，中国与国际计算机网络开始连接在一起

1990年10月，钱天白教授代表中国正式在国际互联网络信息中心的前身DDN-NIC注册登记了我国的顶级域名CN，并且从此开通了使用中国顶级域名CN的国际电子邮件服务。由于当时中国尚未正式连入Internet，所以委托德国卡尔斯鲁厄大学运行CN域名服务器

1993年3月2日，中国科学院高能物理研究所租用AT&T公司的国际卫星信道接入美国斯坦福线性加速器中心（SLAC）的64K专线正式开通,专线开通后，美国政府以Internet上有许多科技信息和其它各种资源，不能让社会主义国家接入为由，只允许这条专线进入美国能源网而不能连接到其它地方。尽管如此，这条专线仍是我国部分连入Internet的第一根专线

1994年4月20日，中国通过一条64k的国际专线全功能接入国际互联网，成为国际互联网大家庭中的第77个成员，正式开启了互联网时代。随后，中科院高能物理研究所推出第一个WWW网站和第一套网页

1994年5月21日，在钱天白教授和德国卡尔斯鲁厄大学的协助下，中国科学院计算机网络信息中心完成了中国国家顶级域名(CN)服务器的设置，改变了中国CN顶级域名服务器一直放在国外的历史

1995年5月17日，第27个世界电信日，邮电部正式宣布，向国内社会开放计算机互联网接入服务

1995年5月，北京的中关村南大街上出现了一块巨大的广告牌，“中国离信息高速公路还有多远？向北1500米。”那个位置就是一家叫“瀛海威”的网络科教馆，瀛海威正是information highway的音译，作为中国第一个互联网接入服务商，瀛海威几乎就是当时互联网的代名词

1996年1月，中国互联网全国骨干网建成并正式开通，开始提供服务

1995年4月，马云凑了两万块钱，成立杭州海博网络公司，专门给企业做主页

1997年5月，丁磊创立网易

1998年2月，张朝阳创立搜狐

1998年6月18日，刘强东在中关村创办京东公司，代理销售光磁产品

1998年11月，马化腾和张志东成立深圳市腾讯计算机系统有限公司，OICQ开通

1998年12月，新浪网成立，关键人物：王志东

1999年5月18日，中国第一家电子商务企业8848.com成立，创始人王峻涛也曾被誉为“中国电子商务教父”。2000年底，调查显示接近70%的人说上网买东西首选 8848

2000年1月，李彦宏创建了百度

2003年5月，阿里巴巴集团在创立淘宝网

2003年10月，淘宝网首次推出支付宝服务

2004年1月，京东多媒体网正式开通，启用域名www.jdlaser.com

2010年4月，雷军创办小米

2011年1月21日，腾讯公司推出微信 (WeChat)

2012年3月，今日头条由张一鸣于创建

2012年7月10日，北京小桔科技有限公司成立，滴滴司机端3个月后北京上线

下一个又是谁呢？

中国互联网连接世界

1885年台湾建省，首任巡抚刘铭传派人与福州船政联系，使用船政电报学堂毕业生为技术人员，于1887年铺设成功台湾淡水至福州川石海底电缆，全长117海里。这是我国自行设计安装的第一条海底电缆。此电缆毁于第二次世界大战我国于1989年开始投入到全球海底光缆的投资与建设中来，并于1993年实现了首条国际海底光缆的登陆（中日之间C-J海底光缆系统）；随后在1997年，我国参与建设的全球海底光缆系统（FLAG）建成并投入运营，这也是第一条在我国登陆的洲际海底光缆中国连接世界目前共有8条光缆，四个登陆站允许入境，目前我国的登陆站设立在三个城市的四个地区，分别是山东青岛登陆站（隶属中国联通）、上海崇明登陆站（隶属中国电信）、上海南汇登陆站（隶属中国联通）和广东汕头登陆站（隶属中国电信）

1.3 跨网络的主机间通讯

Socket套接字

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oSbxRmsz-1576071307339)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210140750321.png)]

套接字Socket是进程间通信IPC的一种实现，允许位于不同主机（或同一主机）上不同进程之间进行通信和数据交换，SocketAPI出现于1983年，4.2 BSD实现
在建立通信连接的每一端，进程间的传输要有两个标志：IP地址和端口号，合称为套接字地址 socket address 客户机套接字地址定义了一个唯一的客户进程服务器套接字地址定义了一个唯一的服务器进程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7t7burdf-1576071307339)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210140948208.png)]

Socket API
- 封装了内核中所提供的socket通信相关的系统调用 Socket Domain：根据其所使用的地址 AF_INET：
  Address Family，IPv4 AF_INET6：IPv6 AF_UNIX：同一主机上不同进程之间通信时使用 Socket
- Type：根据使用的传输层协议 SOCK_STREAM：流，tcp套接字，可靠地传递、面向连接
- SOCK_DGRAM：数据报，udp套接字，不可靠地传递、无连接 SOCK_RAW: 裸套接字,无须tcp或udp,APP直接通过IP包通信
客户/服务器程序的套接字函数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCuhdMXA-1576071307340)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210141346384.png)]

套接字相关的系统调用：
- socket() 创建一个套接字
- bind() 绑定IP和端口
- listen() 监听
- accept() 接收请求
- connect() 请求连接建立
- write() 发送
- read() 接收
- close() 关闭连接

范例：Socket通信Python 3.6实现

#需要安装python3
[root@centos8 ~]#dnf install python3
#服务器端tcpserver.py
#!/usr/bin/python3
import socket
HOST='127.0.0.1'
PORT=9527
BUFFER=4096
sock=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sock.bind((HOST,PORT))
sock.listen(3)
print('tcpServer listen at: %s:%s\n\r' %(HOST,PORT))
while True:
	client_sock,client_addr=sock.accept()
	print('%s:%s connect' %client_addr)
	while True:
	  recv=client_sock.recv(BUFFER)
	  if not recv:
		client_sock.close()
		break
	  print('[Client %s:%s said]:%s' %
(client_addr[0],client_addr[1],recv.decode()))
	  client_sock.send(b'tcpServer has received your message')
sock.close()

#服务器端tcpclient.py
#!/usr/bin/python3
import socket
HOST='127.0.0.1'
PORT=9527
BUFFER=4096
sock=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
sock.connect((HOST,PORT))
sock.send(b'hello, tcpServer!')
recv=sock.recv(BUFFER)
print('[tcpServer said]: %s' % recv.decode())
sock.close()

1.4 HTTP 超文本传输协议

1.4.1 浏览器访问网站的过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EWFlRdRM-1576071307341)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210141734684.png)]

1.4.2 HTTP协议通信过程

HTTP（HyperText Transfer Protocol，超文本传输协议）是一种用于分布式、协作式和超媒体信息系统的应用层协议[1]。HTTP是万维网的数据通信的基础设计HTTP最初的目的是为了提供一种远距离共享知识的方式，借助多文档进行关联实现超文本，连成相互参阅的WWW（world wide web,万维网）HTTP的发展是由蒂姆·伯纳斯-李（Tim Berners-Lee）于1989年在欧洲核子研究组织（CERN）所发起。HTTP的标准制定由万维网协会（World Wide Web Consortium，W3C）和互联网工程任务组（Internet Engineering Task Force，IETF）进行协调，最终发布了一系列的RFC，其中最著名的是1999年6月公布的 RFC 2616，定义了HTTP协议中现今广泛使用的一个版本——HTTP 1.1版

HTTP服务通信过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JhozrHn7-1576071307341)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210141809983.png)]

HTTP协议分层

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hTr8tz0A-1576071307342)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210141829661.png)]

1.4.3 HTTP相关技术和术语

1.4.3.1 WEB开发语言

http：Hyper Text Transfer Protocol 应用层协议，默认端口： 80/tcp
WEB前端开发语言：
- HTML
- CSS
- JAVASCRIPT
html
- Hyper Text Markup Language 超文本标记语言，编程语言，主要负责实现页面的结构
- 范例：html 语言
```
HTML语言



欢迎
马哥教育欢迎你
```

CSS

Cascading Style Sheet 层叠样式表，定义了如何显示（装扮） HTML 元素，比如：字体大小和颜色属性等。样式通常保存在外部的 .css 文件中。通过仅仅编辑一个简单的 CSS 文档，可以同时改变站点中所有页面的布局和外观。

范例：CSS

#test.html






这是 heading 1
这是一段普通的段落。请注意，该段落的文本是红色的。在 body 选择器中定义了本页面中的默认文
本颜色。
该段落定义了 class="ex"。该段落中的文本是蓝色的。


#mystyle.css
body {color:red}
h1 {color:#00ff00}
p.ex {color:rgb(0,0,255)}

Js

javascript，实现网页的动画效果

范例：javascript

<!DOCTYPE html>
<html>
<head>
<meta http-equiv=Content-Type content="text/html;charset=utf-8">
</head>
<body>
<h2>我的第一段 JavaScript</h2>

<button type="button"
onclick="document.getElementById('demo').innerHTML = Date()">
点击这里来显示日期和时间
</button>

<p id="demo"></p>
</body>
</html>

MIME：
- Multipurpose Internet Mail Extensions 多用途互联网邮件扩展，对应文件 /etc/mime.types
- MIME格式：major/minor
- 参考链接：
  https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Basics_of_HTTP/MIME_Types
  http://www.w3school.com.cn/media/media_mimeref.asp
- 范例：
```
text/plain
text/html
text/css
image/jpeg
image/png
video/mp4
application/javascript
```

1.4.3.2 URI和URL

URI: Uniform Resource Identifier 统一资源标识，分为URL和URN URN: Uniform Resource Naming，统一资源命名示例： P2P下载使用的磁力链接是URN的一种实现 magnet:?
xt=urn:btih:660557A6890EF888666 URL: Uniform Resorce Locator，统一资源定位符，用于描述某服务器某特定资源位置两者区别：URN如同一个人的名称，而URL代表一个人的住址。换言之，URN定义某事物的身份，而URL提供查找该事物的方法。URN仅用于命名，而不指定地址
URL组成

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Il4ySYDs-1576071307343)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210142636628.png)]

```
<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
```
- scheme:方案，访问服务器以获取资源时要使用哪种协议
- user:用户，某些方案访问资源时需要的用户名
- password:密码，用户对应的密码，
- 中间用：分隔
- Host:主机，资源宿主服务器的主机名或IP地址
- port:端口,资源宿主服务器正在监听的端口号，很多方案有默认端口号
- path:路径,服务器资源的本地名，由一个/将其与前面的URL组件分隔
- params:参数，指定输入的参数，参数为名/值对，多个参数，用;分隔
- query:查询，传递参数给程序，如数据库，用？分隔,多个查询用&分隔
- frag:片段,一小片或一部分资源的名字，此组件在客户端使用，用#分隔
URL示例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l3oHnmGM-1576071307343)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210143433306.png)]

http://www.magedu.com:8080/images/logo.jpg
ftp://mage:[email protected]/pub/linux.ppt
rtsp://videoserver/video_demo/ #Real Time Streaming Protocol
http://www.magedu.com/bbs/hello;gender=f/send;type=title
https://list.jd.com/list.html?
cat=670,671,672&ev=14_2&sort=sort_totalsales15_desc&trans=1
http://apache.org/index.html#projects-list

1.4.3.3 网站访问量

网站访问量统计的重要指标

IP(独立IP)：即Internet Protocol,指独立IP数。一天内来自相同客户机IP 地址只计算一次，记录远程客户机IP地址的计算机访问网站的次数，是衡量网站流量的重要指标
PV(访问量)：即Page View, 页面浏览量或点击量，用户每次刷新即被计算一次，PV反映的是浏览某网站的页面数，PV与来访者的数量成正比，PV并不是页面的来访者数量，而是网站被访问的页面数量
UV(独立访客)：即Unique Visitor,访问网站的一台电脑为一个访客。一天内相同的客户端只被计算一次。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的

网站统计：http://www.alexa.cn/rank/

范例：网站访问统计

甲乙丙三人在同一台通过 ADSL 上网的电脑上（中间没有断网），分别访问 www.magedu.com 网站，并且每人各浏览
了2个页面，那么网站的流量统计是：
IP: 1 PV:6 UV：1
若三人都是ADSL重新拨号后,各浏览了2个页面，则
IP: 3 PV:6 UV：1

网站访问量

QPS：request per second，每秒请求数
PV，QPS和并发连接数换算公式
- QPS= PV * 页面衍生连接次数/ 统计时间（86400）
- 并发连接数 =QPS * http平均响应时间
峰值时间：每天80%的访问集中在20%的时间里，这20%时间为峰值时间
峰值时间每秒请求数(QPS)=( 总PV数 *页面衍生连接次数）*80% ) / ( 每天秒数 * 20% )

1.4.4 HTTP工作机制

一次http事务包括：
- http请求：http request
- http响应：http response
Web资源：web resource，一个网页由多个资源（文件）构成，打开一个页面，通常会有多个资源展示出来，但是每个资源都要单独请求。因此，一个“Web 页面”通常并不是单个资源，而是一组资源的集合
资源类型：
- 静态文件：无需服务端做出额外处理文件后缀：.html, .txt, .jpg, .js, .css, .mp3, .avi
- 动态文件：服务端执行程序，返回执行的结果文件后缀：.php, .jsp ,.asp
HTTP连接请求

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OAoQA3vZ-1576071307344)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210144026056.png)]

串行和并行连接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TMk78nzD-1576071307345)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210144051284.png)]

串行,持久连接和管道

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LbsxaEHX-1576071307345)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210144113815.png)]

提高HTTP连接性能
- 并行连接：通过多条TCP连接发起并发的HTTP请求
- 持久连接：keep-alive，重用TCP连接，以消除连接和关闭的时延,以事务个数和时间来决定是否关闭连接
- 管道化连接：通过共享TCP连接发起并发的HTTP请求
- 复用的连接：交替传送请求和响应报文（实验阶段）

1.4.5 HTTP协议版本

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0InpppXv-1576071307346)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210144213224.png)]

http/0.9：

1991，原型版本，功能简陋，只有一个命令GET。GET /index.html ,服务器只能回应HTML格式字符串，不能回应别的格式
http/1.0

1996年5月,支持cache, MIME, method 每个TCP连接只能发送一个请求，发送数据完毕，连接就关闭，如果还要请求其他资源，就必须再新建一个连接引入了POST命令和HEAD命令头信息是 ASCII 码，后面数据可为任何格式。服务器回应时会告诉客户端，数据是什么格式，即Content-Type字段的作用。这些数据类型总称为MIME 多用途互联网邮件扩展，每个值包括一级类型和二级类型，预定义的类型，也可自定义类型, 常见Content-Type值：text/xml image/jpeg audio/mp3
http/1.1

1997年1月，引入了持久连接（persistent connection），即TCP连接默认不关闭，可以被多个请求复用，不用声明Connection: keep-alive。对于同一个域名，大多数浏览器允许同时建立6个持久连接引入了管道机制，即在同一个TCP连接里，客户端可以同时发送多个请求，进一步改进了HTTP协议的效率新增方法：PUT、PATCH、OPTIONS、DELETE 同一个TCP连接里，所有的数据通信是按次序进行的。

服务器只能顺序处理回应，前面的回应慢，会有许多请求排队，造成"队头堵塞"（Head-of-line blocking）为避免上述问题，两种方法：一是减少请求数，二是同时多开持久连接。

网页优化技巧，如合并脚本和样式表、将图片嵌入CSS代码、域名分片（domain sharding）等 HTTP协议不带有状态，每次请求都必须附上所有信息。请求的很多字段都是重复的，浪费带宽，影响速度
HTTP1.0和HTTP1.1的区别

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-61VvSD4l-1576071307346)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210144400818.png)]

缓存处理，在HTTP1.0中主要使用header里的If-Modified-Since,Expires来做为缓存判断的标准，HTTP1.1则引入了更多的缓存控制策略例如Entity tag，If-Unmodified-Since, If-Match, If-NoneMatch等更多可供选择的缓存头来控制缓存策略
带宽优化及网络连接的使用，HTTP1.0中，存在一些浪费带宽的现象，例如：客户端只是需要某个对象的一部分，而服务器却将整个对象送过来了，并且不支持断点续传功能，HTTP1.1则在请求头引入了range头域，它允许只请求资源的某个部分，即返回码是206（Partial Content），方便了开发者自由的选择以便于充分利用带宽和连接错误通知的管理，在HTTP1.1中新增24个状态响应码，如409（Conflict）表示请求的资源与资源当前状态冲突；410（Gone）表示服务器上的某个资源被永久性的删除
Host头处理，在HTTP1.0中认为每台服务器都绑定一个唯一的IP地址，因此，请求消息中的URL并没有传递主机名（hostname）。但随着虚拟主机技术的发展，在一台物理服务器上可以存在多个虚拟主机（Multi-homed Web Servers），并且它们共享一个IP地址。HTTP1.1的请求消息和响应消息都应支持Host头域，且请求消息中如果没有Host头域会报告一个错误（400 Bad Request）
长连接，HTTP 1.1支持长连接（PersistentConnection）和请求的流水线（Pipelining）处理，在一个TCP连接上可以传送多个HTTP请求和响应，减少了建立和关闭连接的消耗和延迟，在HTTP1.1中默认开启Connection： keep-alive，弥补了HTTP1.0每次请求都要创建连接的缺点
HTTP1.0和1.1的问题
- HTTP1.x在传输数据时，每次都需要重新建立连接，无疑增加了大量的延迟时间，特别是在移动端更为突出
- HTTP1.x在传输数据时，所有传输的内容都是明文，客户端和服务器端都无法验证对方的身份，无法保证数据的安全性
- HTTP1.x在使用时，header里携带的内容过大，增加了传输的成本，并且每次请求header基本不怎么变化，尤其在移动端增加用户流量
- 虽然HTTP1.x支持了keep-alive，来弥补多次创建连接产生的延迟，但是keep-alive使用多了同样会给服务端带来大量的性能压力，并且对于单个文件被不断请求的服务(例如图片存放网站)，keep-alive可能会极大的影响性能，因为它在文件被请求之后还保持了不必要的连接很长时间
HTTPS协议：为解决安全问题，网景在1994年创建了HTTPS，并应用在网景导航者浏览器中。最初，HTTPS是与SSL一起使用的；在SSL逐渐演变到TLS时（其实两个是一个东西，只是名字不同而已），最新的HTTPS也由在2000年五月公布的RFC 2818正式确定下来。HTTPS就是安全版的HTTP，目前大型网站基本实现全站HTTPS
HTTPS特点
- HTTPS协议需要到CA申请证书，一般免费证书很少，需要交费
- HTTP协议运行在TCP之上，所有传输的内容都是明文，HTTPS运行在SSL/TLS之上，SSL/TLS运行在TCP之上，所有传输的内容都经过加密的
- HTTP和HTTPS使用的是不同的连接方式，端口不同，前者是80，后者是443
- HTTPS可以有效的防止运营商劫持，解决了防劫持的一个大问题
- HTTPS 实现过程降低用户访问速度，但经过合理优化和部署，HTTPS 对速度的影响还是可以接受的
SPDY协议
SPDY：2009年,谷歌研发，综合HTTPS和HTTP两者有点于一体的传输协议，主要特点：
- 降低延迟，针对HTTP高延迟的问题，SPDY优雅的采取了多路复用（multiplexing）。多路复用通过多个请求stream共享一个tcp连接的方式，解决了HOL blocking的问题，降低了延迟同时提高了带宽的利用率
- 请求优先级（request prioritization）。多路复用带来一个新的问题是，在连接共享的基础之上有可能会导致关键请求被阻塞。SPDY允许给每个request设置优先级，重要的请求就会优先得到响应。比如浏览器加载首页，首页的html内容应该优先展示，之后才是各种静态资源文件，脚本文件等加载，可以保证用户能第一时间看到网页内容
- header压缩。HTTP1.x的header很多时候都是重复多余的。选择合适的压缩算法可以减小包的大小和数量
- 基于HTTPS的加密协议传输，大大提高了传输数据的可靠性
- 服务端推送（server push），采用了SPDY的网页，例如网页有一个sytle.css的请求，在客户端收到sytle.css数据的同时，服务端会将sytle.js的文件推送给客户端，当客户端再次尝试获取sytle.js时就可以直接从缓存中获取到，不用再发请求了
HTTP2协议
http/2.0：2015年，HTTP2.0是SPDY的升级版
- 头信息和数据体都是二进制，称为头信息帧和数据帧
- 复用TCP连接，在一个连接里，客户端和浏览器都可以同时发送多个请求或回应，且不用按顺序一一对应，避免了“队头堵塞“,此双向的实时通信称为多工（Multiplexing）
- 引入头信息压缩机制（header compression）,头信息使用gzip或compress压缩后再发送；客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，不发送同样字段，只发送索引号，提高速度
- HTTP/2 允许服务器未经请求，主动向客户端发送资源，即服务器推送（server push）
HTTP2.0和SPDY区别：
- HTTP2.0 支持明文 HTTP 传输，而 SPDY 强制使用 HTTPS
- HTTP2.0 消息头的压缩算法采用 HPACK，而非 SPDY 采用的 DEFLATE

1.4.6 HTTP 请求访问的完整过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hp8Ehe8b-1576071307347)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210145156998.png)]

一次完整的http请求处理过程

1、建立连接：接收或拒绝连接请求

2、接收请求：接收客户端请求报文中对某资源的一次请求的过程
- Web访问响应模型（Web I/O）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NEC2KD5C-1576071307348)(C:%5CUsers%5CAdministrator%5CDesktop%5C%E6%88%AA%E5%9B%BE%5C2019%E5%B9%B411%E6%9C%8821%E6%97%A5%5Cimage-20191210145229109.png)]

单进程I/O模型：启动一个进程处理用户请求，而且一次只处理一个，多个请求被串行响应
多进程I/O模型：并行启动多个进程,每个进程响应一个连接请求
复用I/O结构：启动一个进程，同时响应N个连接请求
复用的多进程I/O模型：启动M个进程，每个进程响应N个连接请求，同时接收M*N个请求

3、处理请求：服务器对请求报文进行解析，并获取请求的资源及请求方法等相关信息，根据方法，资源，首部和可选的主体部分对请求进行处理

常用请求Method: GET、POST、HEAD、PUT、DELETE、TRACE、OPTIONS

4、访问资源：服务器获取请求报文中请求的资源web服务器，即存放了web资源的服务器，负责向请求者提供对方请求的静态资源，或动态运行后生成的资源

5、构建响应报文：一旦Web服务器识别除了资源，就执行请求方法中描述的动作，并返回响应报文。响应报文中包含有响应状态码、响应首部，如果生成了响应主体的话，还包括响应主体

1）响应实体：如果事务处理产生了响应主体，就将内容放在响应报文中回送过去。响应报文中通常包括：描述了响应主体MIME类型的Content-Type首部描述了响应主体长度的Content-Length 实际报文的主体内容

2）URL重定向：web服务构建的响应并非客户端请求的资源，而是资源另外一个访问路径

3）MIME类型：Web服务器要负责确定响应主体的MIME类型。多种配置服务器的方法可将MIME类型与资源管理起来
- 魔法分类：Apache web服务器可以扫描每个资源的内容，并将其与一个已知模式表(被称为魔法文件)进行匹配，以决定每个文件的MIME类型。这样做可能比较慢，但很方便，尤其是文件没有标准扩展名时
- 显式分类：可以对Web服务器进行配置，使其不考虑文件的扩展名或内容，强制特定文件或目录内容拥有某个MIME类型
- 类型协商：有些Web服务器经过配置，可以以多种文档格式来存储资源。在这种情况下，可以配置Web服务器，使其可以通过与用户的协商来决定使用哪种格式(及相关的MIME类型)“最好”
6、发送响应报文 Web服务器通过连接发送数据时也会面临与接收数据一样的问题。服务器可能有很多条到各个客户端的连接，有些是空闲的，有些在向服务器发送数据，还有一些在向客户端回送响应数据。服务器要记录连接的状态，还要特别注意对持久连接的处理。对非持久连接而言，服务器应该在发送了整条报文之后，关闭自己这一端的连接。对持久连接来说，连接可能仍保持打开状态，在这种情况下，服务器要正确地计算Content-Length首部，不然客户端就无法知道响应什么时候结束

7、记录日志 最后，当事务结束时，Web服务器会在日志文件中添加一个条目，来描述已执行的事务

2 httpd 安装和组成

2.1 常见http服务器程序

httpd apache，存在C10K（10K connections）问题
nginx 解决C10K问题
lighttpd
IIS .asp 应用程序服务器
tomcat .jsp 应用程序服务器
jetty 开源的servlet容器，基于Java的web容器
Resin CAUCHO公司，支持servlets和jsp的引擎
webshpere(IBM)
weblogic(BEA)
jboss
oc4j(Oracle)

HTTP服务器市场占有率统计： http://www.netcraft.com

2.2 apache介绍和特点

2.2.1 apache 介绍

20世纪90年代初，国家超级计算机应用中心NCSA开发,1995年开源社区发布apache（a patchy server） ASF: apache software foundation FSF：Free Software Foundation

apache特性：
- 高度模块化：core + modules
- DSO：Dynamic Shared Object 动态加/卸载
- MPM：multi-processing module 多路处理模块
apache 功能：
- 虚拟主机：IP、Port、FQDN
- CGI：Common Gateway Interface，通用网关接口
- 反向代理
- 负载均衡
- 路径别名
- 丰富的用户认证机制：basic，digest
- 支持第三方模块
httpd-2.4新特性
- MPM支持运行为DSO机制；以模块形式按需加载
- event MPM生产环境可用
- 异步读写机制
- 支持每模块及每目录的单独日志级别定义
- 每请求相关的专用配置
- 增强版的表达式分析式
- 毫秒级持久连接时长定义
- 基于FQDN的虚拟主机不需要NameVirutalHost指令
- 新指令
- 支持用户自定义变量
- 更低的内存消耗

2.2.2 MPM multi-processing module 工作模式

prefork：多进程I/O模型，每个进程响应一个请求，CentOS7 默认模型一个主进程：生成和回收n个子进程，创建套接字，不响应请求多个子进程：工作work进程，每个子进程处理一个请求；系统初始时，预先生成多个空闲进程，等待请求

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PDczxQvo-1576071307348)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210150427742.png)]

Prefork MPM: 预派生模式，有一个主控制进程，然后生成多个子进程,每个子进程有一个独立的线程响应用户请求，相对比较占用内存，但是比较稳定，可以设置最大和最小进程数，是最古老的一种模式，也是最稳定的模式，适用于访问量不是很大的场景
- 优点：稳定
- 缺点：慢，占用资源，不适用于高并发场景
worker：复用的多进程I/O模型,多进程多线程，IIS使用此模型一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3lUXVYLQ-1576071307349)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210150545214.png)]

worker MPM：是一种多进程和多线程混合的模型，有一个控制进程，启动多个子进程，每个子进程里面包含固定的线程，使用线程程来处理请求，当线程不够使用的时候会再启动一个新的子进程，然后在进程里面再启动线程处理请求，由于其使用了线程处理请求，因此可以承受更高的并发。
- 优点：相比prefork 占用的内存较少，可以同时处理更多的请求
- 缺点：使用keep-alive的长连接方式，某个线程会一直被占据，即使没有传输数据，也需要一直等待到超时才会被释放。如果过多的线程，被这样占据，也会导致在高并发场景下的无服务线程可用。（该问题在prefork模式下，同样会发生）
event：事件驱动模型（worker模型的变种）,CentOS8 默认模型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a3IbkRDg-1576071307349)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210150716958.png)]

一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n，有专门的监控线程来管理这些keep-alive类型的线程，当有真实请求时，将请求传递给服务线程，执行完毕后，又允许释放。这样增强了高并发场景下的请求处理能力
uevent MPM：Apache中最新的模式，属于事件驱动模型(epoll)，每个进程响应多个请求，在现在版本里的已经是稳定可用的模式。它和worker模式很像，最大的区别在于，它解决了keep-alive场景下，长期被占用的线程的资源浪费问题（某些线程因为被keep-alive，空挂在哪里等待，中间几乎没有请求过来，甚至等到超时）。event MPM中，会有一个专门的线程来管理这些keep-alive类型的线程，当有真实请求过来的时候，将请求传递给服务线程，执行完毕后，又允许它释放。这样增强了高并发场景下的请求处理能力
event只在有数据发送的时候才开始建立连接，连接请求才会触发工作线程，即使用了TCP的一个选项，叫做延迟接受连接TCP_DEFER_ACCEPT，加了这个选项后，若客户端只进行TCP连接，不发送请求，则不会触发Accept操作，也就不会触发工作线程去干活，进行了简单的防攻击（TCP连接）
优点：单线程响应多请求，占据更少的内存，高并发下表现更优秀，会有一个专门的线程来管理keep-alive类型的线程，当有真实请求过来的时候，将请求传递给服务线程，执行完毕后，又允许它释放
缺点：没有线程安全控制
httpd-2.4：event 稳定版，centos7以后默认
httpd-2.2：event 测试版，centos6默认

2.3 Httpd 安装和相关文件

2.3.1 rpm包安装httpd并启动httpd服务

版本说明：CentOS 7以上，默认系统是httpd 2.4，CentOS 6版默认为httpd 2.2
安装方式：
rpm：centos发行版，稳定，建议使用编译：定制或特殊需求

范例：安装httpd 2.4

[root@centos8 ~]#dnf -y install httpd
AppStream
63 MB/s | 5.2 MB
00:00
BaseOS
26 MB/s | 2.2 MB
00:00
EPEL
650 kB/s | 3.2 MB
00:05
extras
476 B/s | 2.1 kB
00:04
Dependencies resolved.
================================================================================
=========
Package Arch Version Repository
Size
================================================================================
=========
Installing:
httpd x86_64 2.4.37-11.module_el8.0.0+172+85fc1f40 AppStream
1.7 M
Installing dependencies:
apr x86_64 1.6.3-9.el8 AppStream
125 k
apr-util x86_64 1.6.1-6.el8 AppStream
105 k
centos-logos-httpd noarch 80.5-2.el8 AppStream
24 k
...省略...
Install 9 Packages
Total size: 2.2 M
Installed size: 6.0 M
Is this ok [y/N]: y
Downloading Packages:
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
Preparing :
1/1
Installing : apr-1.6.3-9.el8.x86_64
1/9
Running scriptlet: apr-1.6.3-9.el8.x86_64
1/9
...省略...
Complete!
[root@centos8 ~]#systemctl start httpd
[root@centos8 ~]#ss -ntl|grep :80
LISTEN 0 128 *:80 *:* *:*

2.3.2 httpd-2.4 相关文件

配置文件：
- /etc/httpd/conf/httpd.conf 主配置文件
- /etc/httpd/conf.d/*.conf 子配置文件
- /etc/httpd/conf.d/conf.modules.d/ 模块加载的配置文件
检查配置语法：httpd –t
服务单元文件：
- /usr/lib/systemd/system/httpd.service
- 配置文件：/etc/sysconfig/httpd
服务控制和启动
- systemctl enable|disable httpd.service
- systemctl {start|stop|restart|status|reload} httpd.service
站点网页文档根目录：/var/www/html
模块文件路径：
- /etc/httpd/modules
- /usr/lib64/httpd/modules
主服务器程序文件： /usr/sbin/httpd 主进程文件： /etc/httpd/run/httpd.pid
日志文件目录：/var/log/httpd
- access_log: 访问日志
- error_log：错误日志
帮助文档包：httpd-manual

2.3.3 httpd配置文件的组成

主要组成
- Global Environment
- Main server configuration
- virtual host
配置文件格式：
```
directive value
```
格式说明：
- directive 不区分字符大小写
- value 为路径时，是否区分大小写，取决于文件系统
配置官方帮助： http://httpd.apache.org/docs/2.4/

2.3.4 编译安装httpd 2.4

2.3.4.1 编译说明和准备

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rro7mwfO-1576071307350)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210152004505.png)]

APR:Apache portable Run-time libraries，Apache可移植运行库,主要为上层的应用程序提供一个可以跨越多操作系统平台使用的底层支持接口库。在早期的Apache版本中，应用程序本身必须能够处理各种具体操作系统平台的细节，并针对不同的平台调用不同的处理函数随着Apache的进一步开发，Apache组织决定将这些通用的函数独立出来并发展成为一个新的项目。这样，APR的开发就从Apache中独立出来，Apache仅仅是使用 APR而已。目前APR主要还是由Apache使用，由于APR的较好的移植性，因此一些需要进行移植的C程序也开始使用APR，开源项目：比如用于服务器压力测试的Flood loader tester，项目站点：http://httpd.apache.org/test/flood
APR官网：http://apr.apache.org
说明：安装httpd-2.4，依赖于apr-1.4+, apr-util-1.4+
编译安装httpd-2.4准备
- 安装相关包：yum -y install gcc make pcre-devel openssl-devel expat-devel
- 下载源代码并解压缩： httpd-2.4.39.tar.bz2,apr-1.7.0.tar.bz2,apr-util-1.6.1.tar.bz2

2.3.4.2 编译安装httpd-2.4方法一

编译安装apr

cd apr-1.7.0
./configure --prefix=/app/apr
make && make install

安装apr-util

cd ../apr-util-1.6.1
./configure --prefix=/app/apr-util --with-apr=/app/apr/
make -j 2 && make install

编译安装httpd-2.4

cd ../httpd-2.4.39
./configure --prefix=/app/httpd24 \
--enable-so \
--enable-ssl \
--enable-cgi \
--enable-rewrite \
--with-zlib \
--with-pcre \
--with-apr=/app/apr/ \
--with-apr-util=/app/apr-util/ \
--enable-modules=most \
--enable-mpms-shared=all \
--with-mpm=prefork
make -j 4 && make install

2.3.4.3 编译安装httpd-2.4方法二

将apr 和apr-util源码与httpd 源码合并

mv apr-1.7.0 httpd-2.4.41/srclib/apr
mv apr-util-1.6.1 httpd-2.4.41/srclib/apr-util
ls httpd-2.4.41/srclib/
apr apr-util Makefile.in

将三者一并编译并安装

cd httpd-2.4.41/
./configure \
--prefix=/app/httpd24 \
--enable-so \
--enable-ssl \
--enable-cgi \
--enable-rewrite \
--with-zlib \
--with-pcre \
--with-included-apr \
--enable-modules=most \
--enable-mpms-shared=all \
--with-mpm=prefork
make && make install

2.3.4.4 编译安装后配置

Httpd编译过程：/app/httpd24/build/config.nice 自带的服务控制脚本：/app/httpd24/bin/apachectl

创建专用用户
```
useradd -s /sbin/nologin -r apache
```

指定运行httpd的用户

vim /app/httpd24/conf/httpd
user apache
group apache

配置环境变量

vim /etc/profile.d/httpd24.sh
PATH=/app/httpd24/bin:$PATH

配置帮助

vim /etc/man_db.conf
MANDATORY_MANPATH /app/httpd24/man

设置开机自动启动

vim /etc/rc.d/rc.local
/app/httpd24/bin/apachectl start
chmod +x /etc/rc.d/rc.local

创建service unit文件(CentOS 7 以上版本)

vim /usr/lib/systemd/system/httpd24.service
[Unit]
Description=The Apache HTTP Server
After=network.target remote-fs.target nss-lookup.target
Documentation=man:httpd(8)
Documentation=man:apachectl(8)
[Service]
Type=forking
#EnvironmentFile=/etc/sysconfig/httpd
ExecStart=/app/httpd24/bin/httpd $OPTIONS -k start
ExecReload=/app/httpd24/bin/httpd $OPTIONS -k graceful
ExecStop=/bin/kill -WINCH {MAINPID}
KillSignal=SIGCONT
PrivateTmp=true
[Install]
WantedBy=multi-user.target

创建启动脚本(CentOS 6 以前版本)

#自定义启动脚本(参考httpd-2.2的服务脚本)
cp /etc/rc.d/init.d/httpd /etc/rc.d/init.d/httpd24
vim /etc/rc.d/init.d/httpd24
apachectl=/app/httpd24/bin/apachectl
httpd=${HTTPD-/app/httpd24/bin/httpd}
pidfile=${PIDFILE-/app/httpd24/logs/httpd.pid}
lockfile=${LOCKFILE-/var/lock/subsys/httpd24}
chkconfig –add httpd24
chkconfig –list httpd24

3 httpd 常见配置

3.1 显示服务器版本信息

ServerTokens Major|Minor|Min[imal]|Prod

范例：

[uctOnly]|OS|Full
ServerTokens Prod[uctOnly] ：Server: Apache
ServerTokens Major: Server: Apache/2
ServerTokens Minor: Server: Apache/2.0
ServerTokens Min[imal]: Server: Apache/2.0.41
ServerTokens OS: Server: Apache/2.0.41 (Unix)
ServerTokens Full (or not specified): Server: Apache/2.0.41 (Unix) PHP/4.2.2
MyMod/1.2

建议使用：ServerTokens Prod

3.2 监听的IP和Port

Listen [IP:]PORT

说明：
(1) 省略IP表示为本机所有IP

(2) Listen指令至少一个，可重复出现多次
范例：
```
Listen 192.168.1.100:8080
Lsten 80
```

3.3 持久连接

Persistent Connection：连接建立，每个资源获取完成后不会断开连接，而是继续等待其它的请求完成，默认关闭持久连接断开条件：时间限制：以秒为单位，默认5s，httpd-2.4 支持毫秒级副作用：对并发访问量大的服务器，持久连接会使有些请求得不到响应折衷：使用较短的持久连接时间

持久连接相关指令：

KeepAlive On|Off
KeepAliveTimeout 15        #连接持续15s,可以以ms为单位,默认值为5s
MaxKeepAliveRequests 500   #持久连接最大接收的请求数,默认值100

测试方法：

telnet WEB_SERVER_IP PORT
GET /URL HTTP/1.1
Host: WEB_SERVER_IP

3.4 DSO (Dynamic Shared Object)

Dynamic Shared Object，加载动态模块配置，不需重启即生效
动态模块所在路径： /usr/lib64/httpd/modules/
主配置 /etc/httpd/conf/httpd.conf 文件中指定加载模块配置文件
```
ServerRoot "/etc/httpd"
Include conf.modules.d/*.conf
```
配置指定实现模块加载格式：
```
LoadModule  
```
模块文件路径可使用相对路径：相对于ServerRoot（默认/etc/httpd）

范例：查看模块加载的配置文件

[root@centos8 ~]#ls /etc/httpd/conf.modules.d/
00-base.conf 00-lua.conf 00-optional.conf 00-systemd.conf 10-h2.conf
README
00-dav.conf 00-mpm.conf 00-proxy.conf 01-cgi.conf 10-proxy_h2.conf
[root@centos8 ~]#cat /etc/httpd/conf.modules.d/00-base.conf
# #
This file loads most of the modules included with the Apache HTTP
# Server itself.
# L
oadModule access_compat_module modules/mod_access_compat.so
LoadModule actions_module modules/mod_actions.so
LoadModule alias_module modules/mod_alias.so
LoadModule allowmethods_module modules/mod_allowmethods.so
LoadModule auth_basic_module modules/mod_auth_basic.so
...省略...

查看静态编译的模块：httpd -l
查看静态编译及动态装载的模块：httpd –M

范例：

#列出静态编译模块
[root@centos8 ~]#httpd -l
Compiled in modules:
core.c
mod_so.c
http_core.c
#列出静态和动态编译的模块
[root@centos8 ~]#httpd -M
AH00558: httpd: Could not reliably determine the server's fully qualified domain
name, using centos8.localdomain. Set the 'ServerName' directive globally to
suppress this message
Loaded Modules:
core_module (static)
so_module (static)
http_module (static)
access_compat_module (shared)
actions_module (shared)
alias_module (shared)
allowmethods_module (shared)
auth_basic_module (shared)
...省略...

3.5 MPM (Multi-Processing Module) 多路处理模块

httpd 支持三种MPM工作模式：prefork, worker, event

切换使用的MPM：

#启用要启用的MPM相关的LoadModule指令即可，其它未启用的两项需要在行首加#注释
vim /etc/httpd/conf.modules.d/00-mpm.conf
#LoadModule mpm_prefork_module modules/mod_mpm_prefork.so
#LoadModule mpm_worker_module modules/mod_mpm_worker.so
LoadModule mpm_event_module modules/mod_mpm_event.so

注意：不要同时启用多个MPM模块，否则会出现以下错误
```
AH00534: httpd: Configuration error: More than one MPM loaded.
```

范例：查看CentOS 8 和CentOS 7 默认的MPM工作模式

#查看CentOS 8 默认的MPM工作模式
[root@centos8 ~]#httpd -M |grep mpm
AH00558: httpd: Could not reliably determine the server's fully qualified domain
name, using centos8.localdomain. Set the 'ServerName' directive globally to
suppress this message
mpm_event_module (shared)
#查看CentOS 7 默认的MPM工作模式
[root@centos7 ~]#httpd -M |grep mpm
AH00558: httpd: Could not reliably determine the server's fully qualified domain
name, using centos7.localdomain. Set the 'ServerName' directive globally to
suppress this message
mpm_prefork_module (shared)

范例：修改CentOS 8使用 prefork 模型

[root@centos8 ~]#vim /etc/httpd/conf.modules.d/00-mpm.conf
[root@centos8 ~]#grep Load /etc/httpd/conf.modules.d/00-mpm.conf
# one of the following LoadModule lines. See the httpd.conf(5) man
LoadModule mpm_prefork_module modules/mod_mpm_prefork.so
#LoadModule mpm_worker_module modules/mod_mpm_worker.so
#LoadModule mpm_event_module modules/mod_mpm_event.so
[root@centos8 ~]#httpd -M | grep mpm
AH00558: httpd: Could not reliably determine the server's fully qualified domain
name, using centos8.localdomain. Set the 'ServerName' directive globally to
suppress this message
mpm_prefork_module (shared)

3.6 prefork 模式相关的配置：

StartServers 2000
MinSpareServers 2000
MaxSpareServers 2000
ServerLimit 2560 #最多进程数,最大值 20000
MaxRequestWorkers 2560 #最大的并发连接数，默认256
MaxConnectionsPerChild 4000 #子进程最多能处理的请求数量。在处理
MaxRequestsPerChild 个请求之后,子进程将会被父进程终止，这时候子进程占用的内存就会释放(为0
时永远不释放）
MaxRequestsPerChild 4000 #从 httpd.2.3.9开始被MaxConnectionsPerChild代替

3.7 worker和event 模式相关的配置

ServerLimit        16
StartServers       2
MaxRequestWorkers  150
MinSpareThreads    25
MaxSpareThreads    75
ThreadsPerChild    25

3.8 定义Main server的文档页面路径

DocumentRoot "/path"
<directory /path>
Require all granted
</directory>

说明：
- DocumentRoot指向的路径为URL路径的起始位置
- /path 必须显式授权后才可以访问

范例：

DocumentRoot "/data/html“
<directory /data/html>
Require all granted
</directory>

http://HOST:PORT/test/index.html --> /data/www/test/index.html

3.9 定义站点主页面

```
DirectoryIndex index.php index.html
```

3.10 可实现访问控制的资源

可以针对文件系统和URI的资源进行访问控制

文件系统路径：

#基于目录

...

#基于文件

...

#基于正则表达式

...

URL路径：

<Location "URL">
...
Location>
<LocationMatch "regex">
...
LocationMatch>

范例：

#/private1, /private1/，/private1/file.txt 匹配
#/private1other 不匹配
<Location "/private1">
# ...
</Location>
#/private2/，/private2/file.txt 匹配
# /private2 ，/private2other 不匹配
<Location "/private2/">
# ...
</Location>

范例：

<FilesMatch "\.(gif|jpe?g|png)$">
<Files “?at.*”> 通配符
<Location /status>
<LocationMatch "/(extra|special)/data">

3.11 针对目录实现访问控制

(1) Options指令：

后跟1个或多个以空白字符分隔的选项列表，在选项前的+，- 表示增加或删除指定选项
常见选项：
- Indexes：指明的URL路径下不存在与定义的主页面资源相符的资源文件时，返回索引列表给用户
- FollowSymLinks：允许访问符号链接文件所指向的源文件
- None：全部禁用
- All：全部允许

范例：


Options Indexes FollowSymLinks
Directory>

Options FollowSymLinks
Directory>

范例：

[root@centos8 ~]#cd /etc/httpd/conf.d/
[root@centos8 conf.d]#mv welcome.conf{,.bak}
[root@centos8 ~]#echo /data/data.html > /data/data.html
[root@centos8 ~]#ln -s /data /var/www/html/datalink
[root@centos8 ~]#echo Test Page > /var/www/html/test.html
[root@centos8 ~]#systemctl restart httpd

打开浏览器，访问 http://httpd主机IP/ 可看到下面所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3eksUA6Z-1576071307351)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210155957659.png)]

[root@centos8 ~]#vim /etc/httpd/conf/httpd.conf
#Options Indexes FollowSymLinks
Options Indexes #将上面行加注释，修改为此行
[root@centos8 ~]#systemctl restart httpd

打开浏览器，访问http://httpd主机IP/ 可看到下面所示,无法看软链接目录datalink

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PajqbrHE-1576071307352)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210160235338.png)]

(2) AllowOverride指令

与访问控制相关的哪些指令可以放在指定目录下的.htaccess（由AccessFileName 指令指定）文件中，覆盖之前的配置指令，只对语句有效
常见用法：
- AllowOverride All: .htaccess中所有指令都有效
- AllowOverride None： .htaccess 文件无效，此为httpd 2.3.9以后版的默认值
- AllowOverride AuthConfig .htaccess 文件中，除了AuthConfig 其它指令都无法生效

范例：

vim /etc/httpd/conf/httpd.conf
#Options Indexes FollowSymLinks
Options Indexes
#AllowOverride None
AllowOverride options=FollowSymLinks,indexes #注释上一行，修改为此行
[root@centos8 ~]#vim /var/www/html/dir1/.htaccess
Options FollowSymLinks indexes #加此行
[root@centos8 ~]#ln -s /app /var/www/html/dir1/applink
[root@centos8 ~]#systemctl restart httpd

打开浏览器，访问http://httpd主机IP/dir1，可以看到applink的软链接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rHimRshH-1576071307352)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210160631342.png)]

打开浏览器，访问http://httpd主机IP/ 可看到下面所示,无法看软链接目录datalink

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-i49OBUgc-1576071307353)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210160657530.png)]

3.12 基于客户端 IP 地址实现访问控制

针对各种资源，可以基于以下两种方式的访问控制：
- 客户端来源地址
- 用户账号
基于客户端的IP地址的访问控制:
- 无明确授权的目录，默认拒绝
- 允许所有主机访问：Require all granted
- 拒绝所有主机访问：Require all denied
- 控制特定的IP访问： Require ip IPADDR：授权指定来源的IP访问 Require not ip IPADDR：拒绝特定的IP访问
- 控制特定的主机访问： Require host HOSTNAME：授权特定主机访问 Require not host
  HOSTNAME：拒绝 HOSTNAME： FQDN：特定主机 domin.tld：指定域名下的所有主机

不能有失败，至少有一个成功匹配才成功，即失败优先

<RequireAll>
Require all granted
Require not ip 172.16.1.1 #拒绝特定IP
</RequireAll>

多个语句有一个成功，则成功，即成功优先

<RequireAny>
Require all denied
require ip 172.16.1.1 #允许特定IP
</RequireAny>

3.13 日志设定

httpd的日志类型：
- 访问日志
- 错误日志
错误日志： ErrorLog logs/error_log LogLevel warn LogLevel 可选值: debug, info, notice,warn,error, crit, alert, emerg
访问日志：
- 定义日志格式：LogFormat format strings
- 使用日志格式：CustomLog logs/access_log testlog

范例：

LogFormat "%h %l %u %{%F %T}t "%r" %>s %b "%{Referer}i"\"%{User-Agent}i\"" testlog

参考帮助：http://httpd.apache.org/docs/2.4/mod/mod_log_config.html#formats
- %h 客户端IP地址
- %l 远程用户,启用mod_ident才有效，通常为减号“-”
- %u 验证（basic，digest）远程用户,非登录访问时，为一个减号“-”
- %t 服务器收到请求时的时间
- %r First line of request，即表示请求报文的首行；记录了此次请求的“方法”，“URL”以及协议版本
- %>s 响应状态码
- %b 响应报文的大小，单位是字节；不包括响应报文http首部
- %{Referer}i 请求报文中首部“referer”的值；即从哪个页面中的超链接跳转至当前页面的
- %{User-Agent}i 请求报文中首部“User-Agent”的值；即发出请求的应用程序

3.14 设定默认字符集

设定字符集指令

AddDefaultCharset UTF-8 #此为默认值

中文字符集：GBK, GB2312, GB18030

3.15 定义路径别名

格式：
```
Alias /URL/ "/PATH/"
```

范例：

DocumentRoot "/www/htdocs"
#http://www.magedu.com/download/bash.rpm ==>/www/htdocs/download/bash.rpm
Alias /download/ "/rpms/pub/"
#http://www.magedu.com/download/bash.rpm ==>/rpms/pub/bash.rpm
#http://www.magedu.com/images/logo.png ==>/www/htdocs/images/logo.png

3.16 基于用户的访问控制

认证质询：WWW-Authenticate：响应码为401，拒绝客户端请求，并说明要求客户端需要提供账号和密码
认证：Authorization，客户端用户填入账号和密码后再次发送请求报文；认证通过时，则服务器发送响应的资源
认证方式两种：
- basic：明文
- digest：消息摘要认证,兼容性差
安全域：需要用户认证后方能访问的路径；应该通过名称对其进行标识，以便于告知用户认证的原因
用户的账号和密码虚拟账号：仅用于访问某服务时用到的认证标识存储：文本文件，SQL数据库，
ldap目录存储，nis等
basic认证配置示例：
(1) 定义安全域


Options None
AllowOverride None
AuthType Basic
AuthName "String“
AuthUserFile "/PATH/HTTPD_USER_PASSWD_FILE"
Require user username1 username2 ...
Directory>

允许账号文件中的所有用户登录访问：

Require valid-user

(2) 提供账号和密码存储（文本文件）使用专用命令完成此类文件的创建及用户管理
```
htpasswd [options] /PATH/HTTPD_PASSWD_FILE username
```

选项：

-c #自动创建文件，仅应该在文件不存在时使用 
-p #明文密码 
-d #CRYPT格式加密，默认 
-m #md5格式加密
-s #sha格式加密 
-D #删除指定用户

基于组账号进行认证

(1) 定义安全域


AuthType Basic
AuthName "String“
AuthUserFile "/PATH/HTTPD_USER_PASSWD_FILE"
AuthGroupFile "/PATH/HTTPD_GROUP_FILE"
Require group grpname1 grpname2 ...
Directory>

(2) 创建用户账号和组账号文件组文件：每一行定义一个组
```
GRP_NAME: username1 username2 ...
```

范例：

<Directory "/www/htdocs/admin">
Options None
AllowOverride None
AuthType Basic
AuthName "Administator private"
AuthUserFile "/etc/httpd/conf.d/.htpasswd"
AuthGroupFile "/etc/httpd/conf.d/.htgroup"
Require group webadmins
</Directory>
vim /etc/httpd/conf.d/.htgroup
webadmins:wang mage

(3)远程客户端和用户验证的控制
```
Satisfy ALL|Any
```
说明：
- ALL 客户机IP和用户验证都需要通过才可以 Any 客户机IP和用户验证,有一个满足即可

范例：

#针对/var/www/html/test目录，来自192.168.1.0/24的客户可以访问，其它网络的用户需要经过用
户验证才能访问
<Directory "/var/www/html/test">
Require valid-user
Allow from 192.168.1
Satisfy Any
</Directory
#/var/www/private目录只有用户验证才能访问
<Directory "/var/www/private">
Require valid-user
</Directory>
#/var/www/private/public 不需要用户验证，任何客户都可以访问
<Directory "/var/www/private/public">
Allow from all
Satisfy Any
</Directory>

3.17 实现用户家目录的http共享

基于模块mod_userdir.so实现相关设置：

vim /etc/httpd/conf.d/userdir.conf

	#UserDir disabled
	UserDir public_html #指定共享目录的名称

#准备目录
su – wang;mkdir ~/public_html
setfacl –m u:apache:x ~wang
#访问
http://localhost/~wang/index.html

范例：对家目录共享并实现basic验证

Vi /etc/httpd/conf.d/userdir.conf centos7

#UserDir disabled
UserDir public_html


#注释下面几行
#
# AllowOverride FileInfo AuthConfig Limit Indexes
# Options MultiViews Indexes SymLinksIfOwnerMatch IncludesNoExec
# Require method GET POST OPTIONS
#

Vi /etc/httpd/conf.d/userdir.conf
#加下面几行，实现匿名访问

Require all granted


#准备目录和网页文件
su – test
mkdir ~/public_html
echo testhomewebsite > ~/public_html/index.html
#加权限才成功
setfacl –m u:apache:x ~test

#访问
http://localhost/~test/index.html

#删除上面行，增加下面行实现认证功能
Vi /etc/httpd/conf.d/userdir.conf

AuthType Basic
AuthName "test home"
AuthUserFile "/etc/httpd/conf.d/htuser"
require user http1

Systemctl restart httpd

#新建密码文件
htpasswd -c -m /etc/httpd/conf/.htpasswd test

#再次访问
http://localhost/~test/index.html

3.18 禁止错误网页版本泄露

ServerSignature On | Off | EMail

默认值Off，当客户请求的网页并不存在时，服务器将产生错误文档，如果ServerSignature选项为on，错误文档的最后一行将包含服务器名字、Apache版本等信息，如果不对外显示这些信息，就可将这个参数设置为Off,设置为Email，将显示ServerAdmin 的Email提示

3.19 禁止trace方法

TraceEnable [on|off|extended]

是否支持trace方法，默认on，基于安全风险，建议关闭

3.20 status 状态页

httpd提供了状态页，可以用来观察httpd的运行情况。此功能需要加载mod_status.so模块才能实现

LoadModule status_module modules/mod_status.so

SetHandler server-status
Location>
ExtendedStatus On #显示扩展信息,httpd 2.3.6以后版默认为On

范例：启动状态页

#确认加载mod_status.so模块
[root@centos8 conf.d]#httpd -M |grep status
AH00558: httpd: Could not reliably determine the server's fully qualified domain
name, using centos8.localdomain. Set the 'ServerName' directive globally to
suppress this message
status_module (shared)
[root@centos8 ~]#vim /etc/httpd/conf.d/status.conf

	SetHandler server-status
	
	Require all denied
	require ip 172.16.1.1 #允许特定IP
	

ExtendedStatus Off
[root@centos8 ~]#systemctl restart httpd
#打开浏览器访问http://httpd服务器IP/status可以参看到以下页面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O5CmgoIO-1576071307354)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210164447168.png)]

3.21 多虚拟主机

httpd 支持在一台物理主机上实现多个网站，即多虚拟主机。
网站的唯一标识：
- IP相同，但端口不同
- IP不同，但端口均为默认端口
- FQDN不同：
多虚拟主机有三种实现方案：
- 基于ip：为每个虚拟主机准备至少一个ip地址
- 基于port：为每个虚拟主机使用至少一个独立的port
- 基于FQDN：为每个虚拟主机使用至少一个FQDN，请求报文中首部 Host: www.magedu.com
注意：httpd 2.4版本中，基于FQDN的虚拟主机不再需要NameVirutalHost指令

虚拟主机的基本配置方法：

<VirtualHost IP:PORT>
ServerName FQDN
DocumentRoot “/path"
VirtualHost>

建议：上述配置存放在独立的配置文件中

其它常用可用指令：

ServerAlias：虚拟主机的别名；可多次使用
ErrorLog： 错误日志
CustomLog：访问日志

范例：基于IP的虚拟主机

<VirtualHost 172.16.100.6:80>
DocumentRoot "/www/a.com/htdocs"
VirtualHost>
<VirtualHost 172.16.100.7:80>
DocumentRoot "/www/b.net/htdocs"
VirtualHost>
<VirtualHost 172.16.100.8:80>
DocumentRoot "/www/c.org/htdocs"
VirtualHost>

范例：基于端口的虚拟主机

listen 6666
listen 7777
listen 8888
<VirtualHost *:6666>
DocumentRoot "/www/a.com/htdocs"
VirtualHost>
<VirtualHost *:7777>
DocumentRoot "/www/b.net/htdocs"
VirtualHost>
<VirtualHost *:8888>
DocumentRoot "/www/c.org/htdocs"
VirtualHost>

范例：基于FQDN虚拟主机

<VirtualHost *:80>
ServerName www.a.com
DocumentRoot "/www/a.com/htdocs"

ErrorLog "logs/a_error_log"
CustomLog "logs/a_access_log" combined
Options None
AllowOverride None
Require all granted
Directory>
VirtualHost>
<VirtualHost *:80>
ServerName www.b.net
DocumentRoot "/www/b.net/htdocs"

ErrorLog "logs/b_error_log"

CustomLog "logs/b_access_log" combined
Options None
AllowOverride None
Require all granted
Directory>
VirtualHost>

<VirtualHost *:80>
ServerName www.c.org
DocumentRoot "/www/c.org/htdocs"

errorLog "logs/c_error_log"
CustomLog "logs/c_access_log" combined
Options None
AllowOverride None
Require all granted
Directory>
VirtualHost>

注意：
- 任意目录下的页面只有显式授权才能被访问
- 三种方式的虚拟主机可以混和使用

3.22 压缩

使用mod_deflate模块压缩页面优化传输速度

LoadModule deflate_module modules/mod_deflate.so SetOutputFilter

适用场景：

(1) 节约带宽，额外消耗CPU；同时，可能有些较老浏览器不支持

(2) 压缩适于压缩的资源，例如文本文件

压缩指令:

SetOutputFilter DEFLATE

# 指定对哪种MIME类型进行压缩，必须指定项
AddOutputFilterByType DEFLATE text/plain
AddOutputFilterByType DEFLATE text/html
AddOutputFilterByType DEFLATE application/xhtml+xml
AddOutputFilterByType DEFLATE text/xml
AddOutputFilterByType DEFLATE application/xml
AddOutputFilterByType DEFLATE application/x-javascript
AddOutputFilterByType DEFLATE text/javascript
AddOutputFilterByType DEFLATE text/css

#压缩级别 (Highest 9 - Lowest 1)
DeflateCompressionLevel 9
#排除特定旧版本的浏览器，不支持压缩
#Netscape 4.x 只压缩text/html
BrowserMatch ^Mozilla/4 gzip-only-text/html
#Netscape 4.06-08 三个版本 不压缩
BrowserMatch ^Mozilla/4\.0[678] no-gzip
#Internet Explorer标识本身为“Mozilla / 4”，但实际上是能够处理请求的压缩。如果用户代理首部
匹配字符串“MSIE”（“B”为单词边界”），就关闭之前定义的限制
BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html

3.23 实现https

https：http over ssl ,实现验证和加密功能 SSL会话的简化过程

(1) 客户端发送可供选择的加密方式，并向服务器请求证书

(2) 服务器端发送证书以及选定的加密方式给客户端

(3) 客户端取得证书并进行证书验证，如果信任给其发证书的CA

(a) 验证证书来源的合法性；用CA的公钥解密证书上数字签名

(b) 验证证书的内容的合法性：完整性验证

© 检查证书的有效期限

(d) 检查证书是否被吊销

(e) 证书中拥有者的名字，与访问的目标主机要一致

(4) 客户端生成临时会话密钥（对称密钥），并使用服务器端的公钥加密此数据发送给服务器，完成密钥交换 (5) 服务用此密钥加密用户请求的资源，响应给客户端
注意：SSL是基于IP地址实现,单IP的httpd主机，仅可以使用一个https虚拟主机

https实现过程

(1) 为服务器申请数字证书测试证书：可以通过私建CA颁发证书实现

(a) 创建私有CA

(b)在服务器创建证书签署请求

(2) 配置httpd支持使用ssl，及使用的证书

#安装mod_ssl包
yum -y install mod_ssl
#修改对应的配置文件：/etc/httpd/conf.d/ssl.conf
DocumentRoot
ServerName
SSLCertificateFile
SSLCertificateKeyFile
SSLCACertificateFile

(3) 测试基于https访问相应的主机

openssl s_client [-connect host:port] [-cert filename] [-CApath directory] [-
CAfile filename]

3.24 URL重定向

URL重定向，即将httpd 请求的URL转发至另一个的URL
重定向指令
```
Redirect [status] URL-path URL
```
status状态：
- permanent：返回永久重定向状态码 301
- temp：返回临时重定向状态码302. 此为默认值

范例：

Redirect temp / https://www.magedu.com/

3.25 实现HSTS

HSTS:HTTP Strict Transport Security , 服务器端配置支持HSTS后，会在给浏览器返回的HTTP首部中携带HSTS字段。浏览器获取到该信息后，会将所有HTTP访问请求在内部做307跳转到HTTPS。而无需任何网络过程,实现更高的安全性
HSTS preload list: 是Chrome浏览器中的HSTS预载入列表，在该列表中的网站，使用Chrome浏览器访问时，会自动转换成HTTPS。Firefox、Safari、Edge浏览器也会采用这个列表

范例：

vim /etc/httpd/conf/httpd.conf
Header always set Strict-Transport-Security "max-age=31536000"
RewriteEngine on
RewriteRule ^(/.*)$ https://%{HTTP_HOST}$1 [redirect=302]

3.26 正向代理和反向代理

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3D83wycg-1576071307354)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210170647567.png)]

启用反向代理

ProxyPass "/" "http://www.example.com/"
ProxyPassReverse "/" "http://www.example.com/"

特定URL反向代理

ProxyPass "/images" "http://www.example.com/"
ProxyPassReverse "/images" http://www.example.com/

范例：


ServerName www.magedu.com
ProxyPass / http://localhost:8080/
ProxyPassReverse / http://localhost:8080/

3.27 Sendfile机制

不用 sendfile 的传统网络传输过程： read(file, tmp_buf, len) write(socket, tmp_buf, len) 硬盘 >>kernel buffer >> user buffer >> kernel socket buffer >> 协议栈

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FWafXzvT-1576071307355)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210170914037.png)]
一般网络应用通过读硬盘数据，写数据到 socket 来完成网络传输,底层执行过程： 1 系统调用 read() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后 DMA 执行拷贝，把文件数据从硬盘读到一个 kernel buffer 里。 2 数据从 kernel buffer 拷贝到 user buffer，然后系统调用 read() 返回，这时又产生一个上下文切换：从kernel mode 切换到 user mode 3 系统调用 write() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后把步骤2读到 user buffer 的数据拷贝到 kernel buffer（数据第2次拷贝到 kernel buffer），不过这次是个不同的 kernel buffer，这个 buffer和socket 相关联。 4 系统调用 write() 返回，产生一个上下文切换：从 kernel mode 切换到 usermode(第4次切换),然后DMA从 kernel buffer 拷贝数据到协议栈（第4次拷贝）
上面4个步骤有4次上下文切换，有4次拷贝，如果能减少切换次数和拷贝次数将会有效提升性能
Sendfile机制

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tstcyVEf-1576071307356)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210171134292.png)]

在kernel 2.0+ 版本中，系统调用 sendfile() 就是用来简化上面步骤提升性能的。sendfile() 不但能减少切换次数而且还能减少拷贝次数用 sendfile() 来进行网络传输的过程： sendfile(socket, file, len); 硬盘>> kernel buffer (快速拷贝到kernel socket buffer) >> 协议栈 1 系统调用 sendfile() 通过 DMA 把硬盘数据拷贝到 kernel buffer，然后数据被 kernel 直接拷贝到另外一个与 socket 相关的 kernel buffer。
这里没有 user mode 和 kernel mode 之间的切换，在 kernel 中直接完成了从一个 buffer 到另一个buffer 的拷贝 2 DMA 把数据从 kernel buffer 直接拷贝给协议栈，没有切换，也不需要数据从 user mode 拷贝到 kernel mode，因为数据就在 kernel 里

4 http协议及报文头部结构

浏览器访问网页的过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yEOTxmIh-1576071307356)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210171225426.png)]

http协议：http/0.9, http/1.0, http/1.1, http/2.0，http/3.0 http协议：stateless 无状态, 服务器无法持续追踪访问者来源

解决http协议无状态方法
- cookie 客户端存放
- session 服务端存放
http事务：一次访问的过程
- 请求：request
- 响应：response
HTTP报文结构
协议查看或分析的工具：tcpdump, wireshark,tshark
参考资料：https://developer.mozilla.org/zh-CN/docs/Web/HTTP

4.1 HTTP请求报文

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kOZ3yjjZ-1576071307357)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210171435509.png)]

request报文格式
```
  
```

范例：

GET / HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Host: www.magedu.com
User-Agent: HTTPie/0.9.4

4.2 HTTP响应报文

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CJbz9Vz0-1576071307357)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210172351797.png)]

response报文格式

<version> <status> <reason-phrase>
<headers>
<entity-body>

范例：

HTTP/1.1 200 OK
Cache-Control: max-age=3, must-revalidate
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html; charset=UTF-8
Date: Thu, 07 Nov 2019 03:44:14 GMT
Server: Tengine
Transfer-Encoding: chunked
Vary: Accept-Encoding
Vary: Accept-Encoding, Cookie

4.3 HTTP报文格式详解

4.3.1 Method 方法

请求方法，标明客户端希望服务器对资源执行的动作，包括以下：

GET：从服务器获取一个资源
HEAD：只从服务器获取文档的响应首部
POST：向服务器输入数据，通常会再由网关程序继续处理
PUT：将请求的主体部分存储在服务器中，如上传文件
DELETE：请求删除服务器上指定的文档
TRACE：追踪请求到达服务器中间经过的代理服务器
OPTIONS：请求服务器返回对指定资源支持使用的请求方法
CONNECT：建立一个到由目标资源标识的服务器的隧道
PATCH：用于对资源应用部分修改

4.3.2 version版本

HTTP/.

范例：

HTTP/1.1

4.3.3 status 状态码

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rBT9Bapz-1576071307358)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210172717125.png)]

三位数字，标记请求处理过程中发生的情况
参考资料：https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Status
http协议状态码分类
- 1xx：100-101 信息提示
- 2xx：200-206 成功
- 3xx：300-305 重定向
- 4xx：400-415 错误类信息，客户端错误
- 5xx：500-505 错误类信息，服务器端错误
http协议常用的状态码
- 200：成功，请求数据通过响应报文的entity-body部分发送;OK
- 301：请求的URL指向的资源已经被删除；但在响应报文中通过首部Location指明了资源现在所处的新位置；MovedPermanently
- 302：响应报文Location指明资源临时新位置 Moved Temporarily
- 304：客户端发出了条件式请求，但服务器上的资源未曾发生改变，则通过响应此响应状态码通知客户端；Not Modified
- 401：需要输入账号和密码认证方能访问资源；Unauthorized
- 403：请求被禁止；Forbidden
- 404：服务器无法找到客户端请求的资源；Not Found
- 500：服务器内部错误；Internal Server Error
- 502：代理服务器从后端服务器收到了一条伪响应，如无法连接到网关；Bad Gateway
- 503：服务不可用，临时服务器维护或过载，服务器无法处理请求
- 504：网关超时

4.3.4 reason-phrase原因短语

状态码所标记的状态的简要描述

4.3.5 headers首部字段头

首部字段包含的信息最为丰富。首部字段同时存在于请求和响应报文内，并涵盖 HTTP 报文相关的内容信息。使用首部字段是为了给客服端和服务器端提供报文主体大小、所使用的语言、认证信息等内容首部字段是由首部字段名和字段值构成的，中间用冒号“：”分隔字段值对应，即key/value 键/值对单个 HTTP 首部字段可以有多个值
参考资料：https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Headers
首部的分类：
1. 通用首部:请求报文和响应报文两方都会使用的首部
2. 请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、请求内容相关优先级等信息
3. 应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客户端附加额外的内容信息
4. 实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有关的的信息
5. 扩展首部
通用首部：
- Date: 报文的创建时间
- Connection：连接状态，如keep-alive, close
- Via：显示报文经过的中间节点（代理，网关）
- Cache-Control：控制缓存，如缓存时长
- MIME-Version:发送端使用的MIME版本
- Warning：错误通知
请求首部：
- Accept：通知服务器自己可接受的媒体类型
- Accept-Charset：客户端可接受的字符集
- Accept-Encoding：客户端可接受编码格式，如gzip
- Accept-Language：客户端可接受的语言
- Client-IP: 请求的客户端IP
- Host: 请求的服务器名称和端口号
- Referer：跳转至当前URI的前一个URL
- User-Agent：客户端代理，浏览器版本
条件式请求首部：
- Expect：允许客户端列出某请求所要求的服务器行为
- If-Modified-Since：自从指定的时间之后，请求的资源是否发生过修改
- If-Unmodified-Since：与上面相反
- If-None-Match：本地缓存中存储的文档的ETag标签是否与服务器文档的Etag不匹配
- If-Match：与上面相反
安全请求首部：
- Authorization：向服务器发送认证信息，如账号和密码
- Cookie: 客户端向服务器发送cookie 代理请求首部：
- Proxy-Authorization: 向代理服务器认证
响应首部：
- 信息性：
  - Age：从最初创建开始，响应持续时长
  - Server：服务器程序软件名称和版本
- 协商首部：某资源有多种表示方法时使用
  - Accept-Ranges：服务器可接受的请求范围类型
  - Vary：服务器查看的其它首部列表
- 安全响应首部：
  - Set-Cookie：向客户端设置cookie
  - WWW-Authenticate：来自服务器对客户端的质询列表
实体首部：
- Allow: 列出对此资源实体可使用的请求方法
- Location：告诉客户端真正的实体位于何处
- Content-Encoding:对主体执行的编码
- Content-Language:理解主体时最适合的语言
- Content-Length: 主体的长度
- Content-Location: 实体真正所处位置
- Content-Type：主体的对象类型，如text
- 缓存相关：
  - ETag：实体的扩展标签
  - Expires：实体的过期时间
  - Last-Modified：最后一次修改的时间

4.3.6 entity-body实体

请求时附加的数据或响应时附加的数据，例如：登录网站时的用户名和密码，博客的上传文章，论坛上的发言等。

4.4 Cookie 和 session

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-juGpQu6j-1576071307359)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210174307183.png)]

无状态协议是指协议对事物处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它应答就很快。
HTTP是超本文传输协议，顾名思义，这个协议支持超文本的传输。什么是超文本？说白了就是使用HTML编写的页面。通常，我们使用客户端浏览器访问服务器的资源，最常见的URL也是以html为后缀的文件，因此可以说超文本是网络上最主要的资源。
既然HTTP协议的目的是在于支持超文本的传输，也就是资源的传输，那么客户端浏览器向HTTP服务器发送请求，继而HTTP服务器将相信资源发回给客户端这样一个过程中，无论对于客户端还是服务器，都没有必要记录这个过程，因为每一次请求和响应都是相对独立的，一般而言，一个URL对应着一个唯一的超文本，正是因为这样的唯一性，使得记录用户的行为状态变得毫无意义，所以，HTTP协议被设计为无状态的连接协议符合它本身的需求。
HTTP协议这种特性有优点也有缺点，优点在于解放了服务器，每一次请求"点到为止"，不会造成不必要的连接占用，缺点在于如果为了保留状态，每次请求都会传输大量的重复信息内容。
可是随着 Web 的不断发展，很多业务都需要对通信状态进行保存.
如果是一次性会话的过程：打开浏览器 -> 访问一些服务器内容 -> 关闭浏览器;但目前有很多WEB访问场景，并不是一次性会话，而是多次相关的会话，比如：登录场景：打开浏览器 -> 浏览到登陆页面 -> 输入用户名和密码 -> 访问到用户主页(显示用户名) -> 修改密码（输入原密码）-> 修改收货地址… 问题：在此处登录会话过程中产生的数据（用户会话数据）如何保存下来呢？
购物场景：打开浏览器 -> 浏览商品列表 -> 加入购物车(把商品信息保存下来) -> 关闭浏览器打开浏览器-> 直接进入购物车 -> 查看到上次加入购物车的商品 -> 下订单 -> 支付问题：在购物会话过程中，如何保存商品信息？
以上场景都需要保留会话数据，需要会话管理机制。
会话管理：管理浏览器客户端和服务器端之间会话过程中产生的会话数据。
为了会话管理，HTTP就需要传输大量重复信息内容的问题，造成大量的网络带宽消耗。于是 Cookie 和Session 技术闪亮登场了，它们可以为用户进行会话管理，实现保存状态。

4.4.1 Cookie

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2IObGuLV-1576071307359)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210174531269.png)]

HTTP Cookie（也叫Web Cookie或浏览器Cookie）是服务器发送到用户浏览器并保存在客户端本地的一小块数据，它会在浏览器下次向同一服务器再发起请求时被携带并发送到服务器上。通常，它用于告知服务端两个请求是否来自同一浏览器，如保持用户的登录状态。Cookie使基于无状态的HTTP协议记录稳定的状态信息成为了可能。
Cookie主要用于以下三个方面：
- 会话状态管理（如用户登录状态、购物车、游戏分数或其它需要记录的信息）
- 个性化设置（如用户自定义设置、主题等）
- 浏览器行为跟踪（如跟踪分析用户行为等）
使用 Cookie 的状态管理
Cookie 技术通过在请求和响应报文中写入 Cookie 信息来控制客户端的状态。当服务器收到HTTP请求时，服务器可以在响应头里面添加一个Set-Cookie选项。浏览器收到响应后通常会保存下Cookie，之后对该服务器每一次请求中都通过Cookie请求头部将Cookie信息发送给服务器。服务器端发现客户端发送过来的 Cookie 后，会去检查究竟是从哪一个客户端发来的连接请求，然后对比服务器上的记录，最后得到之前的状态信息.另外，Cookie的过期时间、域、路径、有效期、适用站点都可以根据需要来指定。
Set-Cookie首部字段
- NAME=VALUE 赋予 Cookie 的名称和其值,此为必需项
- expires=DATE Cookie 的有效期，若不明确指定则默认为浏览器关闭前为止
- 会话期Cookie
  - 会话期Cookie是最简单的Cookie：浏览器关闭之后它会被自动删除，也就是说它仅在会话期内有效。会话期Cookie不需要指定过期时间（Expires）或者有效期（Max-Age）。需要注意的是，有些浏览器提供了会话恢复功能，这种情况下即使关闭了浏览器，会话期Cookie也会被保留下来，就好像浏览器从来没有关闭一样。
- 持久性Cookie
  - 和关闭浏览器便失效的会话期Cookie不同，持久性Cookie可以指定一个特定的过期时间（Expires）或有效期（Max-Age）。
```
Set-Cookie: id=a3fWa; Expires=Wed, 21 Oct 2015 07:28:00 GMT;
```
  - 提示：当Cookie的过期时间被设定时，设定的日期和时间只与客户端相关，而不是服务端。
- path=PATH 指定了主机下的哪些路径可以接受Cookie（该URL路径必须存在于请求URL中）。若不指定则默认为文档所在的文件目录,以字符 %x2F ("/") 作为路径分隔符，子路径也会被匹配。
  - 例如，设置 Path=/docs ，则以下地址都会匹配：
    - /docs
    - /docs/Web/
    - /docs/Web/HTTP
- domain=域名指定了哪些主机可以接受Cookie。如果不指定，默认为当前文档的主机（不包含子域名）。如果指定了Domain，则一般包含子域名。
  - 例如，如果设置 Domain=magedu.com，则Cookie也包含子域名（如：study.magedu.com）
- Secure 标记为 Secure 的Cookie只应通过被HTTPS协议加密过的请求发送给服务端。但即便设置了 Secure 标记，敏感信息也不应该通过Cookie传输，因为Cookie有其固有的不安全性，Secure标记也无法提供确实的安全保障。从 Chrome 52 和 Firefox 52 开始，不安全的站点（http:）无法使用Cookie的 Secure 标记。
- HttpOnly 加以限制使 Cookie 不能被 JavaScript 脚本访问,为避免跨域脚本 (XSS) 攻击，通过JavaScript的 Document.cookie API无法访问带有 HttpOnly 标记的Cookie，它们只应该发送给服务端。如果包含服务端 Session 信息的 Cookie 不想被客户端 JavaScript 脚本调用，那么就应该为其设置 HttpOnly 标记
浏览器对cookie的限制：
- Cookie 存储的限制是不一样的。例如：单个域名可存储的 Cookie 数量、Cookie 大小等。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xq1LKhxE-1576071307360)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210175246529.png)]

在进行页面 Cookie 操作的时候，应该尽量保证 Cookie 的个数小于 20 个，总大小小于 4KB，这是一个安全且保险的范围。

范例：响应报文中的set-cookie首部

HTTP/1.0 200 OK
Content-type: text/html
Set-Cookie: yummy_cookie=choco
Set-Cookie: tasty_cookie=strawberry

范例：请求报文中的cookie首部字段

GET /sample_page.html HTTP/1.1
Host: www.example.org
Cookie: yummy_cookie=choco; tasty_cookie=strawberry

范例：响应报文set-cookie中的Secure 和 HttpOnly

Set-Cookie: id=a3fWa; Expires=Wed, 21 Oct 2015 07:28:00 GMT; Secure; HttpOnly

范例：浏览器查看cookie

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1PIq2BO3-1576071307361)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210175732325.png)]

范例：浏览器禁止cookie

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sc0Pim40-1576071307361)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210175801329.png)]

范例：php语言实现cookie的管理

#设置cookie
#cat setcookie.php

#说明：setcookie设置的cookie，只有下一次http请求才能生效
#显示cookie
cat showcookies.php
";
var_dump($_COOKIE); #显示所有cookie
//print_r($_COOKIE); #不如上面方式详细
?>
#删除cookie，通过设置过期时间实现
#vim delcookie.php

4.4.2 Session

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CqsO7emV-1576071307362)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210175932546.png)]

session
- session是相对于cookie的另外一个状态保持的解决方案，它是通过服务器来保持状态的。session指的是服务器上为每个客户端所开辟的独立存储空间，在其中保存的信息就是用于保存状态的。
- Session是服务器端程序运行的过程中创建的，不同语言实现的应用程序有不同创建session的方法。在创建了session的同时，服务器会为该session生成唯一的sessionId，而这个sessionId被创建了之后，就可以调用session相关的方法往session中增加内容了，而这些内容只会保存在服务器中，每个sessionid就像数据库中主键，可以根据SessionId 关联每个session的相关信息，比如：购物车里的商器，登录用户等。但发送给客户端浏览器的只有sessionId。当客户端浏览器再次发送http请求时，会自动地将这个sessionId 附加在请求报文中，服务器收到请求之后就会根据sessionId找到对应的session，从而再次使用，使得用户的状态得以保持。
- 每个session都有一个sessionId，这个ID存放有两种方式：
  
  1、通过URL存取，比如：Java程序中，URL会带上一个;jsessionId=xxxxxx等，这样每次重新请求的时候都传了sessionId给服务器
  2、通过cookie存取（Tomcat默认如此），这种cookie是session cookie，区别于persistent cookies也就是我们常说的cookie，session cookie要注意的是存储在浏览器内存中，而不是写到硬盘上。程序一开始执行，服务器就生成一个sessionId并通过cookie携带客户端浏览器的缓存中，当下一次访问的时候，服务器先检测一下是否有这个cookie，如果有就取它的ID，如果没有就再生成一个。这就是为什么关闭浏览器之后，再进去session已经没有了，其实在服务器端session并没有清空，而是sessionId变了。
- 当将浏览器关闭，服务器保存的session数据不是立即释放的，此时数据还会存在一段时间（可以在程序中加以设置，Tomcat默认15分钟），只要我们知道那个sessionId，就可以继续通过请求获得此session的信息。session里面的数据都放在服务器端，通过sessionId保证不会访问错误，服务端自动对session进行管理，如果在规定的时间内没有访问，则释放掉这个session。
- 最后提两点：
  
  1、sessionId通常是看不到的，但是当我们把浏览器的cookie禁止之后，Web服务器会采用URL重写的方式传递sessionId，这样就可以在地址栏看到sessionId了
  2、session cookie不可以跨窗口使用，但可以跨同一个窗口的多个标签页。

4.4.3 cookie和session比较

cookie和session的相同和不同：

cookie和session两者都是在服务器端生成
session 将数据信息保存在服务器端，可以是内存，文件，数据库等多种形式,cookie 将数据保存在客户端的内存或文件中
单个cookie保存的数据不能超过4K，每个站点cookie个数有限制，比如IE8为50个、Firefox为50个、Opera为30个；session存储在服务器，没有容量限制
cookie存放在用户本地，可以被轻松访问和修改，安全性不高；session存储于服务器，比较安全
cookie有会话cookie和持久cookie，生命周期为浏览器会话期的会话cookie保存在缓存，关闭浏览器窗口就消失，持久cookie被保存在硬盘，知道超过设定的过期时间；随着服务端session存储压力增大，会根据需要定期清理session数据
session中有众多数据，只将sessionID这一项可以通过cookie发送至客户端进行保留，客户端下次访问时，在请求报文中的cookie会自动携带sessionID，从而和服务器上的的session进行关联

cookie缺点：

使用cookie来传递信息，随着cookie个数的增多和访问量的增加，它占用的网络带宽也很大，试想
假如cookie占用200字节，如果一天的PV有几个亿，那么它要占用多少带宽？
cookie并不安全，因为cookie是存放在客户端的，所以这些cookie可以被访问到，设置可以通过插
件添加、修改cookie。所以从这个角度来说，我们要使用sesssion，session是将数据保存在服务端
的，只是通过cookie传递一个sessionId而已，所以session更适合存储用户隐私和重要的数据

session 缺点：

不容易在多台服务器之间共享，可以使用session绑定，session复制，session共享解决
session存放在服务器中，所以session如果太多会非常消耗服务器的性能

cookie和session各有优缺点，在大型互联网系统中，单独使用cookie和session都是不可行的

5 Web相关工具

5.1 links

格式：
```
links [OPTION]... [URL]...
```

常用选项：

#非交互式模式，显示输出结果 
-dump  
#打印源码  
-source

5.2 wget

格式：
```
wget [OPTION]... [URL]...
```

常用选项：

-q             #静默模式 
-c             #断点续传 
-P /path       #保存在指定目录 
-O filename    #保存为指定文件名，filename 为 – 时，发送至标准输出 
--limit-rate=  #指定传输速率，单位K，M等

5.3 curl工具

curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP, FTPS, HTTP, HTTPS, GOPHER,TELNET, DICT, FILE及LDAP等协议。curl支持HTTPS认证，并且支持HTTP的POST、PUT等方法， FTP上传， kerberos认证，HTTP上传，代理服务器，cookies，用户名/密码认证，下载文件断点续传，上载文件断点续传, http代理服务器管道（ proxy tunneling），还支持IPv6，socks5代理服务器，通过http代理服务器上传文件到FTP服务器等，功能十分强大

格式：
```
curl [options] [URL...]
```

常见选项：

-A/--user-agent            		#设置用户代理发送给服务器 
-e/--referer               		#来源网址 
--cacert                   		#CA证书 (SSL) 
-k/--insecure              		#允许忽略证书进行 SSL 连接
--compressed               		#要求返回是压缩的格式 
-H/--header                		#自定义首部信息传递给服务器 
-i                         		#显示页面内容，包括报文首部信息 
-I/--head                  		#只显示响应报文首部信息 
-D/--dump-header           		#将url的header信息存放在指定文件中 
--basic                    		#使用HTTP基本认证 
-u/--user user[:password]  		#设置服务器的用户和密码 
-L      				   		#如果有3xx响应码，重新发请求到新位置 
-O 						   		#使用URL中默认的文件名保存文件到本地 
-o 						   		#将网络文件保存为指定的文件中 
--limit-rate 			   		#设置传输速度 
-0/--http1.0 			   		#数字0，使用HTTP 1.0 
-v/--verbose 			   		#更详细 
-C 						   		#选项可对文件使用断点续传功能 
-c/--cookie-jar 		   		#将url中cookie存放在指定文件中 
-x/--proxy proxyhost[:port]		#指定代理服务器地址 
-X/--request 			   		#向服务器发送指定请求方法 
-U/--proxy-user user:password   #代理服务器用户和密码 
-T 								#选项可将指定的本地文件上传到FTP服务器上 
--data/-d 						#方式指定使用POST方式传递数据 
-b name=data 					#从服务器响应setcookie得到值，返回给服务器

5.4 httpie

HTTPie 工具是现代的 HTTP 命令行客户端，它能通过命令行界面与 Web 服务进行交互。它提供一个简单的 http 命令，允许使用简单而自然的语法发送任意的 HTTP 请求，并会显示彩色的输出
HTTPie 能用于测试、调试及与 HTTP 服务器交互。
主要特点：
- 具表达力的和直观语法
- 格式化的及彩色化的终端输出
- 内置 JSON 支持
- 表单和文件上传
- HTTPS、代理和认证任意请求数据
- 自定义头部
- 持久化会话
- 类似 wget 的下载
- 支持 Python 2.7 和 3.x
官方网站：https://httpie.org
安装：基于EPEL（CentOS 7）
```
yum install httpie
```

范例：查看帮助

[root@centos7 ~]#http --help
usage: http [--json] [--form] [--pretty {all,colors,format,none}]
            [--style STYLE] [--print WHAT] [--headers] [--body] [--verbose]
            [--all] [--history-print WHAT] [--stream] [--output FILE]
            [--download] [--continue]
            [--session SESSION_NAME_OR_PATH | --session-read-only SESSION_NAME_OR_PATH]
            [--auth USER[:PASS]] [--auth-type {basic,digest}]
            [--proxy PROTOCOL:PROXY_URL] [--follow]
            [--max-redirects MAX_REDIRECTS] [--timeout SECONDS]
            [--check-status] [--verify VERIFY]
            [--ssl {ssl2.3,ssl3,tls1,tls1.1,tls1.2}] [--cert CERT]
            [--cert-key CERT_KEY] [--ignore-stdin] [--help] [--version]
            [--traceback] [--debug]
            [METHOD] URL [REQUEST_ITEM [REQUEST_ITEM ...]]

范例：

# 显示信息（包含响应头200）
http www.magedu.com

# 显示详细的请求（包含请求和返回头200）
http -v www.magedu.com

# 只显示Header
http -h www.magedu.com
http --head www.magedu.com
http --header www.magedu.com
http --headers www.magedu.com

# 只显示Body
http -b www.magedu.com
http --body magedu.com

# 下载文件
http -d www.magedu.com

# 模拟提交表单
http -f POST www.magedu.com username='wang'

# 请求删除的方法
http DELETE www.magedu.com

# 传递JSON数据请求(默认就是JSON数据请求)
http PUT www.magedu.com username='wang' password='magedu'

# 如果JSON数据存在不是字符串则用:=分隔，例如
http PUT www.magedu.com username='wang' password='magedu' age:=30 a:=true 
streets:='["a", "b"]'

# 模拟Form的Post请求, Content-Type: application/x-www-form-urlencoded;
charset=utf-8
http --form POST www.magedu.com username='wang'

# 模拟Form的上传, Content-Type: multipart/form-data
http -f POST www.magedu.com/jobs username='wang' file@~/test.pdf

# 修改请求头, 使用:分隔
http www.magedu.com User-Agent:magedu-agent/1.0 'Cookie:a=b;b=c'
Referer:http://www.google.com/

# 认证
http -a username:password www.magedu.com
http -A basic -a username:password www.magedu.com

# 使用http代理
http --proxy=http:http://172.16.0.100:8081 proxy.magedu.com
http --proxy=http:http://user:[email protected]:8081 proxy.magedu.com
http --proxy=https:http://172.16.0.100:8118 proxy.magedu.com
http --proxy=https:http://user:[email protected]:8118 proxy.magedu.com

范例：查看信息及响应头

[root@centos7 ~]#http 192.168.8.8/test.html
HTTP/1.1 200 OK
Accept-Ranges: bytes
Connection: Keep-Alive
Content-Length: 30
Content-Type: text/html; charset=UTF-8
Date: Thu, 07 Nov 2019 09:09:34 GMT
ETag: "1e-596be05bc9a34"
Keep-Alive: timeout=5, max=100
Last-Modified: Thu, 07 Nov 2019 09:09:27 GMT
Server: Apache/2.4.37 (centos)

马哥教育

范例：查看请示和响应头部及信息

[root@centos7 ~]#http -v 192.168.8.8/test.html
GET /test.html HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Host: 192.168.8.8
User-Agent: HTTPie/0.9.4


HTTP/1.1 200 OK
Accept-Ranges: bytes
Connection: Keep-Alive
Content-Length: 30
Content-Type: text/html; charset=UTF-8
Date: Thu, 07 Nov 2019 09:09:39 GMT
ETag: "1e-596be05bc9a34"
Keep-Alive: timeout=5, max=100
Last-Modified: Thu, 07 Nov 2019 09:09:27 GMT
Server: Apache/2.4.37 (centos)

马哥教育

范例：查看响应报文头部

[root@centos7 ~]#http HEAD http://www.magedu.com
HTTP/1.1 200 OK
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html; charset=UTF-8
Date: Thu, 07 Nov 2019 08:09:49 GMT
Link: ; rel="https://api.w.org/"
Link: ; rel=shortlink
Server: Tengine
Vary: Accept-Encoding
Vary: Accept-Encoding, Cookie

范例：查看请求和响应报文头部

[root@centos7 ~]#http -p Hh http://www.magedu.com
GET / HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Host: www.magedu.com
User-Agent: HTTPie/0.9.4
HTTP/1.1 200 OK
Cache-Control: max-age=3, must-revalidate
Connection: keep-alive
Content-Encoding: gzip
Content-Type: text/html; charset=UTF-8
Date: Thu, 07 Nov 2019 03:44:14 GMT
Server: Tengine
Transfer-Encoding: chunked
Vary: Accept-Encoding
Vary: Accept-Encoding, Cookie

范例：指定请求头部的首部字段

[root@centos7 ~]#http -p H http://www.magedu.com User-Agent:wangtest
Referer:http://www.baidu.com
GET / HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Host: www.magedu.com
Referer: http://www.baidu.com
User-Agent: wangtest

范例：下载资源

#方法1
[root@centos7 ~]#http http://www.magedu.com/wpcontent/uploads/2018/12/2018122312035677.png > logo.png

#方法2
[root@centos7 ~]#file logo.png
logo.png: PNG image data, 411 x 127, 8-bit/color RGBA, non-interlaced
[root@centos7 ~]#http --download http://www.magedu.com/wpcontent/uploads/2018/12/2018122312035677.png
HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: max-age=604800
Connection: keep-alive
Content-Length: 8983
Content-Type: image/png
Date: Thu, 07 Nov 2019 08:20:44 GMT
ETag: "5c1f79ac-2317"
Expires: Thu, 14 Nov 2019 08:20:44 GMT
Last-Modified: Sun, 23 Dec 2018 12:03:56 GMT
Server: Tengine
Vary: Accept-Encoding

Downloading 8.77 kB to "2018122312035677.png"
Done. 8.77 kB in 0.00091s (9.46 MB/s)

范例：用POST方法提交json格式的数据
```
[root@centos7 ~]#http http://www.magedu.com user=wang password=magedu
```
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iKNB1Fp5-1576071307363)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210183235675.png)]
范例：用POST方法，指交表单数据
```
[root@centos7 ~]#http -f POST http://www.magedu.com user=wang password=magedu
```
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dQjz9lEf-1576071307363)(%E6%88%AA%E5%9B%BE/2019%E5%B9%B411%E6%9C%8821%E6%97%A5/image-20191210183314193.png)]

5.5 压力测试工具

httpd的压力测试工具：
- ab, webbench, http_load, seige
- Jmeter 开源
- Loadrunner 商业，有相关认证
- tcpcopy：网易，复制生产环境中的真实请求，并将之保存
ab 来自httpd-tools包
命令格式
```
ab [OPTIONS] URL
```

常见选项：

 -n： #总请求数 
 -c： #模拟的并发数 
 -k： #以持久连接模式测试
说明：并发数高于1024时，需要用 ulimit –n # 调整能打开的文件数

5.6 httpd自带的工具程序

htpasswd：basic认证基于文件实现时，用到的账号密码文件生成工具 apachectl：httpd自带的服务控制脚本，支持start和stop rotatelogs：日志滚动工具 access.log --> access.log, access.1.log -->access.log, acccess.1.log, access.2.log

6 练习

1、建立httpd服务器，要求提供两个基于名称的虚拟主机: (1)www.X.com，页面文件目录为/web/vhosts/x；错误日志为/var/log/httpd/x.err，访问日志为/var/log/httpd/x.access (2)www.Y.com，页面文件目录为/web/vhosts/y；错误日志为/var/log/httpd/www2.err，访问日志为/var/log/httpd/y.access (3)为两个虚拟主机建立各自的主页文件index.html，内容分别为其对应的主机名 (4)通过www.X.com/server-status输出httpd工作状态相关信息

2、为上面的第2个虚拟主机提供https服务，使得用户可以通过https安全的访问此web站点 (1)要求使用证书认证，证书中要求使用的国家(CN)、州(Beijing)、城市(Beijing)和组织(MageEdu) (2)设置部门为Ops，主机名为www.Y.com，邮件为[email protected]

3、建立httpd服务，要求： (1) 提供两个基于名称的虚拟主机： www.a.com 页面文件目录为/web/vhosts/www1 错误日志为/var/log/httpd/www1/error_log 访问日志为/var/log/httpd/www1/access_log www.b.com 页面文件目录为/web/vhosts/www2 错误日志为/var/log/httpd/www2/error_log 访问日/var/log/httpd/www2/access_log
(2) 通过www.a.com/server-status输出其状态信息，且要求只允许提供账号的用户访问 (3) www.a.com不允许192.168.1.0/24网络中的主机访问

deflate
Connection: keep-alive
Host: www.magedu.com
Referer: http://www.baidu.com
User-Agent: wangtest


- ##### 范例：下载资源  

```ini
#方法1
[root@centos7 ~]#http http://www.magedu.com/wpcontent/uploads/2018/12/2018122312035677.png > logo.png

#方法2
[root@centos7 ~]#file logo.png
logo.png: PNG image data, 411 x 127, 8-bit/color RGBA, non-interlaced
[root@centos7 ~]#http --download http://www.magedu.com/wpcontent/uploads/2018/12/2018122312035677.png
HTTP/1.1 200 OK
Accept-Ranges: bytes
Cache-Control: max-age=604800
Connection: keep-alive
Content-Length: 8983
Content-Type: image/png
Date: Thu, 07 Nov 2019 08:20:44 GMT
ETag: "5c1f79ac-2317"
Expires: Thu, 14 Nov 2019 08:20:44 GMT
Last-Modified: Sun, 23 Dec 2018 12:03:56 GMT
Server: Tengine
Vary: Accept-Encoding

Downloading 8.77 kB to "2018122312035677.png"
Done. 8.77 kB in 0.00091s (9.46 MB/s)

范例：用POST方法提交json格式的数据
```
[root@centos7 ~]#http http://www.magedu.com user=wang password=magedu
```
[外链图片转存中…(img-iKNB1Fp5-1576071307363)]
范例：用POST方法，指交表单数据
```
[root@centos7 ~]#http -f POST http://www.magedu.com user=wang password=magedu
```
[外链图片转存中…(img-dQjz9lEf-1576071307363)]

5.5 压力测试工具

httpd的压力测试工具：
- ab, webbench, http_load, seige
- Jmeter 开源
- Loadrunner 商业，有相关认证
- tcpcopy：网易，复制生产环境中的真实请求，并将之保存
ab 来自httpd-tools包
命令格式
```
ab [OPTIONS] URL
```

常见选项：

 -n： #总请求数 
 -c： #模拟的并发数 
 -k： #以持久连接模式测试
说明：并发数高于1024时，需要用 ulimit –n # 调整能打开的文件数

5.6 httpd自带的工具程序

htpasswd：basic认证基于文件实现时，用到的账号密码文件生成工具 apachectl：httpd自带的服务控制脚本，支持start和stop rotatelogs：日志滚动工具 access.log --> access.log, access.1.log -->access.log, acccess.1.log, access.2.log

6 练习

4、为上面的第2个虚拟主机提供https服务，使得用户可以通过https安全的访问此web站点 (1) 要求使用证书认证，证书中要求使用国家（CN），省份（Beijing），城市（Beijing），组织为(MageEdu) (2)设置部门为Ops, 主机名为www.b.com

25.HTTP协议和WEB服务器APACHE

HTTP协议和WEB服务器APACHE

本章内容

Internet

http协议

Httpd介绍和安装

Httpd配置

http报文格式

1 Internet和HTTP协议

1.1 Internet 因特网

1.2 Internet 和中国

1.3 跨网络的主机间通讯

Socket套接字

Socket API

客户/服务器程序的套接字函数

套接字相关的系统调用：

范例：Socket通信Python 3.6实现

1.4 HTTP 超文本传输协议

1.4.1 浏览器访问网站的过程

1.4.2 HTTP协议通信过程

HTTP服务通信过程

HTTP协议分层

1.4.3 HTTP相关技术和术语

1.4.3.1 WEB开发语言

WEB前端开发语言：

html

范例：html 语言

欢迎

CSS

范例 ：CSS

这是 heading 1

Js

范例：javascript

MIME：

范例：

1.4.3.2 URI和URL

URL组成

URL示例

1.4.3.3 网站访问量

网站访问量统计的重要指标

范例：网站访问统计

网站访问量

1.4.4 HTTP工作机制

资源类型：

HTTP连接请求

串行和并行连接

串行,持久连接和管道

提高HTTP连接性能

1.4.5 HTTP协议版本

http/0.9：

http/1.0

http/1.1

HTTP1.0和HTTP1.1的区别

HTTP1.0和1.1的问题

HTTPS特点

SPDY协议

HTTP2协议

HTTP2.0和SPDY区别：

1.4.6 HTTP 请求访问的完整过程

2 httpd 安装和组成

2.1 常见http服务器程序

HTTP服务器市场占有率统计： http://www.netcraft.com

2.2 apache介绍和特点

2.2.1 apache 介绍

apache特性：

apache 功能：

httpd-2.4新特性

2.2.2 MPM multi-processing module 工作模式

2.3 Httpd 安装和相关文件

2.3.1 rpm包安装httpd并启动httpd服务

范例：安装httpd 2.4

2.3.2 httpd-2.4 相关文件

配置文件：

检查配置语法：httpd –t

服务单元文件：

服务控制和启动

站点网页文档根目录：/var/www/html

模块文件路径：

主服务器程序文件： /usr/sbin/httpd 主进程文件： /etc/httpd/run/httpd.pid

日志文件目录：/var/log/httpd

范例：CSS