Linux服务篇--http协议和Apache
本章概要
- SOCKET概念
- http协议
- Httpd介绍
- Httpd2.2配置
- Httpd2.4配置
- 编译安装httpd
跨网络的主机间通讯
- 在建立通信连接的每一端，进程间的传输要有两个标志：
IP地址和端口号，合称为套接字地址socket address
客户机套接字地址定义了一个唯一的客户进程
服务器套接字地址定义了一个唯一的服务器进程
1、Socket概念
Socket套接字
- Socket:套接字，进程间通信IPC的一种实现，允许位于不同主机（或同一主机）上不同进程之间进行通信和数据交换，SocketAPI出现于1983年，4.2 BSD实现
- Socket API：封装了内核中所提供的socket通信相关的系统调用
- Socket Domain：根据其所使用的地址
AF_INET：Address Family，IPv4
AF_INET6：IPv6
AF_UNIX：同一主机上不同进程之间通信时使用 - Socket Type：根据使用的传输层协议
SOCK_STREAM：流，tcp套接字，可靠地传递、面向连接
SOCK_DGRAM：数据报，udp套接字，不可靠地传递、无连接
SOCK_RAW: 裸套接字,无须tcp或udp,APP直接通过IP包通信
客户/服务器程序的套接字函数
系统调用
- 套接字相关的系统调用：
socket(): 创建一个套接字
bind()：绑定IP和端口
listen()：监听
accept()：接收请求
connect()：请求连接建立
write()：发送
read()：接收
close():关闭连接
2、http协议
HTTP服务通信过程
HTTP相关术语
- http: Hyper Text Transfer Protocol, 80/tcp
- html: Hyper Text Markup Language 超文本标记语言，编程语言
- 示例：
html语言 #title是指表头,即网页会话框的标题
#调用马哥网站logo(属于盗链行为)
你好
#h1是指一级标题
马哥教育欢迎你
#"马哥教育"四个字为超链接
- CSS: Cascading Style Sheet 层叠样式表
统一的网页文件标准，每个网页文件调用此文件标准即可生成一致的网页文件，无需每个文件都自定义文件格式，此标准只对静态资源有效 - js: javascript
对动态资源有效，注意：javascript和java没有任何关系 - MIME：Multipurpose Internet Mail Extensions
多用途互联网邮件扩展/etc/mime.types
该协议用以传输除文本格式外的其他格式的数据(如图片，音乐，视频等) - 格式：
major/minor
text/plain
text/html
text/css
image/jpeg
image/png
video/mp4
application/javascript - 参考：http://www.w3school.com.cn/media/media_mimeref.asp
HTTP协议介绍
- http/0.9：1991，原型版本，功能简陋，只有一个命令GET。GET /index.html ,服务器只能回应HTML格式字符串，不能回应别的格式
- http/1.0: 1996年5月,支持cache, MIME, method
每个TCP连接只能发送一个请求，发送数据完毕，连接就关闭，如果还要请求其他资源，就必须再新建一个连接
引入了POST命令和HEAD命令
头信息是ASCII 码，后面数据可为任何格式。服务器回应时会告诉客户端，数据是什么格式，即Content-Type字段的作用。这些数据类型总称为MIME 多用途互联网邮件扩展，每个值包括一级类型和二级类型，预定义的类型，也可自定义类型, 常见Content-Type值：text/xml image/jpeg audio/mp3 - http/1.1：1997年1月
引入了持久连接（persistent connection），即TCP连接默认不关闭，可以被多个请求复用，不用声明Connection: keep-alive。对于同一个域名，大多数浏览器允许同时建立6个持久连接
引入了管道机制（pipelining），即在同一个TCP连接里，客户端可以同时发送多个请求，进一步改进了HTTP协议的效率
新增方法：PUT、PATCH、OPTIONS、DELETE
同一个TCP连接里，所有的数据通信是按次序进行的。服务器只能顺序处理回应，前面的回应慢，会有许多请求排队，造成"队头堵塞"（Head-of-line blocking）
为避免上述问题，两种方法：一是减少请求数，二是同时多开持久连接。网页优化技巧，如合并脚本和样式表、将图片嵌入CSS代码、域名分片（domain sharding）等
HTTP协议不带有状态，每次请求都必须附上所有信息。请求的很多字段都是重复的，浪费带宽，影响速度 - Spdy：2009年,谷歌研发,解决HTTP/1.1 效率不高问题
- http/2.0：2015年
头信息和数据体都是二进制，称为头信息帧和数据帧
复用TCP连接，在一个连接里，客户端和浏览器都可以同时发送多个请求或回应，且不用按顺序一一对应，避免了“队头堵塞“,此双向的实时通信称为多工（Multiplexing）
引入头信息压缩机制（header compression）,头信息使用gzip或compress压缩后再发送；客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，不发送同样字段，只发送索引号，提高速度
HTTP/2 允许服务器未经请求，主动向客户端发送资源，即服务器推送（server push）
HTTP工作机制
- 工作机制：
http请求：http request
http响应：http response
一次http事务：请求<–>响应 - Web资源：web resource
一个网页由多个资源构成，打开一个页面，会有多个资源展示出来，但是每个资源都要单独请求。因此，一个“Web 页面”通常并不是单个资源，而是一组资源的集合
静态文件：无需服务端做出额外处理
文件后缀：.html, .txt, .jpg, .js, .css, .mp3, .avi
动态文件：服务端执行程序，返回执行的结果
文件后缀：.php, .jsp,.asp - 提高HTTP连接性能
并行连接：通过多条TCP连接发起并发的HTTP请求
持久连接：keep-alive,长连接，重用TCP连接，以消除连接和关闭的时延,以事务个数和时间来决定是否关闭连接
管道化连接：通过共享TCP连接发起并发的HTTP请求
复用的连接：交替传送请求和响应报文（实验阶段）
HTTP连接请求
串行和并行连接
串行、持久连接和管道
URI
- URI: Uniform Resource Identifier 统一资源标识，分为URL和URN
URN: Uniform Resource Naming，统一资源命名
示例：P2P下载使用的磁力链接是URN的一种实现
magnet:?xt=urn:btih:660557A6890EF888666
URL: Uniform ResorceLocator，统一资源定位符，用于描述某服务器某特定资源位置
两者区别：URN如同一个人的名称，而URL代表一个人的住址。换言之，URN定义某事物的身份，而URL提供查找该事物的方法。URN仅用于命名，而不指定地址
URL组成
:// : @ : / ; ? # - scheme:方案，访问服务器以获取资源时要使用哪种协议
- user:用户，某些方案访问资源时需要的用户名
- password:密码，用户对应的密码，中间用：分隔
- Host:主机，资源宿主服务器的主机名或IP地址
- port:端口,资源宿主服务器正在监听的端口号，很多方案有默认端口号
- path:路径,服务器资源的本地名，由一个/将其与前面的URL组件分隔
- params:参数，指定输入的参数，参数为名/值对，多个参数，用;分隔
- query:查询，传递参数给程序，如数据库，用？分隔,多个查询用&分隔
- frag:片段,一小片或一部分资源的名字，此组件在客户端使用，用#分隔
- 示例：
http://www.magedu.com:8080/images/logo.jpg
ftp://mage:[email protected]/pub/linux.ppt
rtsp://videoserver/video_demo/
Real Time Streaming Protocol
http://www.magedu.com/bbs/hello;gender=f/send;type=title
https://list.jd.com/list.html?cat=670,671,672&ev=149_2992&sort=sort_totalsales15_desc&trans=1
http://apache.org/index.html#projects-list
网站访问量
- IP(独立IP)：即Internet Protocol,指独立IP数。一天内来自相同客户机IP地址只计算一次，记录远程客户机IP地址的计算机访问网站的次数，是衡量网站流量的重要指标
注意：一个局域网连接外网只有一个公网ip地址，即一个出口，那么该局域网内所有设备网站访问量只算做一个ip地址的访问量，因此只根据ip地址判断并不准确 - PV(访问量)：即Page View, 页面浏览量或点击量，用户每次刷新即被计算一次，PV反映的是浏览某网站的页面数，PV与来访者的数量成正比，PV并不是页面的来访者数量，而是网站被访问的页面数量
- UV(独立访客)：即Unique Visitor,访问网站的一台电脑为一个访客。一天内相同的客户端只被计算一次。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的
- 网站统计：http://www.alexa.cn/rank/
- 网站访问统计示例：
示例：
甲乙丙三人在同一台通过ADSL上网的电脑上（中间没有断网），分别访问www.magedu.com网站，并且每人各浏览了2个页面，那么网站的流量统计是：
IP:1 PV:6 UV：1
若三人都是ADSL重新拨号后,各浏览了2个页面，则
IP:3 PV:6 UV：1
- QPS：request per second，每秒请求数
- PV，QPS,并发连接数换算公式
QPS= PV* 页⾯衍⽣连接次数/ 统计时间（86400）
并发连接数=QPS* http平均响应时间 - 峰值时间：每天80%的访问集中在20%的时间里，这20%时间为峰值时间
- 峰值时间每秒请求数(QPS)=( 总PV数*页⾯衍⽣连接次数）*80% ) / ( 每天秒数* 20% )
Web服务请求处理步骤
一次完整的http请求处理过程
- 1、建立连接：接收或拒绝连接请求
- 2、接收请求：接收客户端请求报文中对某资源的一次请求的过程
- Web访问响应模型（Web I/O）
单进程I/O模型：启动一个进程处理用户请求，而且一次只处理一个，多个请求被串行响应
多进程I/O模型：并行启动多个进程,每个进程响应一个连接请求
复用I/O结构：启动一个进程，同时响应N个连接请求
实现方法：多线程模型和事件驱动
多线程模型：一个进程生成N个线程，每线程响应一个连接请求
事件驱动：一个进程处理N个请求
复用的多进程I/O模型：启动M个进程，每个进程响应N个连接请求，同时接收M*N个请求
- 3、处理请求：服务器对请求报文进行解析，并获取请求的资源及请求方法等相关信息，根据方法，资源，首部和可选的主体部分对请求进行处理
元数据：请求报文首部
HEADERS格式 name:value
示例：
Host: www.magedu.com 请求的主机名称
Server: Apache/2.4.7
HTTP常用请求方式，Method
GET、POST、HEAD、PUT、DELETE、TRACE、OPTIONS - 4、访问资源：
服务器获取请求报文中请求的资源web服务器，即存放了web资源的服务器，负责向请求者提供对方请求的静态资源，或动态运行后生成的资源
资源放置于本地文件系统特定的路径：DocRoot
DocRoot -> /var/www/html
/var/www/html/images/logo.jpg
http://www.magedu.com/images/logo.jpg
web服务器资源路径映射方式：
(a) docroot
(b) alias
© 虚拟主机docroot
(d) 用户家目录docroot - 5、构建响应报文：
一旦Web服务器识别除了资源，就执行请求方法中描述的动作，并返回响应报文。响应报文中包含有响应状态码、响应首部，如果生成了响应主体的话，还包括响应主体
1）响应实体：如果事务处理产生了响应主体，就将内容放在响应报文中回送过去。响应报文中通常包括：
描述了响应主体MIME类型的Content-Type首部
描述了响应主体长度的Content-Length
实际报文的主体内容
2）URL重定向：web服务构建的响应并非客户端请求的资源，而是资源另外一个访问路径
永久重定向：http://www.360buy.com
临时重定向：http://www.taobao.com
3）MIME类型：
Web服务器要负责确定响应主体的MIME类型。多种配置服务器的方法可将MIME类型与资源管理起来
魔法分类：Apache web服务器可以扫描每个资源的内容，并将其与一个已知模式表(被称为魔法文件)进行匹配，以决定每个文件的MIME类型。这样做可能比较慢，但很方便，尤其是文件没有标准扩展名时
显式分类：可以对Web服务器进行配置，使其不考虑文件的扩展名或内容，强制特定文件或目录内容拥有某个MIME类型
类型协商：有些Web服务器经过配置，可以以多种文档格式来存储资源。在这种情况下，可以配置Web服务器，使其可以通过与用户的协商来决定使用哪种格式(及相关的MIME类型)“最好” - 6、发送响应报文
Web服务器通过连接发送数据时也会面临与接收数据一样的问题。服务器可能有很多条到各个客户端的连接，有些是空闲的，有些在向服务器发送数据，还有一些在向客户端回送响应数据。服务器要记录连接的状态，还要特别注意对持久连接的处理。对非持久连接而言，服务器应该在发送了整条报文之后，关闭自己这一端的连接。对持久连接来说，连接可能仍保持打开状态，在这种情况下，服务器要正确地计算Content-Length首部，不然客户端就无法知道响应什么时候结束了 - 7、记录日志
最后，当事务结束时，Web服务器会在日志文件中添加一个条目，来描述已执行的事务
HTTP服务器应用
- http服务器程序
httpdapache
nginx
lighttpd - 应用程序服务器
IIS .asp
tomcat .jsp
jetty 开源的servlet容器，基于Java的web容器
Resin CAUCHO公司，支持servlets和jsp的引擎
webshpere(IBM), weblogic(BEA), jboss,oc4j(Oracle) - 市场占有率统计
www.netcraft.com
3、Httpd介绍
- httpd
20世纪90年代初，国家超级计算机应用中心NCSA开发
1995年开源社区发布apache（a patchy server）
ASF: apache software foundation
FSF：Free Software Foundation - 特性：
高度模块化：core + modules
DSO: Dynamic Shared Object 动态加/卸载
MPM：multi-processing module多路处理模块
MPM工作模式
- prefork：多进程I/O模型，每个进程响应一个请求，默认模型
一个主进程：生成和回收n个子进程，创建套接字，不响应请求
多个子进程：工作work进程，每个子进程处理一个请求；系统初始时，预先生成多个空闲进程，等待请求，最大不超过1024个 - worker：复用的多进程I/O模型,多进程多线程，IIS使用此模型
一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n - event：事件驱动模型（worker模型的变种）
一个主进程：生成m个子进程，每个进程直接响应n个请求，并发响应请求：m*n，有专门的线程来管理这些keep-alive类型的线程，当有真实请求时，将请求传递给服务线程，执行完毕后，又允许释放。这样增强了高并发场景下的请求处理能力
httpd-2.2: event测试版，centos6默认
httpd-2.4：event稳定版，centos7默认
prefork MPM
worker MPM
event MPM
进程角色
httpd功能特性
- 虚拟主机
IP、Port、FQDN - CGI：Common Gateway Interface，通用网关接口
- 反向代理
- 负载均衡
- 路径别名
- 丰富的用户认证机制
basic
digest - 支持第三方模块
httpd安装
- 版本:CentOS6: 2.2
CentOS 7: 2.4 - 安装方式：
rpm：centos发行版，稳定，建议使用
编译：定制或特殊需求 - CentOS 6程序环境：httpd-2.2
配置文件：
/etc/httpd/conf/httpd.conf
/etc/httpd/conf.d/*.conf
检查配置语法：
httpd–t
service httpd configtest
知识延伸：
检查时会出现以下提示信息：
[root@centos7 conf]# httpd -t
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using fe80::ebd4:a16:9cb3:31f1. Set the 'ServerName' directive globally to suppress this message
Syntax OK
如何去掉AH00558提示：需要在配置文件中设置网站名称
vim /etc/httpd/conf/httpd.conf
ServerName www.magedu.com:80 只在本地设置网站名称，别人无法通过在名称访问本主机，要想访问，需要配置dns，把想要访问该网站的dns指向该地址即可
CentOS 6 httpd程序环境
- 服务脚本：/etc/rc.d/init.d/httpd
脚本配置文件：/etc/sysconfig/httpd - 服务控制和启动：
chkconfig httpd on|off
service {start|stop|restart|status|configtest|reload} httpd - 站点网页文档根目录：
/var/www/html - 模块文件路径：
/etc/httpd/modules
/usr/lib64/httpd/modules - 主程序文件：
/usr/sbin/httpd
/usr/sbin/httpd.worker
/usr/sbin/httpd.event - 主进程文件：
/etc/httpd/run/httpd.pid - 日志文件目录：
/var/log/httpd
access_log: 访问日志
error_log：错误日志 - 帮助文档包：
httpd-manual
4、Httpd2.2配置
Httpd 2.2常见配置
- httpd配置文件的组成：
- # grep “Section” /etc/httpd/conf/httpd.conf
### Section 1: Global Environment
### Section 2: ‘Main’ server configuration
### Section 3: Virtual Hosts - 配置格式：directive value
directive: 不区分字符大小写
value: 为路径时，是否区分大小写，取决于文件系统 - 1、显示服务器版本信息ServerTokens Major|Minor|Min[imal]|Prod[uctOnly]|OS|Full
ServerTokens Prod[uctOnly] ：Server: Apache
ServerTokens Major: Server: Apache/2
ServerTokens Minor: Server: Apache/2.0
ServerTokens Min[imal]: Server: Apache/2.0.41
ServerTokens OS: Server: Apache/2.0.41 (Unix)
ServerTokens Full (or not specified): Server: Apache/2.0.41 (Unix) PHP/4.2.2 MyMod/1.2
This setting applies to the entire server and cannot be enabled or disabled on a virtualhost-by-virtualhostbasis.
After version 2.0.44, this directive also controls the information presented by the ServerSignaturedirective.
建议使用：ServerTokens Prod
知识延伸：
隐藏httpd服务版本
vim /etc/httpd/conf.d/test.conf 子配置文件
ServerTokens Prod
重启服务
systemctl restart httpd
查看浏览详细信息
curl -I www.magedu.com
grep -v "^[ ]*#" /etc/httpd/conf/httpd.conf 过滤掉注释信息
- 2、修改监听的IP和Port
Listen [IP:]PORT
(1) 省略IP表示为本机所有IP
(2) Listen指令至少一个，可重复出现多次
Listen 80
Listen 8080
示例：
Listen 192.168.1.100:8080
Lsten80 - 3、持久连接
Persistent Connection：连接建立，每个资源获取完成后不会断开连接，而是继续等待其它的请求完成，默认关闭持久连接
断开条件：
1）数量限制：100
2）时间限制：以秒为单位，httpd-2.4 支持毫秒级
副作用：对并发访问量较大的服务器，持久连接会使有些请求得不到响应
折衷：使用较短的持久连接时间
设置：KeepAlive On|Off
KeepAliveTimeou t15
MaxKeepAliveRequests 100
测试：telnet WEB_SERVER_IP PORT
GET /URL HTTP/1.1
Host: WEB_SERVER_IP - 4、MPM（Multi-Processing Module）多路处理模块
prefork, worker, event（试验阶段）
httpd-2.2不支持同时编译多个模块，所以只能编译时选定一个；rpm安装的包提供三个二进制程序文件，分别用于实现对不同MPM机制的支持
确认方法：
ps -aux | grep httpd
默认为/usr/sbin/httpd, 即prefork模式 - 查看模块列表
查看静态编译的模块
httpd -l
查看静态编译及动态装载的模块
httpd –M
动态模块加载：不需重启即生效
动态模块路径
/usr/lib64/httpd/modules/
更换使用的httpd进程I/O模型：
/etc/sysconfig/httpd
HTTPD=/usr/sbin/httpd.worker
重启服务生效
pstree -p|grep httpd 查看进程和线程
Httpd2.4与之不同
以动态模块方式提供
配置文件：/etc/httpd/conf.modules.d/00-mpm.conf
httpd –M |grep mpm
重启服务生效
pstree -p|grep httpd 查看进程和线程
prefork的默认配置：
StartServers 8
MinSpareServers 5
MaxSpareServers 20
ServerLimit 256 #最多进程数,最大20000
MaxClients 256 #最大并发
MaxRequestsPerChild 4000 #子进程最多能处理的请求数量。
#在处理MaxRequestsPerChild个请求之后,子进程将会被父进程终止，这时候子进程占用的内存就会释放(为0时永远不释放）
worker的默认配置：
StartServers 4
MaxClients 300
MinSpareThreads 25
MaxSpareThreads 75
ThreadsPerChild 25
MaxRequestsPerChild 0 #无限制
注意：该模式最多默认存在4个子进程100个线程，但最大空闲线程为75，因此该模式下，刚启动为4个子进程，但等待一段时间后，会自动杀掉一个子进程，变为3个子进程
知识扩展：
系统默认为prefork模式
更改模式：更改/etc/sysconfig/httpd文件
vim /etc/sysconfig/httpd
HTTPD=/usr/sbin/httpd.worker 取消该行前的注释符号
重启服务
service httpd restart
- 5、DSO：Dynamic Shared Object
加载动态模块配置
/etc/httpd/conf/httpd.conf
配置指定实现模块加载格式：
LoadModule
模块文件路径可使用相对路径：
相对于ServerRoot路径（默认为/etc/httpd）
示例：
LoadModuleauth_basic_module modules/mod_auth_basic.so
- 6、定义’Main’ server的文档页面路径
DocumentRoot “/path”
文档路径映射：
DocumentRoot指向的路径为URL路径的起始位置
示例：
DocumentRoot"/app/data"
即http://HOST:PORT/test/index.html --> /app/data/test/index.html
注意：SELinux和iptables的状态
注意：
网页文件名称index.html为默认显示的网页文件，访问网页时默认省略不写，如果网页文件为其他名称如：test.html,m.html，必须指定文件名称才能显示
如：http://192.168.32.130 实际上为http://192.168.32.130/index.html，index.html默认省略不写
但如果网页文件为test.html，访问时必须写为http://192.168.32.130/test.html才能访问
- 7、定义站点主页面
Directory Index index.html index.html.var - 8、站点访问控制常见机制
可基于两种机制指明对哪些资源进行何种访问控制
访问控制机制有两种：客户端来源地址，用户账号
文件系统路径：
...
#单个文件控制
...
#使用正则表达式控制
...
URL路径：
...
...
示例1：
#使用通配符匹配
示例2：
网站主目录/data/website/下有/admin和/blog两个目录，如果只允许130主机访问/blog目录，而不允许访问/admin目录
Require all denied
Require ip 192.168.32.130 #只允许130主机访问/admin目录
注意：以上为http2.4版本的用法
权限控制
注意：要注意RequireAll和RequireAny的区别
不能有失败，至少有一个成功匹配才成功，即失败优先
Require all granted
Require not ip 172.16.1.1 拒绝特定IP
多个语句有一个成功，则成功，即成功优先
Require all denied
require ip 172.16.1.1 允许特定IP
- 9、
中"基于源地址"实现访问控制
(1) Options：后跟1个或多个以空白字符分隔的选项列表
定义了当主页面不存在时，是否可以访问存放网页目录下的其他资源(文件索引，软链接等)
在选项前的+，-表示增加或删除指定选项
常见选项：
Indexes：指明的URL路径下不存在与定义的主页面资源相符的资源文件时，返回索引列表给用户
FollowSymLinks：允许访问符号链接文件所指向的源文件
None：全部禁用
All：全部允许
示例：
Options Indexes FollowSymLinks
Options FollowSymLinks
Options Indexes FollowSymLinks
Options +Includes -Indexes
(2) AllowOverride
与访问控制相关的哪些指令可以放在指定目录下的.htaccess（由AccessFileName指定）文件中，覆盖之前的配置指令
只对
AllowOverrideAll: .htaccess中所有指令都有效
AllowOverrideNone： .htaccess文件无效
AllowOverrideAuthConfigIndexes 除了AuthConfig和Indexes的其它指令都无法覆盖
(3) order和allow、deny
放在directory, .htaccess中
order：定义生效次序；写在后面的表示默认法则
Order allow,deny
Order deny,allow
Allow from和Deny from：定义客户端地址
客户端地址：
IP
网络:172.16
172.16.0.0
172.16.0.0/16
172.16.0.0/255.255.0.0
示例：
order deny,allow
deny from 172.16. 100.100
allow from 172.16
order allow,deny
deny from 172.16.100.100
allow from 172.16
- 10、日志设定
日志类型：
访问日志
错误日志
错误日志：
ErrorLog logs/error_log
LogLevel warn
LogLevel可选值: debug, info, notice, warn,error, crit, alert, emerg
访问日志：
定义日志格式：LogFormat format strings
LogFormat “%h %l %u %{%Y-%m-%d %H:%M:%S}t “%r” %>s %b “%{Referer}i” “%{User-Agent}i”” testlog
调用日志格式：
CustomLog logs/access_log testlog
参考帮助：http://httpd.apache.org/docs/2.2/mod/mod_log_config.html#formats
%h 客户端IP地址
%l 远程用户,启用mod_ident才有效，通常为减号"-"
%u 验证（basic，digest）远程用户,非登录访问时，为一个减号"-"
%t 服务器收到请求时的时间
%r First line of request，即表示请求报文的首行；记录了此次请求的"方法"，"URL"以及协议版本
%>s 响应状态码
%b 响应报文的大小，单位是字节；不包括响应报文http首部
%{Referer}i请求报文中首部“referer”的值；即从哪个页面中的超链接跳转至当前页面的
%{User-Agent}i请求报文中首部“User-Agent”的值；即发出请求的应用程序
知识扩展：
为了方便对日志进行过滤，更改日志时间格式为易读格式
%t 服务器收到请求的时间
更改时间格式 %{%Y-%m-%d %H:%M:%S}t
修改日志格式：
LogFormat "%h %l %u %{%Y-%m-%d %H:%M:%S}t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" testlog #自定义日志格式
CustomLog "logs/access_log" testlog #调用testlog日志格式在logs/access_log中写日志
- 11、设定默认字符集
AddDefaultCharset UTF-8 此为默认值
中文字符集：GBK, GB2312, GB18030 - 12、定义路径别名
格式：Alias /URL/ “/PATH/”
DocumentRoot “/www/htdocs”
http://www.magedu.com/download/bash.rpm
==>/www/htdocs/download/bash.rpm
Alias /download/ “/rpms/pub/”
http://www.magedu.com/download/bash.rpm
==>/rpms/pub/bash.rpm
http://www.magedu.com/images/logo.png
==>/www/htdocs/images/logo.png - 13、基于用户的访问控制
认证质询：WWW-Authenticate：响应码为401，拒绝客户端请求，并说明要求客户端提供账号和密码
认证：Authorization：客户端用户填入账号和密码后再次发送请求报文；认证通过时，则服务器发送响应的资源
认证方式两种：
basic：明文
digest：消息摘要认证,兼容性差
安全域：需要用户认证后方能访问的路径；应该通过名称对其进行标识，以便于告知用户认证的原因
用户的账号和密码
虚拟账号：仅用于访问某服务时用到的认证标识
存储：文本文件，SQL数据库，ldap目录存储，nis等
basic认证配置示例：
(1) 定义安全域
Options None
AllowOverride None
AuthType Basic 验证方式
AuthName "String" 验证时弹出对话框中的提示信息
AuthUserFile"/PATH/HTTPD_USER_PASSWD_FILE" 保存验证用户名密码文件的路径
Require user username1 username2 ... 允许访问的用户
允许账号文件中的所有用户登录访问：
Require valid-user
(2) 提供账号和密码存储（文本文件）
使用专用命令完成此类文件的创建及用户管理
htpasswd [options] /PATH/HTTPD_PASSWD_FILE username
-c 自动创建文件，仅应该在文件不存在时使用
-p 明文密码
-d CRYPT格式加密，默认
-m md5格式加密
-s sha格式加密
-D 删除指定用户
实验：实现身份验证(关闭selinux和防火墙)
注意：实现验证不用添加授权，即Require all granted
vim /etc/httpd/conf.d/test.conf
AuthType Basic
AuthName "非请勿扰"
AuthUserFile "/etc/httpd/conf.d/.htpasswd"
Require user valid-user
创建保存用户名密码的文件，使用专门的创建命令htpasswd
注意：使用htpasswd命令第一次创建文件时，需要加上-c选项，第二次往后创建时要去掉-c选项，否则前面创建的文件会被覆盖
-D 删除用户密码
示例：
[root@centos7 website]# htpasswd -c /etc/httpd/conf.d/.htpasswd alice #第一次创建密码文件必须使用-c选项
New password:
Re-type new password:
Adding password for user alice
[root@centos7 website]# htpasswd /etc/httpd/conf.d/.htpasswd bob #第二次创建密码文件必须去掉-c选项，否则第一次创建的文件会被覆盖
New password:
Re-type new password:
Adding password for user bob
[root@centos7 website]# htpasswd /etc/httpd/conf.d/.htpasswd jack
New password:
Re-type new password:
Adding password for user jack
[root@centos7 website]# cat /etc/httpd/conf.d/.htpasswd
alice:$apr1$1vhxbBw.$EVmqE/y2xCNHgnzyeZMPO1
bob:$apr1$.YUPA.Q/$WgUiBVOy7FBYJWekpLsKe1
jack:$apr1$uTnnyKpI$RILMN93cBrD2dbyLKlfJs/
基于组账号进行认证
(1) 定义安全域
AuthTypeBasic
AuthName"String"
AuthUserFile"/PATH/HTTPD_USER_PASSWD_FILE"
AuthGroupFile"/PATH/HTTPD_GROUP_FILE"
Require group grpname1 grpname2 ...
(2) 创建用户账号和组账号文件
组文件：每一行定义一个组
GRP_NAME: username1 username2 …
示例：
Options None
AllowOverride None
AuthType Basic
AuthName "Administatorprivate"
AuthUserFile "/etc/httpd/conf.d/.htpasswd"
AuthGroupFile "/etc/httpd/conf.d/.htgroup"
Require group webadmins
vim /etc/httpd/conf.d/.htgroup
webadmins:wangmage
远程客户端和用户验证的控制
Satisfy ALL|Any
ALL 客户机IP和用户验证都需要通过才可以
Any客户机IP和用户验证,有一个满足即可
示例：
Require valid-user
Order allow,deny
Allow from 192.168.1
Satisfy Any
阶段小结：
[root@centos7 admin]# vim /etc/httpd/conf.d/test.conf
#网页返回索引，访问软连接
options indexes FollowSymLinks
#更改访问日志时间显示格式
LogFormat "%h %l %u %{%Y-%m-%d %H:%M:%S}t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" testlog
CustomLog "logs/access_log" testlog #调用日志格式写入日志文件
#定义路径别名，访问非网站目录的其他目录
alias /test /app/testdir
Require all granted
#用户ip地址限制
Require all denied
Require ip 192.168.32.129
#通过URL，ip地址限制用户登录
Require all denied
Require ip 192.168.32.128
#添加网站身份验证
AuthType Basic
AuthName "secure login"
AuthUserFile "/etc/httpd/conf.d/.htpasswd"
Require valid-user
#创建保存用户密码的文件
htpasswd -c /etc/httpd/conf.d/.htpasswd tom #第一次添加必须使用-c选项
htpasswd /etc/httpd/conf.d/.htpasswd jerry
#第二次往后必须去掉-c选项，否则用户名密码会被覆盖
-D 删除用户
htpasswd -D /etc/httpd/conf.d/.htpasswd tom
- 14、实现用户家目录的http共享
基于模块mod_userdir.so实现
SELinux: http_enable_homedirs
相关设置：
vim /etc/httpd/conf/httpd.conf
#UserDir disabled
UserDir public_html #指定共享目录的名称
准备目录
su –wang;mkdir~/public_html
setfacl –m u:apache:x ~wang
访问
http://localhost/~wang/index.html
示例:
创建普通用户
登录普通用户，在该用户家目录创建将要共享的目录
su - yuan
mkdir public_html
echo test homedir > public_html/index.html
vim /etc/httpd/conf/httpd.conf
#UserDir disabled
UserDir public_html #指定用户共享目录的名称,注意：该名称必须要与中的指定的文件名称一致，否则会出错
对普通用户家目录/home/*/public_html文件进行限制，该文件名必须与上面配置中指定的文件一致
AllowOverride FileInfo AuthConfig Limit Indexes
Options MultiViews Indexes SymLinksIfOwnerMatch IncludesNoExec
Require method GET POST OPTIONS
注意：UserDir test
则
注意：此时要更改普通用户家目录下共享目录的权限
setfacl –m u:apache:x /home/yuan
public_html文件其他权限为读和写，因此只需能够进入/home/yuan目录的权限及执行权限即可
此时，其他用户也具有访问/home/yuan/public_html目录的权限，因此需要对/home/yuan/public_html目录做身份验证
vim /etc/httpd/conf.d/userdir.conf
#
# AllowOverride FileInfo AuthConfig Limit Indexes
# Options MultiViews Indexes SymLinksIfOwnerMatch IncludesNoExec
# Require method GET POST OPTIONS
#
#注意要把以上内容注释掉，否则会影响以下的身份验证
AuthType Basic
AuthName "test home"
AuthUserFile "/etc/httpd/conf.d/htuser"
Require user user1 user2
htpasswd -c /etc/httpd/conf.d/htuser user1 设置用户和密码
htpasswd /etc/httpd/conf.d/htuser user2
- 15、ServerSignature On | Off | EMail
当客户请求的网页并不存在时，服务器将产生错误文档，缺省情况下由于打开了ServerSignature选项，错误文档的最后一行将包含服务器的名字、Apache的版本等信息
如果不对外显示这些信息，就可以将这个参数设置为Off
设置为Email，将显示ServerAdmin的Email提示 - 16、ServerType inetd| standalone.
standalone 独立服务模式
inetd 非独立服务模式
注意：只适用于Unix平台 - 17、status页面
LoadModule status_module modules/mod_status.so
SetHandler server-status
Order allow,deny
Allow from 172.16
ExtendedStatus On 显示扩展信息
- 18、虚拟主机
站点标识：socket
IP相同，但端口不同
IP不同，但端口均为默认端口
FQDN不同：请求报文中首部Host: www.magedu.com
有三种实现方案：
基于ip：为每个虚拟主机准备至少一个ip地址
基于port：为每个虚拟主机使用至少一个独立的port
基于FQDN：为每个虚拟主机使用至少一个FQDN
注意：一般虚拟机不要与main主机混用；因此，要使用虚拟主机，一般先禁用main主机
禁用方法：注释中心主机的DocumentRoot指令即可
虚拟主机的配置方法：
ServerName FQDN
DocumentRoot "/path"
建议：上述配置存放在独立的配置文件中
其它可用指令：
ServerAlias：虚拟主机的别名；可多次使用
ErrorLog：错误日志
CustomLog：访问日志
Alias
示例1：基于IP的虚拟主机
此方法servername(域名)不起作用
增加ip地址
ip address add 192.168.32.151 dev eth0
ip address add 192.168.32.152 dev eth0
ip address add 192.168.32.153 dev eth0
ServerName www.a.com
DocumentRoot "/data/www1"
Require all granted
ServerName www.a.com
DocumentRoot "/data/www2"
Require all granted
ServerName www.a.com
DocumentRoot "/data/www3"
Require all granted
分别访问http://192.168.32.151
http://192.168.32.152
http://192.168.32.153
示例2：基于端口的虚拟主机：可和基于IP的虚拟主机混和使用
此方法servername(域名)不起作用
mkdir /data/www{1,2,3}
echo /data/www1/ > www1/index.html
echo /data/www2/ > www2/index.html
echo /data/www3/ > www3/index.html
[root@centos7 ~]#vim/etc/httpd/conf.d/virhost.conf
Listen 801
Listen 802
Listen 803
ServerName www.a.com
DocumentRoot "/data/www1"
Require all granted
ServerName www.a.com
DocumentRoot "/data/www2"
Require all granted
ServerName www.a.com
DocumentRoot "/data/www3"
Require all granted
分别访问：http://192.168.32.130:801
http://192.168.32.130:802
http://192.168.32.130:803
示例3：基于FQDN的虚拟主机
报文头部：请求报文中的一个字段
此方法通过识别报文头部中的主机名来判断与哪个虚拟主机通信
注意：在客户端配置dns解析
vim /etc/hosts
192.168.32.130 www.a.com www.b.com www.c.com
永久生效：
vim /etc/sysconfig/network-script/ifcfg-ens33
DNS1=192.168.32.130
重启网络服务
[root@centos7 ]# vim /etc/httpd/conf.d/virhost.conf
ServerName www.a.com
DocumentRoot "/data/www1"
Require all granted
CustomLog "/data/logs/a_access_log" combined
ErrorLog "/data/logs/a_error_log"
ServerName www.b.com
DocumentRoot "/data/www2"
Require all granted
CustomLog "/data/logs/b_access_log" combined
ErrorLog "/data/logs/b_error_log"
ServerName www.c.com
DocumentRoot "/data/www3"
Require all granted
CustomLog "/data/logs/c_access_log" combined
ErrorLog "/data/logs/c_error_log"
mkdir /data/logs
重启服务，即会自动生成日志文件
知识扩展：
一个虚拟主机有多个域名，如何实现
通过域名别名实现
ServerAlias a.com \*.a.com
ServerName www.a.com
DocumentRoot "/data/www1"
Require all granted
CustomLog "/data/logs/a_access_log" combind
ErrorLog "/data/logs/a_error_log"
ServerAlias a.com *.a.com
要注意域名解析配置
vim /etc/hosts
192.168.32.130 a.com b.a.com zzz.a.com
5、Httpd2.4配置
httpd-2.4
- 新特性
MPM支持运行为DSO机制；以模块形式按需加载
event MPM生产环境可用
异步读写机制
支持每模块及每目录的单独日志级别定义
每请求相关的专用配置
增强版的表达式分析式
毫秒级持久连接时长定义
基于FQDN的虚拟主机不需要NameVirutalHost指令
新指令，AllowOverrideList
支持用户自定义变量
更低的内存消耗 - 修改了一些配置机制
不再支持使用Order, Deny, Allow来做基于IP的访问控制 - 新模块
(1) mod_proxy_fcgi
支持FastCGI Protocol
(2) mod_remoteip
用反向代理的IP地址代替远程客户机的IP
(3) mod_ratelimit
提供带宽控制
CentOS 7 httpd程序环境
- CentOS 7：httpd-2.4
- 安装方法：rpm，编译安装
- Rpm安装程序环境：
配置文件：
/etc/httpd/conf/httpd.conf
/etc/httpd/conf.d/*.conf
模块相关的配置文件：
/etc/httpd/conf.modules.d/*.conf
systemd unit file：
/usr/lib/systemd/system/httpd.service
主程序文件：
/usr/sbin/httpd
httpd-2.4支持MPM的动态切换
日志文件：
/var/log/httpd
access_log：访问日志
error_log：错误日志
站点文档：
/var/www/html
模块文件路径：
/usr/lib64/httpd/modules
服务控制：
systemctl enable|disable httpd.service
systemctl {start|stop|restart|status} httpd.service
httpd-2.4配置
- 配置应用：
(1) 切换使用的MPM
Centos 7:/etc/httpd/conf.modules.d/00-mpm.conf
启用要启用的MPM相关的LoadModule指令即可
centos6编译安装:
vim /etc/httpd24/httpd.conf
Include /etc/httpd24/extra/httpd-mpm.conf
LoadModule mpm_event_module modules/mod_mpm_event.so
(2)主目录：
DocumentRoot /path
(3) 基于IP的访问控制:
无明确授权的目录，默认拒绝
允许所有主机访问：Require all granted
拒绝所有主机访问：Require all denied
控制特定的IP访问：
Require ip IPADDR：授权指定来源的IP访问
Require not ip IPADDR：拒绝特定的IP访问
控制特定的主机访问：
Require host HOSTNAME：授权特定主机访问
Require not host HOSTNAME：拒绝HOSTNAME：
FQDN：特定主机
domin.tld：指定域名下的所有主机
不能有失败，至少有一个成功匹配才成功，即失败优先
Require all granted
Require not ip 172.16.1.1 拒绝特定IP
多个语句有一个成功，则成功，即成功优先
Require all denied
require ip 172.16.1.1 允许特定IP
(4) 虚拟主机
基于FQDN的虚拟主机不再需要NameVirutalHost指令
ServerName www.b.net
DocumentRoot "/apps/b.net/htdocs"
Options None
AllowOverride None
Require all granted
注意：任意目录下的页面只有显式授权才能被访问
(5) KeepAlive on
KeepAliveTimeout #ms
MaxKeepAliveRequests 100
毫秒级持久连接时长定义
mod_deflate模块
- 使用mod_deflate模块压缩页面优化传输速度
- 适用场景：
(1) 节约带宽，额外消耗CPU；同时，可能有些较老浏览器不支持
(2) 压缩适于压缩的资源，例如文本文件
LoadModule deflate_modulemodules/mod_deflate.so SetOutputFilter DEFLATE
SetOutputFilter DEFLATE
# Restrict compression to these MIME types
AddOutputFilterByType DEFLATE text/plain
AddOutputFilterByType DEFLATE text/html
AddOutputFilterByType DEFLATE application/xhtml+xml
AddOutputFilterByType DEFLATE text/xml
AddOutputFilterByType DEFLATE application/xml
AddOutputFilterByType DEFLATE application/x-javascript
AddOutputFilterByType DEFLATE text/javascript
AddOutputFilterByType DEFLATE text/css - 压缩级别
Level of compression (Highest 9 -Lowest 1)
DeflateCompressionLevel 9
排除特定旧版本的浏览器，不支持压缩
Netscape 4.x 只压缩text/html
BrowserMatch ^Mozilla/4 gzip-only-text/html
Netscape 4.06-08三个版本 不压缩
BrowserMatch ^Mozilla/4\.0[678] no-gzip
Internet Explorer标识本身为"Mozilla / 4"，但实际上是能够处理请求的压缩。如果用户代理首部匹配字符串"MSIE"（"B"为单词边界），即关闭之前定义的限制
BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html
https
- https：http over ssl
- SSL会话的简化过程
(1) 客户端发送可供选择的加密方式，并向服务器请求证书
(2) 服务器端发送证书以及选定的加密方式给客户端
(3) 客户端取得证书并进行证书验证
如果信任给其发证书的CA
(a) 验证证书来源的合法性；用CA的公钥解密证书上数字签名
(b) 验证证书的内容的合法性：完整性验证
© 检查证书的有效期限
(d) 检查证书是否被吊销
(e) 证书中拥有者的名字，与访问的目标主机要一致
(4) 客户端生成临时会话密钥（对称密钥），并使用服务器端的公钥加密此数据发送给服务器，完成密钥交换
(5) 服务用此密钥加密用户请求的资源，响应给客户端 - 注意：SSL是基于IP地址实现,单IP的主机仅可以使用一个https虚拟主机
https实现
- (1) 为服务器申请数字证书
测试：通过私建CA发证书
(a) 创建私有CA
(b) 在服务器创建证书签署请求
© CA签证 - (2) 配置httpd支持使用ssl，及使用的证书
yum -y install mod_ssl
配置文件：/etc/httpd/conf.d/ssl.conf
DocumentRoot
ServerName
SSLCertificateFile
SSLCertificateKeyFile - (3) 测试基于https访问相应的主机
openssls_client [-connect host:port] [-cert filename] [-CApathdirectory] [-CAfilefilename]
实验：实现https
https工作过程(该过程包含三个身份：客户端、服务器端、CA)
1、客户端client向服务端server发出请求，要登录https://www.domain.com
2、服务端把已经拥有的证书发送给客户端，该证书内容包括服务端自己的公钥、ca的私钥签名、网站信息、证书有效期；而且该证书已经用数字签名(即使用CA的私钥加密)保证其来源的可靠性
3、客户端信任CA，使用已经获取的CA的公钥进行解密，获取证书中服务端的公钥，此公钥确定是可靠可信的
4、客户端生成随机字符串session key(即会话密钥，也叫对称密钥)，使用服务端的公钥加密随机字符串key，传递给服务端
5、服务器使用自己的私钥解密公钥加密的数据，获取key
6、随后，通讯双方即可使用key加密数据进行通讯
实现https
不支持基于FQDN的多虚拟主机https加密，只支持一个ip地址
服务器端：192.168.32.129
客户端：192.168.32.130
客户端配置：
使用/var/www/html作为网页主目录
mv virhost.conf virhost.conf.bak 不再使用virhost.conf作为配置文件
网站主页写入测试数据
echo /var/www/html/index.html > /var/www/html/index.html
#安装ssl模块
yum -y install mod_ssl
#创建存放证书目录
mkdir /etc/httpd/conf.d/ssl
cd /etc/httpd/conf.d/ssl
#创建客户端私钥
[root@centos7 ssl]# (umask 066;openssl genrsa -out http.key 1024)
#生成证书申请
[root@centos7 ssl]# openssl req -new -key http.key -out http.csr
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [XX]:CN #国家
State or Province Name (full name) []:beijing #省份
Locality Name (eg, city) [Default City]:beijing #城市
Organization Name (eg, company) [Default Company Ltd]:magedu #公司
Organizational Unit Name (eg, section) []:opt #部门
Common Name (eg, your name or your server's hostname) []:www.a.com #公司域名
Email Address []:
Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:
scp http.csr 192.168.32.129:/etc/pki/CA
服务器端配置：
cd /etc/pki/CA
#以下两项必须创建，否则颁发证书会出错
touch index.txt
echo 01 >serial
#创建服务器端私钥
(umask 077;openssl genrsa -out private/cakey.pem 2048)
#创建自签名证书
[root@centos7-1 CA]#openssl req -new -x509 -key private/cakey.pem -out cacert.pem -days 3650
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [XX]:CN
State or Province Name (full name) []:beijing
Locality Name (eg, city) [Default City]:beijing
Organization Name (eg, company) [Default Company Ltd]:magedu
Organizational Unit Name (eg, section) []:opt
Common Name (eg, your name or your server's hostname) []:ca.magedu.com
Email Address []:
#颁发CA证书
[root@centos7-1 CA]#openssl ca -in http.csr -out http.crt -days 3650
Using configuration from /etc/pki/tls/openssl.cnf
Check that the request matches the signature
Signature ok
Certificate Details:
Serial Number: 1 (0x1)
Validity
Not Before: Oct 19 09:22:35 2018 GMT
Not After : Oct 16 09:22:35 2028 GMT
Subject:
countryName = CN
stateOrProvinceName = beijing
organizationName = magedu
organizationalUnitName = opt
commonName = ca.magedu.com
X509v3 extensions:
X509v3 Basic Constraints:
CA:FALSE
Netscape Comment:
OpenSSL Generated Certificate
X509v3 Subject Key Identifier:
57:84:A7:62:51:BF:55:35:B1:42:E3:EB:67:99:46:83:2C:BF:A2:2F
X509v3 Authority Key Identifier:
keyid:A6:F4:6B:28:D5:A6:E5:C1:A3:38:12:CA:2B:7D:3F:1C:E2:F3:CC:6A
Certificate is to be certified until Oct 16 09:22:35 2028 GMT (3650 days)
Sign the certificate? [y/n]:y
1 out of 1 certificate requests certified, commit? [y/n]y
Write out database with 1 new entries
Data Base Updated
[root@centos7-1 CA]#tree
.
├── cacert.pem
├── certs
├── crl
├── http.crt
├── http.csr
├── index.txt
├── index.txt.attr
├── index.txt.old
├── newcerts
│ └── 01.pem
├── private
│ └── cakey.pem
├── serial
└── serial.old
4 directories, 11 files
#把证书传给客户端
scp http.crt cacert.pem 192.168.32.130:/etc/httpd/conf.d/ssl
客户端配置：
vim /etc/httpd/conf.d/ssl.conf
SSLCertificateFile /etc/httpd/conf.d/ssl/http.crt #客户端证书路径
SSLCertificateKeyFile /etc/httpd/conf.d/ssl/http.key #客户端私钥路径
SSLCACertificateFile /etc/httpd/conf.d/ssl/cacert.pem #服务器端自签名证书存放路径
重启服务
systemctl restart httpd
验证：在其他主机执行以下命令
openssl s_client -connect 192.168.32.130:443 -CAfile cacert.pem
或curl --cacert cacert.pem https://www.a.com
注意：配置https加密要对网站主目录文件进行授权(centos7系统http2.4版本默认要对主目录文件进行授权)即：
ServerName www.wordpress.net
DocumentRoot /data/wordpress
Require all granted 对主目录进行授权
http重定向https
- 将http请求转发至https的URL
- 重定向
Redirect [status] URL-path URL - status状态：
Permanent：返回永久重定向状态码301
Temp：返回临时重定向状态码302. 此为默认值
示例：
Redirect temp / https://www.magedu.com/
知识扩展：
Redirect Permanent / https://192.168.32.130
如果从非加密网站重定向加密网站，此写法会造成无限跳转，造成死循环
解决方法：
在 <\VirtualHost \*:80><\VirtualHost> 标签内随便一个地方加入以下三行
或者单独编辑在一个文件中
vim /etc/httpd/conf.d/test2.conf
#Redirect Permanent / https://192.168.32.130 注释掉该行
RewriteEngine on
Rewritecond %{SERVER_PORT} !^443
RewriteRule ^(/.\*)$ https://%{HTTP_HOST}$1 [redirect=302] 临时重定向
注意：正常情况下，加密和非加密主页应存放在同一个目录，该配置是为了做实验才这样写
HSTS
- HSTS:HTTP Strict Transport Security
服务器端配置支持HSTS后，会在给浏览器返回的HTTP首部中携带HSTS字段。浏览器获取到该信息后，会将所有HTTP访问请求在内部做307跳转到HTTPS。而无需任何网络过程 - HSTS preload list
是Chrome浏览器中的HSTS预载入列表，在该列表中的网站，使用Chrome浏览器访问时，会自动转换成HTTPS。Firefox、Safari、Edge浏览器也会采用这个列表 - 实现HSTS示例：
vim /etc/httpd/conf/httpd.conf
Header always set Strict-Transport-Security "max-age=31536000"
RewriteEngineon
RewriteRule^(/.\*)$ https://%{HTTP_HOST}$1 [redirect=302]
知识扩展:
服务器端配置支持HSTS后，会在给浏览器返回的HTTP首部中携带HSTS字段。浏览器获取到该信息后，会将所有HTTP访问请求在内部做307跳转到HTTPS，在下次访问该网站时会直接使用https加密方式连接，而无需任何网络过程
如果不做跳转，那么每次浏览器访问服务器，第一次连接时，都是以http连接，这样是及其不安全的
HSTS有时间期限
但是在第一次访问网站时，仍然是http协议连接，仍然是不安全的
HSTS preload list HSTS预载入列表
该列表载入了世界上支持https的网站，只要在该列表中进行浏览器注册，通过该浏览器第一次访问该HSTS载入列表中存在的网站时，会自动以https加密连接，
反向代理功能
- 启用反向代理
ProxyPass “/” “http://www.example.com/”
ProxyPassReverse “/” “http://www.example.com/” - 特定URL反向代理
ProxyPass “/images” “http://www.example.com/”
ProxyPassReverse “/images” http://www.example.com/
示例：
ServerName www.magedu.com
ProxyPass / http://localhost:8080/
ProxyPassReverse / http://localhost:8080/
Sendfile机制
- 不用sendfile的传统网络传输过程：
read(file, tmp_buf, len)
write(socket, tmp_buf, len) - 硬盘>> kernel buffer >> user buffer >> kernel socket buffer >> 协议栈
- 一般网络应用通过读硬盘数据，写数据到socket 来完成网络传输,底层执行过程：
1.系统调用read() 产生一个上下文切换：从user mode 切换到kernel mode，然后DMA 执行拷贝，把文件数据从硬盘读到一个kernel buffer 里。
2.数据从kernel buffer 拷贝到user buffer，然后系统调用read() 返回，这时又产生一个上下文切换：从kernel mode 切换到user mode
3.系统调用write() 产生一个上下文切换：从user mode 切换到kernel mode，然后把步骤2读到user buffer 的数据拷贝到kernel buffer（数据第2次拷贝到kernel buffer），不过这次是个不同的kernel buffer，这个buffer和socket 相关联。
4.系统调用write() 返回，产生一个上下文切换：从kernel mode 切换到user mode(第4次切换),然后DMA从kernel buffer 拷贝数据到协议栈（第4次拷贝）
上面4个步骤有4次上下文切换，有4次拷贝，如能减少切换次数和拷贝次数将会有效提升性能 - 在kernel 2.0+ 版本中，系统调用sendfile() 就是用来简化上面步骤提升性能的。sendfile() 不但能减少切换次数而且还能减少拷贝次数
- 用sendfile() 来进行网络传输的过程：
sendfile(socket, file, len);
硬盘>> kernel buffer (快速拷贝到kernel socket buffer) >> 协议栈
1.系统调用sendfile() 通过DMA 把硬盘数据拷贝到kernel buffer，然后数据被kernel 直接拷贝到另外一个与socket 相关的kernel buffer。这里没有user mode 和kernel mode 之间的切换，在kernel 中直接完成了从一个buffer 到另一个buffer 的拷贝
2.DMA 把数据从kernel buffer 直接拷贝给协议栈，没有切换，也不需要数据从user mode 拷贝到kernel mode，因为数据就在kernel 里
http协议
-
http协议
http/0.9, http/1.0, http/1.1, http/2.0 -
http协议：stateless 无状态
服务器无法持续追踪访问者来源 -
解决http协议无状态方法
cookie 客户端存放
session 服务端存放 -
http事务：一次访问的过程
请求：request
响应：response -
HTTP请求报文
-
HTTP响应报文
-
报文语法格式：
request报文
response报文
method: 请求方法，标明客户端希望服务器对资源执行的动作
GET、HEAD、POST等
version:
HTTP/.
status:
三位数字，如200，301, 302, 404, 502; 标记请求处理过程中发生的情况
reason-phrase：
状态码所标记的状态的简要描述
headers：
每个请求或响应报文可包含任意个首部；每个首部都有首部名称，后面跟一个冒号，而后跟一个可选空格，接着是一个值
entity-body：请求时附加的数据或响应时附加的数据
-
Method 方法：
GET：从服务器获取一个资源
HEAD：只从服务器获取文档的响应首部
POST：向服务器输入数据，通常会再由网关程序继续处理
PUT：将请求的主体部分存储在服务器中，如上传文件
DELETE：请求删除服务器上指定的文档
TRACE：追踪请求到达服务器中间经过的代理服务器
OPTIONS：请求服务器返回对指定资源支持使用的请求方法 -
协议查看或分析的工具：
tcpdump, wireshark,tshark
http协议状态码分类
-
504状态码
-
404状态码
-
status(状态码)：
1xx：100-101信息提示
2xx：200-206成功
3xx：300-305重定向
4xx：400-415错误类信息，客户端错误
5xx：500-505错误类信息，服务器端错误 -
http协议常用的状态码
200：成功，请求数据通过响应报文的entity-body部分发送;OK
301：请求的URL指向的资源已经被删除；但在响应报文中通过首部Location指明了资源现在所处的新位置；Moved Permanently
302：响应报文Location指明资源临时新位置Moved Temporarily
304：客户端发出了条件式请求，但服务器上的资源未曾发生改变，则通过响应此响应状态码通知客户端；Not Modified
401：需要输入账号和密码认证方能访问资源；Unauthorized
403：请求被禁止；Forbidden
404：服务器无法找到客户端请求的资源；Not Found
500：服务器内部错误；Internal Server Error
502：代理服务器从后端服务器收到了一条伪响应，如无法连接到网关；Bad Gateway
503：服务不可用，临时服务器维护或过载，服务器无法处理请求
504：网关超时
http首部字段
- HTTP 首部字段包含的信息最为丰富。首部字段同时存在于请求和响应报文内，并涵盖HTTP 报文相关的内容信息。使用首部字段是为了给客服端和服务器端提供报文主体大小、所使用的语言、认证信息等内容
- 首部字段结构HTTP 首部字段是由首部字段名和字段值构成的，中间用冒号":"分隔
- 字段值对应单个HTTP 首部字段可以有多个值
- 报文首部中出现了两个或以上具有相同首部字段名的首部字段时，在规范内尚未明确，根据浏览器内部处理逻辑的不同，优先处理的顺序可能不同，结果可能并不一致
http协议首部
- 首部的分类：
通用首部:请求报文和响应报文两方都会使用的首部
请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、请求内容相关优先级等信息
响应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客户端附加额外的内容信息
实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有关的的信息
扩展首部 - 首部类型详细介绍
通用首部：
Date: 报文的创建时间
Connection：连接状态，如keep-alive, close
Via：显示报文经过的中间节点（代理，网关）
Cache-Control：控制缓存，如缓存时长
MIME-Version:发送端使用的MIME版本
Warning：错误通知
请求首部：
Accept：通知服务器自己可接受的媒体类型
Accept-Charset：客户端可接受的字符集
Accept-Encoding：客户端可接受编码格式，如gzip
Accept-Language：客户端可接受的语言
Client-IP: 请求的客户端IP
Host: 请求的服务器名称和端口号
Referer：跳转至当前URI的前一个URL
User-Agent：客户端代理，浏览器版本
条件式请求首部：
Expect：允许客户端列出某请求所要求的服务器行为
If-Modified-Since：自从指定的时间之后，请求的资源是否发生过修改
If-Unmodified-Since：与上面相反
If-None-Match：本地缓存中存储的文档的ETag标签是否与服务器文档的Etag不匹配
If-Match：与上面相反
安全请求首部：
Authorization：向服务器发送认证信息，如账号和密码
Cookie: 客户端向服务器发送cookie
代理请求首部：
Proxy-Authorization: 向代理服务器认证
响应首部：
信息性：
Age：从最初创建开始，响应持续时长
Server：服务器程序软件名称和版本
协商首部：某资源有多种表示方法时使用
Accept-Ranges：服务器可接受的请求范围类型
Vary：服务器查看的其它首部列表
安全响应首部：
Set-Cookie：向客户端设置cookie
WWW-Authenticate：来自服务器对客户端的质询列表
实体首部：
Allow: 列出对此资源实体可使用的请求方法
Location：告诉客户端真正的实体位于何处
Content-Encoding:对主体执行的编码
Content-Language:理解主体时最适合的语言
Content-Length: 主体的长度
Content-Location: 实体真正所处位置
Content-Type：主体的对象类型，如text
缓存相关：
ETag：实体的扩展标签
Expires：实体的过期时间
Last-Modified：最后一次修改的时间
Cookie
- HTTP 是一种无状态协议。协议自身不对请求和响应之间的通信状态进行保存。也就是说在HTTP 这个级别，协议对于发送过的请求或响应都不做持久化处理。这是为了更快地处理大量事务，确保协议的可伸缩性，而特意把HTTP 协议设计成如此简单的。可是随着Web 的不断发展，很多业务都需要对通信状态进行保存，于是引入了Cookie技术。
使用Cookie的状态管理Cookie技术通过在请求和响应报文中写入Cookie信息来控制客户端的状态。Cookie会根据从服务器端发送的响应报文内的一个叫做Set-Cookie 的首部字段信息，通知客户端保存Cookie。当下次客户端再往该服务器发送请求时，客户端会自动在请求报文中加入Cookie 值后发送出去。服务器端发现客户端发送过来的Cookie 后，会去检查究竟是从哪一个客户端发来的连接请求，然后对比服务器上的记录，最后得到之前的状态信息
Set-Cookie首部字段
- Set-cookie首部字段示例：
Set-Cookie: status=enable; expires=Fri, 24 Nov 2017 20:30:02 GMT; path=/;
NAME=VALUE 赋予Cookie 的名称和其值,此为必需项
expires=DATE Cookie的有效期，若不明确指定则默认为浏览器关闭前为止
path=PATH 将服务器上的文件目录作为Cookie的适用对象，若不指定则默认为文档所在的文件目录
domain=域名 作为Cookie 适用对象的域名，若不指定则默认为创建Cookie的服务器的域名
Secure 仅在HTTPS安全通信时才会发送Cookie
HttpOnly 加以限制使Cookie不能被JavaScript脚本访问
curl工具
- curl工具
curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE及LDAP等协议。curl支持HTTPS认证，并且支持HTTP的POST、PUT等方法，FTP上传，kerberos认证，HTTP上传，代理服务器，cookies，用户名/密码认证，下载文件断点续传，上载文件断点续传, http代理服务器管道（proxy tunneling），还支持IPv6，socks5代理服务器，通过http代理服务器上传文件到FTP服务器等，功能十分强大 - 语法：curl [options] [URL…]
- 常用选项
-A/--user-agent 设置用户代理发送给服务器
-e/--referer 来源网址
--cacert CA证书(SSL)
-k/--insecure 允许忽略证书进行SSL连接
--compressed 要求返回是压缩的格式
-H/--header 自定义首部信息传递给服务器
-i 显示页面内容，包括报文首部信息
-I/--head 只显示响应报文首部信息
-D/--dump-header 将url的header信息存放在指定文件中
--basic 使用HTTP基本认证
-u/--user 设置服务器的用户和密码
-L 如果有3xx响应码，重新发请求到新位置
-O 使用URL中默认的文件名保存文件到本地
-o 将网络文件保存为指定的文件中
--limit-rate 设置传输速度
-0/--http1.0 数字0，使用HTTP 1.0
-v/--verbose 更详细
-C 选项可对文件使用断点续传功能
-c/--cookie-jar 将url中cookie存放在指定文件中
-x/--proxy 指定代理服务器地址
-X/--request 向服务器发送指定请求方法
-U/--proxy-user 代理服务器用户和密码
-T 选项可将指定的本地文件上传到FTP服务器上
--data/-d 方式指定使用POST方式传递数据
-b name=data 从服务器响应set-cookie得到值，返回给服务器
- elinks工具：
语法：elinks[OPTION]… [URL]…
-dump: 非交互式模式，将URL的内容输出至标准输出
-source: 打印源码
httpd自带的工具程序
- httpd自带的工具程序
htpasswd：basic认证基于文件实现时，用到的账号密码文件生成工具
apachectl：httpd自带的服务控制脚本，支持start和stop
rotatelogs：日志滚动工具
access.log -->
access.log, access.1.log -->
access.log, acccess.1.log, access.2.log
httpd的压力测试工具
- httpd的压力测试工具
ab, webbench, http_load, seige
Jmeter 开源
Loadrunner 商业，有相关认证
tcpcopy：网易，复制生产环境中的真实请求，并将之保存
ab [OPTIONS] URL
来自httpd-tools包
-n： 总请求数
-c： 模拟的并行数
-k： 以持久连接模式测试
ulimit–n # 调整能打开的文件数
ARP
- APR(Apache portable Run-time libraries，Apache可移植运行库)主要为上层的应用程序提供一个可以跨越多操作系统平台使用的底层支持接口库。在早期的Apache版本中，应用程序本身必须能够处理各种具体操作系统平台的细节，并针对不同的平台调用不同的处理函数
- 随着Apache的进一步开发，Apache组织决定将这些通用的函数独立出来并发展成为一个新的项目。这样，APR的开发就从Apache中独立出来，Apache仅仅是使用APR而已。目前APR主要还是由Apache使用，由于APR的较好的移植性，因此一些需要进行移植的C程序也开始使用APR，开源项目比如用于服务器压力测试的Flood loader tester，该项目不仅仅适用于Apache，http://httpd.apache.org/test/flood
5、编译安装httpd
在centos6编译安装httpd-2.4
- 安装httpd-2.4
依赖于apr-1.4+, apr-util-1.4+, [apr-iconv]
apr：apache portable runtime，解决跨平台实现
CentOS 6：默认：apr-1.3.9, apr-util-1.3.9 - 安装前准备开发包：
开发环境包：
包组：Development Tools
相关包：pcre-devel，openssl-develexpat-devel - 下载源代码并解压缩：
httpd-2.4.27.tar.bz2
apr-1.6.2.tar.bz2
apr-util-1.6.0.tar.bz2 - 安装apr-1.4+
cd apr-1.6.2
./configure --prefix=/app/apr
make && make install - 安装apr-util-1.4+
cd …/apr-util-1.6.0
./configure --prefix=/app/apr-util–with-apr=/app/apr/
make -j 2 && make install - 编译安装httpd-2.4
cd …/httpd-2.4.27
./configure --prefix=/app/httpd24 --enable-so --enable-ssl --enable-cgi --enable-rewrite --with-zlib --with-pcre --with-apr=/app/apr/ --with-apr-util=/app/apr-util/ --enable-modules=most --enable-mpms-shared=all --with-mpm=prefork
make -j 4 && make install
centos6编译安装httpd-2.4方法二
- 配置编译所需的软件包
cp -r apr-1.6.3 httpd-2.4.34/srclib/apr
cp -r apr-util-1.6.1 httpd-2.4.34/srclib/apr-util
cdhttpd-2.4.34/
./configure --prefix=/app/httpd24 --enable-so --enable-ssl --enable-cgi --enable-rewrite --with-zlib --with-pcre --with-included-apr --enable-modules=most --enable-mpms-shared=all --with-mpm=prefork
make && make install
Httpd编译过程：/app/httpd24/build/config.nice
自带的服务控制脚本：/app/httpd24/bin/apachectl - 声明环境变量
vim /etc/profile.d/httpd24.sh
export PATH=/app/http24/bin:$PATH
vim /etc/man.config
MANPATH /app/httpd24/man - 自定义启动脚本(参考httpd-2.2的服务脚本)
cp/etc/rc.d/init.d/httpd/etc/rc.d/init.d/httpd24
vim /etc/rc.d/init.d/httpd24
apachectl=/app/httpd24/bin/apachectl
httpd= H T T P D − / a p p / h t t p d 24 / b i n / h t t p d p i d f i l e = {HTTPD-/app/httpd24/bin/httpd} pidfile= HTTPD−/app/httpd24/bin/httpd pidfile={PIDFILE-/app/httpd24/logs/httpd.pid}
lockfile=${LOCKFILE-/var/lock/subsys/httpd24} - 设置为开机自启动
chkconfig –add httpd24 ;chkconfig –list httpd24