马哥SRE第九周课程作业

一. nginx实现全栈SSL。要求http rewrite到https协议。

1.1 实现HSTS

官方文档:

https://www.nginx.com/blog/http-strict-transport-security-hsts-and-nginx/

京东一小时内访问网站请求在浏览器直接就跳转，一小时后还是发送http请求到了服务器返回https

范例: (浏览器内部就跳转https)

server {
   listen 443 ssl;
   server_name www.magedu.org;
   add_header Strict-Transport-Security "max-age=31536000; includeSubDomains"
always;
   location / {
       if ( $scheme = http ) {
         rewrite ^/(.*)$ https://www.magedu.org/$1 redirect;                   
                            
       }
   .....
   }
}

范例：

[root@centos8 ~]#vim /apps/nginx/conf/conf.d/pc.conf
server {
 listen 80;
 listen 443 ssl;
 ssl_certificate /apps/nginx/conf/conf.d/www.magedu.org.crt;
 ssl_certificate_key /apps/nginx/conf/conf.d/www.magedu.org.key;
 ssl_session_cache shared:sslcache:20m;
 ssl_session_timeout 10m;
 server_name www.magedu.org;
 error_log /apps/nginx/logs/magedu.org_error.log notice;  
 access_log /apps/nginx/logs/magedu.org_access.log main;
 add_header Strict-Transport-Security "max-age=31536000; includeSubDomains"
always;
 location / {
   root /data/nginx/html/pc;
   if ( $scheme = http ) {
         rewrite ^/(.*)$ https://www.magedu.org/$1 redirect;                   
                            
   }
 }
[root@centos8 ~]#systemctl restart nginx
[root@centos7 ~]#curl -ikL https://www.magedu.org
HTTP/1.1 200 OK
Server: nginx/1.18.0
Date: Thu, 08 Oct 2020 15:29:56 GMT
Content-Type: text/html
Content-Length: 7
Last-Modified: Sat, 26 Sep 2020 01:18:32 GMT
Connection: keep-alive
ETag: "5f6e96e8-7"
Strict-Transport-Security: max-age=31536000; includeSubDomains
Accept-Ranges: bytes
pc web

1.2 rewrite重定向

案例：基于通信安全考虑公司网站要求全站 https，因此要求将在不影响用户请求的情况下将http请求全
部自动跳转至 https，另外也可以实现部分 location 跳转
也可以用两个虚拟主机分开写listen

[root@centos8 ~]#vim /apps/nginx/conf.d/pc.conf
server {
 listen 443 ssl;
 listen 80;
 ssl_certificate /apps/nginx/certs/www.magedu.org.crt;
 ssl_certificate_key /apps/nginx/certs/www.magedu.org.key;
 ssl_session_cache shared:sslcache:20m;
 ssl_session_timeout 10m;
 server_name www.magedu.org;
 location / {    #针对全站跳转
   root /data/nginx/html/pc;
   index index.html;
    if ($scheme = http ){  #如果没有加条件判断，会导致死循环
   rewrite ^/(.*)$ https://$host/$1 redirect;
   }  
 }
 location /login {     #针对特定的URL进行跳转https 
 if ($scheme = http ){  #如果没有加条件判断，会导致死循环
   rewrite / https://$host/login redirect;
   } 
 }
}
#重启Nginx并访问测试
[root@centos7 ~]#curl -ikL www.magedu.org
HTTP/1.1 302 Moved Temporarily
Server: nginx/1.18.0
Date: Thu, 08 Oct 2020 15:23:48 GMT
Content-Type: text/html
Content-Length: 145
Connection: keep-alive
Location: https://www.magedu.org
HTTP/1.1 200 OK
Server: nginx/1.18.0
Date: Thu, 08 Oct 2020 15:23:48 GMT
Content-Type: text/html
Content-Length: 7
Last-Modified: Sat, 26 Sep 2020 01:18:32 GMT
Connection: keep-alive
ETag: "5f6e96e8-7"
Accept-Ranges: bytes
pc web

1.3 另外补充return重定向跳转的案例

方法0：死循环

server {
 listen 80;
 listen 443 ssl;
 server_name www.magedu.org;
 ssl_certificate   /etc/nginx/ssl/www.magedu.org.crt;
 ssl_certificate_key /etc/nginx/ssl/www.magedu.org.key;
 root /data/www/html; 
return 302 https://$server_name$request_uri;
}

方法1：

server {
 listen 80;
 server_name www.magedu.org;
 return 302 https://$server_name$request_uri;
}
server {
 listen 443 ssl;
 server_name www.magedu.org;
 ssl_certificate   /etc/nginx/ssl/www.magedu.org.crt;
 ssl_certificate_key /etc/nginx/ssl/www.magedu.org.key;
 location / {
 root /data/www/html; 
 }
}

方法2：

server {
 listen 80;
 listen 443 ssl;
 server_name www.magedu.org;
 ssl_certificate   /etc/nginx/ssl/www.magedu.org.crt;
 ssl_certificate_key /etc/nginx/ssl/www.magedu.org.key;
 if ( $scheme = http ){
       return 302 https://$server_name$request_uri;
     }
 location / {
 root /data/www/html; 
 }
}

二. nginx实现动静分离。

2.1 实现动静分离

要求：将客户端对除php以外的资源的访问转发至后端服务器 10.0.0.28上

2.1.1 配置 nginx 实现反向代理的动静分离

[root@centos8 ~]#vi /apps/nginx/conf/conf.d/pc.conf 
 location / {
   proxy_pass http://10.0.0.28;
   index index.html;
 }
 location ~ \.php$ {
   root /data/php;
   fastcgi_pass   10.0.0.18:9000;
   fastcgi_index index.php;
    #fastcgi_param SCRIPT_FILENAME /data/php$fastcgi_script_name;
   fastcgi_param SCRIPT_FILENAME  $document_root$fastcgi_script_name;
   include       fastcgi_params;
 } 

2.1.2 准备后端 httpd 服务器

#在后端服务器10.0.0.28上安装httpd服务
[root@centos8 ~]#dnf -y install httpd
[root@centos8 ~]#systemctl enable --now httpd
[root@centos8 ~]#mkdir /var/www/html/images
[root@centos8 ~]#wget -O /var/www/html/images/magedu.jpg 
http://www.magedu.com/wp-content/uploads/2019/05/2019052306372726.jpg

三. nginx实现防盗链功能。

防盗链基于客户端携带的referer实现，referer是记录打开一个页面之前记录是从哪个页面跳转过来的标
记信息，如果别人只链接了自己网站图片或某个单独的资源，而不是打开了网站的整个页面，这就是盗链，referer就是之前的那个网站域名，正常的referer信息有以下几种：

none：#请求报文首部没有referer首部，比如用户直接在浏览器输入域名访问web网站，就没有referer信息。
blocked：#请求报文有referer首部，但无有效值，比如为空。
server_names：#referer首部中包含本主机名及即nginx 监听的server_name。
arbitrary_string：#自定义指定字符串，但可使用作通配符。示例: .magedu.org www.magedu.
regular expression：#被指定的正则表达式模式匹配到的字符串,要使用_{开头，例如：}..magedu.com

正常通过搜索引擎搜索web 网站并访问该网站的referer信息如下：

[root@centos8 ~]#tail -f /apps/nginx/logs/magedu.org_access.log
10.0.0.1 - - [11/Oct/2020:09:28:10 +0800] "GET /images/logo.png HTTP/1.1" 302
145 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 
like Gecko) Chrome/86.0.4240.75 Safari/537.36 Edg/86.0.622.38" "-"
10.0.0.1 - - [11/Oct/2020:09:30:39 +0800] "GET /images/logo.png HTTP/1.1" 200
5934 "http://10.0.0.18/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 
Edg/86.0.622.38" "-"
10.0.0.1 - - [11/Oct/2020:09:32:20 +0800] "GET /images/logo.png HTTP/1.1" 200
5934 "http://www.mageedu.org/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 
Edg/86.0.622.38" "-"

json格式日志

#通过搜索引擎访问web网站的referer信息：
==> /apps/nginx/logs/access_json.log <==
{"@timestamp":"2019-02-
28T13:58:46+08:00","host":"10.0.0.100","clientip":"10.0.0.1","siz
e":0,"responsetime":0.000,"upstreamtime":"-","upstreamhost":"-
","http_host":"www.magedu.org","uri":"/index.html","domain":"www.magedu.org","xf
f":"-","referer":"https://www.baidu.com/s?ie=utf-
8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=www.magedu.org&oq=www.mageedu.net&rsv_pq=d6
3060680002eb69&rsv_t=de01TWnmyTdcJqph7SfI1hXgXLJxSSfUPcQ3QkWdJk%2FLNrN95ih3XOhbR
s4&rqlang=cn&rsv_enter=1&inputT=321&rsv_sug3=41&rsv_sug2=0&rsv_sug4=1626","tcp_x
ff":"","http_user_agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 
Safari/537.36","status":"304"}

3.1 实现盗链

在一个web 站点盗链另一个站点的资源信息，比如:图片、视频等

#新建一个主机www.mageedu.org,盗取另一台主机www.magedu.org的图片
[root@centos8 conf.d]# pwd
/apps/nginx/conf/conf.d
[root@centos8 conf.d]# cat mageedu.org.conf 
server {
 listen 80;
 server_name www.mageedu.org;
 location / {
   index index.html;
   root "/data/nginx/html/magedu";
   access_log /apps/nginx/logs/magedu.org_access.log main;
 }
}
#准备盗链web页面：
[root@centos8 conf.d]# mkdir /data/nginx/html/magedu
[root@centos8 conf.d]# cat /data/nginx/html/magedu/daolian.html 
<html>
<head>
<meta http-equiv=Content-Type content="text/html;charset=utf-8">
<title>盗链</title>
</head>
<body>
<img src="http://www.magedu.org/images/logo.png" >
<h1 style="color:red">欢迎大家</h1>
<p><a href=http://www.magedu.org>马哥教育</a>欢迎你</p>
</body>
</html>
#重启Nginx并访问http://www.mageedu.org/daolian.html 测试
#验证两个域名的日志，是否会在被盗连的web站点的日志中出现以下盗链日志信息：
[root@centos8 ~]#tail /apps/nginx/logs/magedu.org_access.log
10.0.0.1 - - [11/Oct/2020:09:50:07 +0800] "GET /images/logo.png HTTP/1.1" 200
5934 "http://www.mageedu.org/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 
Edg/86.0.622.38" "-"

3.2 实现防盗链

基于访问安全考虑，nginx支持通过ngx_http_referer_module模块,检查访问请求的referer信息是否有
效实现防盗链功能
官方文档:

https://nginx.org/en/docs/http/ngx_http_referer_module.html

语法格式：

location   /images {
   root /data/nginx/html/pc;
   index index.html;
   valid_referers none blocked server_names
         *.example.com example.* www.example.org/galleries/
         ~\.google\.;
          
    if ($invalid_referer) {
     return 403;
   }

范例: 定义防盗链：

[root@centos8 ~]# vim /apps/nginx/conf/conf.d/pc.conf
server {
   index index.html;
   valid_referers none blocked server_names *.magedu.com *.magedu.org   
~\.google\. ~\.baidu\. ~\.bing\. ~\.so\. ~\.dogedoge\. ; #定义有效的
referer
    if ($invalid_referer) { #假如是使用其他的无效的referer访问
     return 403 "Forbidden Access"; #返回状态码403
   }
......
}
#重启Nginx并访问测试
#指定referer为http://www.baidu.com进行访问
[root@centos7 ~]# curl -e 'http://www.baidu.com' www.magedu.org
#指定referer为http://www.xxx.com进行访问,被拒绝
[root@centos7 ~]# curl -e 'http://www.xxx.com' www.magedu.org
#不加http的referer不会拒绝
[root@centos7 ~]# curl -e 'www.xxx.com' www.magedu.org

在被盗链的nginx服务器查看日志

[root@centos8 ~]#tail /apps/nginx/logs/magedu.org_access.log 
10.0.0.1 - - [11/Oct/2020:09:55:26 +0800] "GET /images/logo.png HTTP/1.1" 403 16
"http://www.mageedu.org/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 
Edg/86.0.622.38" "-"

四. 解析nginx常见的负载均衡算法。

4.1 介绍

轮询（默认）
weight (轮询权值)
ip_hash
fair
url_hash(第三方)

hash KEY [consistent];

#基于指定请求报文中首部字段或者URI等key做hash计算，使用consistent参数，将使用ketama一致性
hash算法，适用于后端是Cache服务器（如varnish）时使用，consistent定义使用一致性hash运算，一
致性hash基于取模运算
#示例
hash $request_uri consistent; #基于用户请求的uri做hash

ip_hash;

#源地址hash调度方法，基于的客户端的remote_addr(源地址IPv4的前24位或整个IPv6地址)做hash计
算，以实现会话保持
#hash $remote_addr 则是对全部32bit的IPv4进行hash计算

least_conn;

#最少连接调度算法，优先将客户端请求调度到当前连接最少的后端服务器,相当于LVS中的WLC

基于 hash 的调度算法

添加节点后,会导致很多的调度的缓存信息失效

一致性hash 算法
大球是服务端hash取模后地址，小球是客户端hash取模后地址，客户端小球顺时针找到离他最近的大球
环节点不均匀哈希偏斜情况也是会出现的，但是可以把后端地址进行权重*1w计算，添加1w个随机数字对
1w个数字进行hash计算，每个节点都这么计算，4w个大圈就不会很偏斜

五. 基于LNMP完成搭建任意一种应用。

5.1 项目实战：利用LNMP实现可道云私有云

可道云，原名芒果云，是基于Web技术的私有云在线文档管理解决方案。Kod，读音通code，意为“代
码，编码”，中文名为“可道”。
官网： http://kodcloud.com/

5.1.1 环境说明

#部署规划：
10.0.0.100：CentOS8,Nginx,php-fpm,kodbox
10.0.0.8：CentOS8,MySQL8.0,Redis5.0

5.1.2 准备 MySQL 数据库

[root@centos8 ~]#yum -y install mysql-server
[root@centos8 ~]#systemctl enable --now mysqld
[root@centos8 ~]#mysql
mysql> create database kodbox;
Query OK, 1 row affected (0.00 sec)
mysql> create user kodbox@'10.0.0.%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)
mysql> grant all on kodbox.* to kodbox@'10.0.0.%';
Query OK, 0 rows affected (0.00 sec)

5.1.3 准备 Redis 服务

[root@centos8 ~]#yum -y install redis
[root@centos8 ~]#vim /etc/redis.conf
bind 0.0.0.0 #修改此行
[root@centos8 ~]#systemctl enable --now redis

5.1.4 准备 Nginx 服务

[root@centos7 ~]#yum -y install nginx
[root@centos7 ~]#mkdir -pv /data/html 
#创建配置文件
[root@centos7 ~]#vim /etc/nginx/conf.d/kod.conf
server {
   listen 80;
   server_name cloud.magedu.org;
   root /data/html;
   location / {
       index index.php index.html;
   }
   location ~ \.php$ {
       fastcgi_pass   127.0.0.1:9000;
       fastcgi_index index.php;
       fastcgi_param SCRIPT_FILENAME  $document_root$fastcgi_script_name;
       include       fastcgi_params;
   }
}
[root@centos7 ~]#systemctl --now enabled nginx

5.1.5 CentOS8 php 支持 redis

#安装php相关包
[root@rocky8 ~]#yum -y install php-fpm php-mbstring php-json php-xml php-gd php
mysqlnd 
#修改fpm配置文件
[root@rocky8 ~]#vim /etc/php-fpm.d/www.conf
user = nginx
group = nginx
listen = 127.0.0.1:9000
#安装编译相关包
[root@rocky8 ~]#yum -y install php-cli php-devel
#编译redis模块
[root@rocky8 ~]#wget https://pecl.php.net/get/redis-5.3.7.tgz
[root@rocky8 ~]#tar xf redis-5.3.7.tgz
[root@rocky8 ~]#cd redis-5.3.7/
[root@rocky8 redis-5.3.7]#cat INSTALL
[root@rocky8 redis-5.3.7]#phpize
[root@rocky8 redis-5.3.7]#./configure
[root@rocky8 redis-5.3.7]#make -j 2 && make install
......
----------------------------------------------------------------------
Build complete.
Don't forget to run 'make test'.
Installing shared extensions:     /usr/lib64/php/modules/
[root@rocky8 ~]#ll /usr/lib64/php/modules/redis.so 
-rwxr-xr-x 1 root root 3530824 Feb 26 10:21 /usr/lib64/php/modules/redis.so
[root@rocky8 ~]#vim /etc/php.d/31-redis.ini
extension=redis
[root@rocky8 ~]#systemctl enable --now php-fpm
#测试连接
[root@rocky8 ~]#vim /data/html/redis.php 
connect('127.0.0.1', 6379);
   //$redis->auth('123456');
   echo "Connection to Redis sucessfully! ";
   //查看服务是否运行
   echo "Server is running: " . $redis->ping();
[root@rocky8 ~]#curl http://10.0.0.8/redis.php
Connection to server sucessfully! Server is running: 1

5.1.6 准备可道云程序

[root@centos7 ~]#wget 
https://static.kodcloud.com/update/download/kodbox.1.20.zip
[root@centos7 ~]#unzip kodbox.1.20.zip -d /data/html
[root@centos7 ~]#chown -R nginx.nginx /data/html

初始化和登录可道云

验证数据库和 session 信息

[root@centos8 ~]#redis-cli 
127.0.0.1:6379> keys *
1) "32b4b_UserModel_getInfoFull_ID_1"
2) "32b4b_SystemOption_System.taskList"
3) "32b4b_SystemOption_System.autoTask"
4) "32b4b_UserOption_User.noticeList_1"
5) "32b4b_UserFavModel_listData_ID_1"
6) "32b4b_UserOption_User.tagList_1"
....

六. jumpserver 总结安装部署，添加用户授权，行为审计。

6.1 安装 JumpServer

官方说明

https://docs.jumpserver.org/zh/master/install/setup_by_fast/

6.2 安装要求

JumpServer 环境要求:

• 硬件配置: 2个CPU核心, 4G 内存, 50G 硬盘（最低）
• 操作系统: Linux 发行版 x86_64
• Python = 3.6.x
• MySQL Server ≥ 5.6 或者 Mariadb Server ≥ 5.5.56 数据库编码 要求 uft8,新版要求5.7以上
• Redis: 新版要求6.0以上

6.3 安装方法介绍

官方提供了多种安装方法
手动部署: 一步一步实现
极速部署: 资产数量不多，或者测试体验的用户请使用本脚本快速部署
容器部署: 基于docker 实现
分布式部署: 适用大型环境

6.4 基于容器部署

官方文档:

https://github.com/jumpserver/Dockerfile/tree/master/allinone
https://docs.jumpserver.org/zh/master/install/docker_install/

6.5 环境说明

https://github.com/jumpserver/Dockerfile/tree/master/allinone

使用外置 MySQL 数据库和 Redis:

- 外置数据库要求 MySQL 版本大于等于 5.7
- 外置 Redis 要求 Redis 版本大于等于 6.0
# 自行部署 MySQL 可以参考
(https://docs.jumpserver.org/zh/master/install/setup_by_lb/#mysql)
# mysql 创建用户并赋予权限, 请自行替换 nu4x599Wq7u0Bn8EABh3J91G 为自己的密码
mysql -u root -p
create database jumpserver default charset 'utf8';
create user 'jumpserver'@'%' identified by 'nu4x599Wq7u0Bn8EABh3J91G';
grant all on jumpserver.* to 'jumpserver'@'%';
flush privileges;
# 自行部署 Redis 可以参考
(https://docs.jumpserver.org/zh/master/install/setup_by_lb/#redis)

基于容器,安装完毕后可以通过以下方式访问

• 浏览器访问: http://<容器所在服务器IP>
• 默认管理员账户 admin 密码 admin
• SSH 访问: ssh -p 2222 <容器所在服务器IP>
• XShell 等工具请添加 connection 连接, 默认 ssh 端口 2222

6.6 安装 MySQL 服务

官方说明:

https://docs.jumpserver.org/zh/master/install/prod/distributed_03/

MySQL要求

create database jumpserver default charset 'utf8';
create user 'jumpserver'@'%' identified by 'nu4x599Wq7u0Bn8EABh3J91G';
grant all on jumpserver.* to 'jumpserver'@'%';
flush privileges; 

6.6.1 下载 MySQL 镜像查看默认配置

下载MySQL镜像并运行, 查看当前默认配置不符合JumpServer安装要求

#下载MySQL镜像并启动
[root@centos8 ~]#docker run --rm --name mysql -e MYSQL_ROOT_PASSWORD=123456 -e 
MYSQL_DATABASE=jumpserver -e MYSQL_USER=jumpserver -e MYSQL_PASSWORD=123456 -d -p 
3306:3306 mysql:5.7.30
#查看默认的MySQL容器配置不符合jumpserver要求
[root@centos8 ~]#docker exec -it mysql bash
root@f44e1c85f088:/# mysql -uroot -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.7.30 MySQL Community Server (GPL)
Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show create database jumpserver;
+------------+------------------------------------------------------------------
-----+
| Database   | Create Database                                                   
    |
+------------+------------------------------------------------------------------
-----+
| jumpserver | CREATE DATABASE `jumpserver` /*!40100 DEFAULT CHARACTER SET 
latin1 */ |
+------------+------------------------------------------------------------------
-----+ 
1 row in set (0.01 sec)
mysql> select user,host from mysql.user;
+---------------+-----------+
| user         | host     |
+---------------+-----------+
| jumpserver   | %         |
| root         | %         |
| mysql.session | localhost |
| mysql.sys     | localhost |
| root         | localhost |
+---------------+-----------+ 
5 rows in set (0.00 sec)
mysql> exit
Bye
#查看配置文件路径
root@f44e1c85f088:/# cat /etc/mysql/mysql.cnf
......
!includedir /etc/mysql/conf.d/
!includedir /etc/mysql/mysql.conf.d/
#默认配置文件
root@f44e1c85f088:/# tree /etc/mysql/
/etc/mysql/
|-- conf.d
|   |-- docker.cnf
|   |-- mysql.cnf
|   `-- mysqldump.cnf
|-- my.cnf -> /etc/alternatives/my.cnf
|-- my.cnf.fallback
|-- mysql.cnf
`-- mysql.conf.d
    `-- mysqld.cnf
2 directories, 7 files
root@f44e1c85f088:/# ls -R /etc/mysql
/etc/mysql:
conf.d my.cnf my.cnf.fallback mysql.cnf mysql.conf.d
/etc/mysql/conf.d:
docker.cnf mysql.cnf mysqldump.cnf
/etc/mysql/mysql.conf.d:
mysqld.cnf
#默认配置文件
root@f44e1c85f088:/# grep '^[^#]' /etc/mysql/mysql.conf.d/mysqld.cnf
[mysqld]
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
datadir = /var/lib/mysql
symbolic-links=0 
#默认配置文件
root@f44e1c85f088:/# cat /etc/mysql/conf.d/mysql.cnf 
[mysql]
root@f44e1c85f088:/# exit
exit
[root@centos8 ~]#docker stop mysql

6.6.2 在宿主机准备MySQL配置文件

#准备相关目录
[root@centos8 ~]#mkdir -p /etc/mysql/mysql.conf.d/
[root@centos8 ~]#mkdir -p /etc/mysql/conf.d/
#生成服务器配置文件,指定字符集
[root@centos8 ~]#tee /etc/mysql/mysql.conf.d/mysqld.cnf <
[mysqld]
pid-file= /var/run/mysqld/mysqld.pid
socket= /var/run/mysqld/mysqld.sock
datadir= /var/lib/mysql
symbolic-links=0
character-set-server=utf8   #添加此行,指定字符集
EOF
#生成客户端配置文件,指定字符集
[root@centos8 ~]#tee /etc/mysql/conf.d/mysql.cnf <
[mysql]
default-character-set=utf8  #添加此行,指定字符集
EOF
#查看配置文件列表
[root@centos8 ~]#tree /etc/mysql/
/etc/mysql/
├── conf.d
│   └── mysql.cnf
└── mysql.conf.d
   └── mysqld.cnf
2 directories, 2 files

6.6.4 启动 MySQL 容器

将上面宿主机的设置好的配置文件挂载至MySQL容器
[root@centos8 ~]#docker run -d -p 3306:3306 --name mysql --restart always \
-e MYSQL_ROOT_PASSWORD=123456 \
-e MYSQL_DATABASE=jumpserver \
-e MYSQL_USER=jumpserver     \
-e MYSQL_PASSWORD=123456       \
-v /data/mysql:/var/lib/mysql   \
-v /etc/mysql/mysql.conf.d/mysqld.cnf:/etc/mysql/mysql.conf.d/mysqld.cnf \
-v /etc/mysql/conf.d/mysql.cnf:/etc/mysql/conf.d/mysql.cnf   mysql:5.7.30

6.7 安装 Redis 服务

官方说明

https://docs.jumpserver.org/zh/master/install/prod/distributed_04/

新版要求:

外置 Redis 要求 Redis 版本大于等于 6.0

启动 Redis

[root@centos8 ~]#docker run -d -p 6379:6379 --name redis --restart always 
redis:5.0.9
2b75e77aa35b79dcb0e4cffb41d124c10124cdfda959e3131f7927e8808f9417

6.8 部署 JumpServer

生成 key 和 token
参考官方说明:

https://github.com/jumpserver/Dockerfile/tree/master/allinone
https://docs.jumpserver.org/zh/master/install/docker_install/

需要先生成 key 和 token

[root@centos8 ~]#cat key.sh
#!/bin/bash
if [ ! "$SECRET_KEY" ]; then
  SECRET_KEY=`cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 50`;
  echo "SECRET_KEY=$SECRET_KEY" >> ~/.bashrc;
  echo SECRET_KEY=$SECRET_KEY;
else
  echo SECRET_KEY=$SECRET_KEY;
fi  
if [ ! "$BOOTSTRAP_TOKEN" ]; then
  BOOTSTRAP_TOKEN=`cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 16`;
  echo "BOOTSTRAP_TOKEN=$BOOTSTRAP_TOKEN" >> ~/.bashrc;
  echo BOOTSTRAP_TOKEN=$BOOTSTRAP_TOKEN;
else
  echo BOOTSTRAP_TOKEN=$BOOTSTRAP_TOKEN;
fi
[root@centos8 ~]#bash key.sh 
[root@centos8 ~]#tail -n2 .bashrc
SECRET_KEY=9RTRBg3AjHjvUUNCUpHUH5LirSFazRozk1UyOQcoKkwMExeUEm
BOOTSTRAP_TOKEN=1OlaSdCoUpSQPjH6

6.8.1 运行容器

范例: jumpserver 2.5.3版

[root@centos8 ~]#docker run --name jms_all -d \
  -v /opt/jumpserver/data:/opt/jumpserver/data \
  -p 80:80 \
  -p 2222:2222 \
  --restart always \
  -e SECRET_KEY=9RTRBg3AjHjvUUNCUpHUH5LirSFazRozk1UyOQcoKkwMExeUEm \
  -e BOOTSTRAP_TOKEN=1OlaSdCoUpSQPjH6 \
  -e DB_HOST=10.0.0.18 \ #不支持127.0.0.1
  -e DB_PORT=3306 \
  -e DB_USER=root \
  -e DB_PASSWORD=123456 \
  -e DB_NAME=jumpserver \
  -e REDIS_HOST=127.0.0.1 \
  -e REDIS_PORT=6379 \
  -e REDIS_PASSWORD='' \
  --privileged=true \
 jumpserver/jms_all:v2.5.3
#初次启动容器需要等待一会儿才能完成

关于用户授权、审计我这有现成的模板就省略页面的配置了

七. JVM垃圾回收原理，JVM调优。

对于垃圾回收,需要解决三个问题

• 哪些是垃圾要回收
• 怎么回收垃圾
• 什么时候回收垃圾

标记-清除 Mark-Sweep
标记-压缩 (压实)Mark-Compact
复制 Copying

上述垃圾回收算法都有优缺点，能不能对不同数据进行区分管理，不同分区对数据实施不同回收策略，
分而治之。
堆内存分代
将heap内存空间分为三个不同类别: 年轻代、老年代、持久代

内存空间优化

JAVA_OPTS="-server -Xms4g -Xmx4g -XX:NewSize= -XX:MaxNewSize= "
-server：服务器模式
-Xms：堆内存初始化大小
-Xmx：堆内存空间上限
-XX:NewSize=：新生代空间初始化大小
-XX:MaxNewSize=：新生代空间最大值

生产案例：（提前给4G，防止一点点申请带来额外的开销）

[root@centos8 ~]#vim /usr/local/tomcat/bin/catalina.sh
JAVA_OPTS="-server -Xms4g -Xmx4g -Xss512k -Xmn1g -
XX:CMSInitiatingOccupancyFraction=65 -XX:+AggressiveOpts -XX:+UseBiasedLocking -
XX:+DisableExplicitGC -XX:MaxTenuringThreshold=10 -XX:NewRatio=2 -
XX:PermSize=128m -XX:MaxPermSize=512m -XX:CMSFullGCsBeforeCompaction=5 -
XX:+ExplicitGCInvokesConcurrent -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -
XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -
XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods"
#一台tomcat服务器并发连接数不高,生产建议分配物理内存通常4G到8G较多,如果需要更多连接,一般会利用
虚拟化技术实现多台tomcat

线程池调整

[root@centos8 ~]#vim /usr/local/tomcat/conf/server.xml
......
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000"
redirectPort="8443" />

常用属性：

• connectionTimeout ：连接超时时长,单位ms
• maxThreads：最大线程数，默认200
• minSpareThreads：最小空闲线程数
• maxSpareThreads：最大空闲线程数
• acceptCount：当启动线程满了之后，等待队列的最大长度，默认100
• URIEncoding：URI 地址编码格式，建议使用 UTF-8
• enableLookups：是否启用客户端主机名的DNS反向解析，缺省禁用，建议禁用，就使用客户端IP就行
• compression：是否启用传输压缩机制，建议 “on”，CPU和流量的平衡
• compressionMinSize：启用压缩传输的数据流最小值，单位是字节
• compressableMimeType：定义启用压缩功能的MIME类型text/html, text/xml, text/css,text/javascript

八. tomcat实现java应用发布。

利用nginx实现动静分离代理

vim nginx.conf
root /usr/share/nginx/html;
#下面行可不加
#location / {
# root /data/webapps/ROOT;
# index index.html;
#}
# ~* 不区分大小写
location ~* \.jsp$ {
proxy_pass http://node1.magedu.com:8080;://node1.magedu.com:8080; #注
改 /etc/hosts
}

以上设置，可以将jsp的请求反向代理到tomcat，而其它文件仍由nginx处理，从而实现所谓动静分离。但由于jsp文件中实际上是由静态资源和动态组成，所以无法彻底实现动静分离。实际上Tomcat不太适合做动静分离，用它来管理程序的图片不好做动静分离部署

实战案例
#准备三个不同的资源文件
[root@centos8 ~]#echo /usr/local/tomcat/webapps/ROOT/test.html >
/usr/local/tomcat/webapps/ROOT/test.html
[root@centos8 ~]#echo /usr/local/tomcat/webapps/ROOT/test.jsp >
/usr/local/tomcat/webapps/ROOT/test.jsp
[root@centos8 ~]#echo /usr/share/nginx/html/test.html >
/usr/share/nginx/html/test.html
[root@centos8 ~]#vim /etc/nginx/nginx.conf
......
root /usr/share/nginx/html;
#location / {
#
#}
location ~* \.jsp$ {
proxy_pass http://127.0.0.1:8080;
}
......
[root@centos8 ~]#systemctl restart nginx
#访问test.html，观察结果都一样访问的是nginx自身的资源
[root@centos8 ~]#curl http://node1.magedu.org/test.html
[root@centos8 ~]#curl http://node2.magedu.org/test.html
[root@centos8 ~]#curl http://127.0.0.1/test.html
[root@centos8 ~]#curl http://10.0.0.8/test.html
/usr/share/nginx/html/test.html
#访问test.jsp，观察结果都一样访问的是tomcat的默认主机资源
[root@centos8 ~]#curl http://node1.magedu.org/test.jsp
[root@centos8 ~]#curl http://node2.magedu.org/test.jsp
[root@centos8 ~]#curl http://127.0.0.1/test.jsp
[root@centos8 ~]#curl http://10.0.0.8/test.jsp
/usr/local/tomcat/webapps/ROOT/test.jsp

九. 实现tomcat session粘性，并验证过程。

ticky 模式工作原理
sticky 模式即前端tomcat和后端memcached有关联(粘性)关系

参考文档:https://github.com/magro/memcached-session-manager/wiki/SetupAndConfiguration

t1和m1部署可以在一台主机上，t2和m2部署也可以在同一台。
当新用户发请求到Tomcat1时, Tomcat1生成session返回给用户的同时,也会同时发给memcached2备份。即Tomcat1 session为主session，memcached2 session为备用session，使memcached相当于备份了一份Session
如果Tomcat1发现memcached2 失败,无法备份Session到memcached2,则将Sessoin备份存放在
memcached1中

下载相关jar包
下载相关jar包,参考下面官方说明的下载链接

https://github.com/magro/memcached-session-manager/wiki/SetupAndConfiguration

tomcat和memcached相关包

#以下是sticky的配置
<Context>
...
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:10.0.0.101:11211,n2:10.0.0.102:11211"
failoverNodes="n1"
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFac
tory"
/>
</Context>

配置说明
memcachedNodes=“n1:host1.yourdomain.com:11211,n2:host2.yourdomain.com:11211”
memcached的节点: n1、n2只是别名，可以重新命名。
failoverNodes 为故障转移节点，n1是备用节点，n2是主存储节点。另一台Tomcat将此处的n1改为n2，其主节点是n1，备用节点是n2。

如果配置成功，可以在logs/catalina.out中看到下面的内容

12-APR-2020 16:24:08.975 INFO [t1.magedu.com-startStop-1]
de.javakaffee.web.msm.MemcachedSessionService.startInternal --------
- finished initialization:
- sticky: true
- operation timeout: 1000
- node ids: [n2]
- failover node ids: [n1]
- storage key prefix: null
- locking mode: null (expiration: 5s)

配置成功后，网页访问以下，页面中看到了Session。然后运行下面的Python程序，就可以看到是否存
储到了memcached中了。

准备测试msm的python脚本

安装python环境准备python程序查看memcached中的SessionID
[root@centos8 ~]#yum -y install python3 python3-memcached
#或者执行下面两步
[root@centos8 ~]#dnf install python3 -y
[root@centos8 ~]#pip3 install python-memcached
#脚本内容
[root@centos8 ~]#cat showmemcached.py
#!/usr/bin/python3
import memcache
mc = memcache.Client(['10.0.0.101:11211'], debug=True)
stats = mc.get_stats()[0]
print(stats)
for k,v in stats[1].items():
print(k, v)
print('-' * 30)
# 查看全部key
print(mc.get_stats('items')) # stats items 返回 items:5:number 1
print('-' * 30)
print(mc.get_stats('cachedump 5 0')) # stats cachedump 5 0 # 5和上面的items返回的值
有关；0表示全部

t1、t2、n1、n2依次启动成功，分别使用http://t1.magedu.org:8080/ 和http://t2.magedu.org:8080/
观察。
开启负载均衡调度器，通过http://proxy.magedu.com来访问看看效果

On tomcats
10.0.0.102:8080
SessionID = 2A19B1EB6D9649C9FED3E7277FDFD470-n2.Tomcat1
Wed Jun 26 16:32:11 CST 2019
On tomcats
10.0.0.101:8080
SessionID = 2A19B1EB6D9649C9FED3E7277FDFD470-n1.Tomcat2
Wed Jun 26 16:32:36 CST 2019

可以看到浏览器端被调度到不同Tomcat上，但是都获得了同样的SessionID。
停止t2、n2看看效果，恢复看看效果。
范例：访问tomcat，查看memcached中SessionID信息

十. 实现tomcat会话复制集群。

Redis session manager 是一个插件。 它将会话存储到 Redis 中，以便在 Tomcat 服务器集群中轻松分
发 HTTP 请求。
在这里，会话被实现为非粘性（意味着，每个请求都可以转到集群中的任何服务器，这与 Apache 提供的 Tomcat 集群设置不同。）
请求Sessions会立即存入Redis（Session属性必须是Serializable），供其他服务器使用。 当 tomcat 收到客户端的请求时，Sessions 直接从 Redis 加载。从而无需在负载均衡器中启用粘性会话(JSESSIONID)。
支持Redis默认、哨兵和集群模式，基于配置。
参考文档

https://github.com/ran-jit/tomcat-cluster-redis-session-manager

#下载相关文件并解压缩
wget https://github.com/ran-jit/tomcat-cluster-redis-session
manager/releases/download/3.0.1.1/tomcat-cluster-redis-session-manager.zip
unzip /opt/tomcat-cluster-redis-session-manager.zip -d /opt
#复制jar包到tomcat/lib目录中
cp /opt/tomcat-cluster-redis-session-manager/lib/* /usr/local/tomcat/lib/
chown -R tomcat.tomcat /usr/local/tomcat/lib
#复制redis配置文件到tomcat/conf目录中
cp /opt/tomcat-cluster-redis-session-manager/conf/redis-data-cache.properties
/usr/local/tomcat/conf/
#修改redis配置信息
vim /usr/local/tomcat/conf/redis-data-cache.properties
#修改下面两行
redis.hosts=10.0.0.100:6379 #指向redis服务器地址
redis.password=123456
#添加两行配置文件在 tomcat/conf/context.xml
vim /usr/local/tomcat/conf/context.xml
#在最后一行前加下两行
<Valve className="tomcat.request.session.redis.SessionHandlerValve" />
<Manager className="tomcat.request.session.redis.SessionManager" />
</Context> #此是最后一行
#修改session过期时间为60m，默认30m,此步可选
vim /usr/local/tomcat/conf/web.xml
<session-config>
<session-timeout>60</session-timeout>
</session-config>
#重启服务
systemctl restart tomcat
#nginx配置反向代理和均衡负载
vim /etc/nginx/conf.d/session.conf
upstream tomcat-server {
server t1.magedu.org:8080;
server t2.magedu.org:8080;
}
server {
listen 80;
server_name www.magedu.org;
location / {
proxy_pass http://tomcat-server;
proxy_set_header Host $http_host;
}
}
#tomcat测试页面
cat /data/webapps/ROOT/test.jsp
<%@ page import="java.util.*" %>
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>tomcat test</title>
</head>
<body>
<h1> Tomcat1 Website </h1>
<div>On <%=request.getServerName() %></div>
<div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div>
<div>SessionID = <span style="color:blue"><%=session.getId() %></span></div>
<%=new Date()%>
</body>
</html>