为了加强基础知识的复习,巩固学习成果,小猿将最近上线的公司项目重新部署一遍并记载整个过程,并说明要点,为传统项目部署做个综合案例以便做参考。
操作系统
CentOS 内存4g 双核
数据库操作系统
CentOS 内存2g 双核
小猿以前的文章中有过专门安装jdk的文章,如果是安装jdk小白,请点看小猿的jdk离线安装如果了解jdk机理,小猿就直接上步骤。
首先 在安装各个软件之前,需要确定自己操作系统的一些信息,如要获取自己操作系统的位数,确定是那种系统,才可以决定安装那个软件。
#获取系统
getconf LONG_BIT
下载jdk,下载jdk版本也是有讲究的,如无特殊需求,还是建议下载jdk1.8.192版本以前的版本,据小猿了解从oracle 公司从 jdk1.8.192开始收费了,所以下载版本的时候需要注意。目前,要下载oracle公司的产品,则必须要注册oracle账号,即先注册后下载。
https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html
如果有直接卸载
rpm -qa | grep jdk
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
如果不是压缩软件,是rpm包,就直接安装
rpm -ivh xxx
如果是是.gz文件,就直接解压
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/local/jdk
打开环境变量配置文件
vim /etc/profile
在底部加上下面的配置代码
#set jdk environment
JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
PATH=${JAVA_HOME}/bin:$PATH
export JAVA_HOME CLASSPATH PATH
需要重新使得profile文件生效
source /etc/profile
java -version
卸载方法与上面卸载openjdk是类似的此处不再赘述。
下载mysql也有版本分别,自从mysql 被oracle公司收购后,mysql就推出企业版,如8.0版本都有企业版和社区版之分,而mysql5.7以前的诸多版本都是社区版,但目前国内许多的中小型项目都用开源项目,因此无需担心付费的问题:
官网下载地址: https://downloads.mysql.com/archives/community/
tar -zxvf mysql安装包 -C /usr/local/
mv -f mysql安装文件夹 mysql
groupadd mysql
useradd mysql -g mysql
cd /usr/local/mysql
mkdir data
touch my.cnf
cd /usr/local
chown -R mysql:mysql ./mysql
vim my.cnf
[client] # 客户端设置,即客户端默认的连接参数
port = 7006 # 默认连接端口
socket = /usr/local/mysql/data/mysql.sock # 用于本地连接的socket套接字,mysqld守护进程生成了这个文件
default-character-set=utf8mb4
[mysql]
socket=/usr/local/mysql/data/mysql.sock
# set mysql client default chararter
default-character-set=utf8mb4
[mysqld] # 服务端基本设置
# 基础设置
#user = root
#server-id = 1 # Mysql服务的唯一编号 每个mysql服务Id需唯一
port = 7006 # MySQL监听端口
basedir = /usr/local/mysql # MySQL安装根目录
datadir = /usr/local/mysql/data # MySQL数据文件所在位置
tmpdir = /usr/local/mysql/tmp # 临时目录,比如load data infile会用到
socket = /usr/local/mysql/data/mysql.sock # 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件
pid-file = /usr/local/mysql/data/localhost.pid # pid文件所在目录
skip_name_resolve = 1 # 只能用IP地址检查客户端的登录,不用主机名
character-set-server = utf8mb4 # 数据库默认字符集,主流字符集支持一些特殊表情符号(特殊表情符占用4个字节)
transaction_isolation = READ-COMMITTED # 事务隔离级别,默认为可重复读,MySQL默认可重复读级别
collation-server = utf8mb4_general_ci # 数据库字符集对应一些排序等规则,注意要和character-set-server对应
#init_connect='SET NAMES utf8mb4' # 设置client连接mysql时的字符集,防止乱码
lower_case_table_names = 1 # 是否对sql语句大小写敏感,1表示不敏感
max_connections = 400 # 最大连接数
max_connect_errors = 1000 # 最大错误连接数
explicit_defaults_for_timestamp = true # TIMESTAMP如果没有显示声明NOT NULL,允许NULL值
max_allowed_packet = 128M # SQL数据包发送的大小,如果有BLOB对象建议修改成1G
interactive_timeout = 1880000 # MySQL连接闲置超过一定时间后(单位:秒)将会被强行关闭
wait_timeout = 1880000 # MySQL默认的wait_timeout值为8个小时, interactive_timeout参数需要同时配置才能生效
tmp_table_size = 16M # 内部内存临时表的最大值 ,设置成128M;比如大数据量的group by ,order by时可能用到临时表;超过了这个值将写入磁盘,系统IO压力增大
max_heap_table_size = 128M # 定义了用户可以创建的内存表(memory table)的大小
query_cache_size = 0 # 禁用mysql的缓存查询结果集功能;后期根据业务情况测试决定是否开启;大部分情况下关闭下面两项
query_cache_type = 0
## 设置sqlmode 默认情况下mysql5.7.5以上的板本都有sqlmode,而ONLY_FULL_GROUP_BY则是默认的 如果不配置则会出现select后面查询的字段没有出现在group by中的错误
#nested exception is java.sql.SQLSyntaxErrorException: Expression #2 of SELECT list is not in GROUP BY clause and
# contains nonaggregated column 'wlhy_xysk.s.vehicle_license_no' which is not functionally dependent on columns in GROUP BY clause;
sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION'
#Threads_created:创建过的线程数,
# 1G ---> 8
# 2G ---> 16
# 3G ---> 32
thread_cache_size = 8
# 用户进程分配到的内存设置,每个session将会分配参数设置的内存大小
key_buffer_size = 256M #key_buffer_size指定索引缓冲区的大小,它决定索引处理的速度
read_buffer_size = 2M # MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL会为它分配一段内存缓冲区。
read_rnd_buffer_size = 8M # MySQL的随机读缓冲区大小
sort_buffer_size = 8M # MySQL执行排序使用的缓冲大小
binlog_cache_size = 1M # 一个事务,在没有提交的时候,产生的日志,记录到Cache中;等到事务提交需要提交的时候,则把日志持久化到磁盘。默认binlog_cache_size大小32K
back_log = 130 # 在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中;官方建议back_log = 50 + (max_connections / 5),封顶数为900
skip-external-locking #跳过外部锁 如果是多态服务器希望打开external locking特征则直接注释,如果是单台服务器则直接打开即可
#skip-grant-tables
# 日志设置
log_error = /usr/local/mysql/data/logs/error.log # 数据库错误日志文件
slow_query_log = 1 # 慢查询sql日志设置
long_query_time = 1 # 慢查询时间;超过1秒则为慢查询
slow_query_log_file = /usr/local/mysql/data/logs/slow_query.log # 慢查询日志文件
log_queries_not_using_indexes = 1 # 检查未使用到索引的sql
log_throttle_queries_not_using_indexes = 5 # 用来表示每分钟允许记录到slow log的且未使用索引的SQL语句次数。该值默认为0,表示没有限制
min_examined_row_limit = 100 # 检索的行数必须达到此值才可被记为慢查询,查询检查返回少于该参数指定行的SQL不被记录到慢查询日志
expire_logs_days = 5 # MySQL binlog日志文件保存的过期时间,过期后自动删除
# 主从复制设置
#skip_slave_start,这样复制进程就不会随着数据库的启动而启动
#skip-slave-start
# 开启mysql binlog功能
#log-bin = mysql-bin
# binlog记录内容的方式,记录被操作的每一行
#binlog_format = ROW
# 对于binlog_format = ROW模式时,减少记录日志的内容,只记录受影响的列
#binlog_row_image = minimal
# Innodb设置
innodb_open_files = 500 # 限制Innodb能打开的表的数据,如果库里的表特别多的情况,请增加这个。这个值默认是300
innodb_buffer_pool_size = 64M # InnoDB使用一个缓冲池来保存索引和原始数据,一般设置物理存储的60% ~ 70%;这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少
innodb_log_buffer_size = 2M # 此参数确定写日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据。MySQL开发人员建议设置为1-8M之间
innodb_flush_method = O_DIRECT # O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突
innodb_write_io_threads = 2 # CPU多核处理能力设置,根据读,写比例进行调整最好多少核的cpu配多少数
innodb_read_io_threads = 2
innodb_lock_wait_timeout = 120 # InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒
innodb_log_file_size = 32M # 此参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间
为了确保不报错,需要改变一些东西,原则上是创建完后就修改,挂载
chmod -R 755 my.cnf
./bin/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
./support-files/mysql.server start
如果中途中有没有创建文件夹或者文件的错误
Starting MySQL.2021-10-24T14:55:12.749885Z mysqld_safe error: log-error set to '/usr/local/mysql/data/logs/error.log', however file don't exists. Create writable for user 'mysql'.
ERROR! The server quit without updating PID file (/usr/local/mysql/data/localhost.pid).
则直接创建文件夹或者文件
mkdir logs
touch ./logs/error.log
再次挂载`
chown -R mysql:mysql ./logs
chmod -R 755 ./logs
总之如果遭遇以下类似的问题
ERROR! The server quit without updating PID file (/usr/local/mysql/data/localhost.pid).
基本上大多数问题都是权限的问题,需要修改权限及挂载用户组操作
还有一类问题是selinux导致,这类问题需要查看系统日志一般情况下执行下面命令基本上都能得到解决。
vim /etc/selinux/config
# 把SELINUX=enforcing改为SELINUX=disabled后存盘退出重启机器
cp support-files/mysql.server /etc/init.d/mysql
如执行了上面的命令也可以用以下命令开启mysql 服务
./etc/init.d/mysqld start
添加到开机启动
# 添加开机启动
chkconfig mysql on
在profile中添加下面内容
vim /etc/profile
#将光标移动到最底,然后加入下面的内容
export MYSQL_HOME=/usr/local/mysql
export PATH=$PATH:$MYSQL_HOME/bin
刷新profile文件
source profile
mysql 首次登录需要密码,mysql 安装后生成了临时密码,查看密码需要执行下面的操作。
cat /root/.mysql_secret
#得到
NlT6a,hnWvkN
如果临时密码失效或者不想用临时密码,则需要修改my.cnf文件,让其跳过密码授权,在mysqld中添放开下面的项。
skip-grant-tables
重启mysql
use mysql
update mysql.user set authentication_string=password('root') where user='root';
flush privileges;
或者
set password=password("root");
flush privileges;
alter user 'root'@'localhost' identified by 'root';
修改my.cnf,注释掉跳过密码,如果这一步不做则可能在设置远程连接时遇到报错
#skip-grant-tables
修改密码重启mysql
service mysql restart
在Linux下为了安全,默认是不允许mysql本机以外的机器访问mysql数据库服务,因此需要重新授权root。
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
flush privileges;
或者
use mysql;
update user set host='%' where user='root';
flush privileges;
通常情况下按照上述步骤基本都能解决问题,但是诸事都有例外,当例外发生时我们需要学会观看日志,如黑窗口给的信息不全面,则需要我们去查看mysql的日志,在小猿安装是就将日志设定在/usr/local/mysql/data/logs下,所有的错误日志都在其中有记录。
错误日志都在error.log中有记录。
依照上述解决办法的模式,这种安装mysql的方式就基本没问题了。
为了更加清晰明了的的理解整体项目的部署,小猿直接以图的方式来展示整个项目的部署原理图。
从上面图中基本能清晰的得知整个项目的部署框架,我们要做的事情就是将每个环节的安装和行管配置环境做好。
nginx安装需要依赖以下几个库文件,所以需要提前下载好给出依赖库网址
依赖库下载
https://www.openssl.org/source/
http://www.zlib.net/
https://ftp.pcre.org/pub/pcre/
nginx下载地址
http://nginx.org/download/
最好时库的版本和nginx的版本匹配,否则会报错,由于版本不匹配造成的错误一般都是要将版本匹配后再次安装,下面小猿给出推荐版本:
上述的四个压缩包都需要解压
tar -zxvf pcre-8.44.tar.gz -C /usr/develop/nginxref/
tar -zxvf nginx-1.16.1.tar.gz -C /usr/local/nginxref/
tar -zxvf zlib-1.2.11.tar.gz -C /usr/local/nginxref/
tar -zxvf openssl-1.1.0c.tar.gz -C /usr/local/nginxref/
版本匹配后直接解压完成后需要查看是否存在gcc 编译器,若没有则需要安装。
#查看gcc版本
gcc --version
#查看gcc-c++版本
g++ --version
若没有安装gcc或者gcc++编译器,则需要安装相关编译器
#安装gcc
yum -y install gcc
#安装gcc-c++
yum -y install gcc-c++
cd /usr/local/nginxref/pcre-8.44
./configure&&make&&make install
cd /usr/local/nginxref/zlib-1.2.11/
./configure&&make&&make install
cd /usr/local/nginxref/openssl-1.1.0c/
./config&&make&&make install
cd /usr/local/nginxref/nginx-1.16.1/
开始编译并安装nginx
./configure --sbin-path=/usr/local/nginx/nginx --conf-path=/usr/local/nginx/nginx.conf --pid-path=/usr/local/nginx/nginx.pid --with-http_ssl_module --with-pcre=/usr/local/nginxref/pcre-8.44 --with-zlib=/usr/local/nginxref/zlib-1.2.11 --with-openssl=/usr/local/nginxref/openssl-1.1.0c
直到一路安装完成,安装完成后,在配置的目录中即可看到相关的执行文件
启动之前先修改权限
cd /usr/local
chmod -R 777 nginx/
开始启动
cd /usr/local/nginx
./nginx -c ./nginx.conf
./nginx -s stop
./nginx -s reload
启动报错:如权限问题,用户组问题,配置文件语法错误问题都可以查看对应的日志。
为了此目的,小猿故意制造错误,在error.log中可以详细的展示出对应的错误项,根据报错信息直接更改即可。
vim ./logs/error.log
根据项目需求,小猿的nginx配置如下:
#user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
upstream tomcat8_1 {
server localhost:9000 ;
}
upstream tomcat8_2 {
server localhost:9001 ;
}
upstream tomcat8_3 {
server localhost:9002 ;
}
server {
listen 80;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root /usr/local/tomcats/wlhy/wlhy-site;
index index.html index.htm;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
# error_page 500 502 503 504 /50x.html;
# location = /50x.html {
# root html;
# }
location ~ /vvise-js/{
root /usr/local/tomcats/wlhy/ ;
}
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}
server {
listen 80;
server_name pt.xywl.com;
add_header backendIP $upstream_addr;
add_header backendCode $upstream_status;
location /{
root html;
index index.html index.htm;
proxy_pass http://tomcat8_1;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_http_version 1.1 ;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
client_max_body_size 100M;
client_body_buffer_size 128k;
client_body_in_file_only clean;
proxy_read_timeout 600;
proxy_send_timeout 600;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
#
}
server {
listen 80;
server_name fh.xywl.com;
add_header backendIP $upstream_addr;
add_header backendCode $upstream_status;
location /{
root html;
index index.html index.htm;
proxy_pass http://tomcat8_2;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_http_version 1.1 ;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
client_max_body_size 100M;
client_body_buffer_size 128k;
client_body_in_file_only clean;
proxy_read_timeout 600;
proxy_send_timeout 600;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
server {
listen 80;
server_name cy.xywl.com;
add_header backendIP $upstream_addr;
add_header backendCode $upstream_status;
location /{
root html;
index index.html index.htm;
proxy_pass http://tomcat8_3;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_http_version 1.1 ;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
client_max_body_size 100M;
client_body_buffer_size 128k;
client_body_in_file_only clean;
proxy_read_timeout 600;
proxy_send_timeout 600;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;
# location / {
# root html;
# index index.html index.htm;
# }
#}
# HTTPS server
#
#server {
# listen 443 ssl;
# server_name localhost;
# ssl_certificate cert.pem;
# ssl_certificate_key cert.key;
# ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;
# location / {
# root html;
# index index.html index.htm;
# }
#}
}
配置文件配置成功后nginx的基本安装和部署就完成了
war包部署比较方便,这得益于tomcat在启动时会自动去扫描webapps各种项目包并自动执行解压并将项目加载入tomcat容器,从而只要访问对应的项目名就可直接访问项目。若果想了解更多,则可查看tomcat启动过程的相关文章。
配置文件部署稍微麻烦一些,但是这种部署方式的好处在于项目文件可进行集中管理,部署方法
tomcat 在启动时会自动扫描上述文件夹及文件,如有xml代码会自动扫描,并依据xml脚本加载项目文件,xml配置文件如下:
<Context path="/wlhy-platform" docBase="/usr/local/tomcats/wlhy/wlhy-platform" debug="0" reloadable="true" privileged="false" sessionCookieName="wlhy_8_1" >
Context>
众所周知tomcat 的主要配置文件是server.xml,该文件属于tomcat的核心配置文件,需要我们做深入的了解。
,两个重要的端口都需要修改
<Server port="8005" shutdown="SHUTDOWN">
...
...
Server>
<Connector executor="tomcatThreadPool"
port="9000"/>
<Connector executor="tomcatThreadPool"
port="9000"
protocol="HTTP/1.1"
maxThreads="500"
minSpareThreads="40"
maxSpareThreads="500"
minProcessors="40"
maxProcessors="500"
redirectPort="8443"
URIEncoding="UTF-8"
connectionTimeout="20000"
enableLookups="false"
disableUploadTimeout="false"
connectionUploadTimeout="15000"
acceptCount="300"
keepAliveTimeout="12000"
maxKeepAliveRequests="1"
compression="on"
compressionMinSize="2048"
compressableMimeType="text/html,text/xml,text/javascript,text/css,text/plain,image/gif,image/jpg,image/png" />
tomcatThreadPool 执行器(线程池)起一个名字
maxThreads 客户请求最大线程数
minSpareThreads Tomcat初始化时创建的 socket 线程数
maxSpareThreads Tomcat连接器的最大空闲 socket 线程数
enableLookups 若设为true, 则支持域名解析,可把 ip 地址解析为主机名
redirectPort 在需要基于安全通道的场合,把客户请求转发到基于SSL 的 redirectPort 端口
acceptAccount 监听端口队列最大数,满了之后客户请求会被拒绝(不能小于maxSpareThreads )
connectionTimeout 连接超时定义建立客户连接超时的时间. 如果为 -1, 表示不限制建立客户连接的时间
minProcessors 服务器创建时的最小处理线程数
maxProcessors 服务器同时最大处理线程数
URIEncoding URL统一编码
compression 打开压缩功能
compressionMinSize 启用压缩的输出内容大小,这里面默认为2KB
compressableMimeType 压缩类型
-Xmx1024m:设置JVM最大可用内存为1024M
-Xms1024m: 初始堆内存大小。此值可以设置与-Xmx相同,以避免每次垃圾回收完成后JVM重新分配内存。
-Xmn800m:设置年轻代大小为800M整个JVM内存大小=年轻代大小 + 年老代大小 + 持久代大小
-Xss1m: jdk栈大小
-XX:MetaspaceSize 首次触发GC内存阈值,Meta区容量范围为[20.8m, MaxMetaspaceSize),建议设定与MaxMetaspaceSize一致避免频繁GC
XX:MaxMetaspaceSize 最大GC内存触发值
在windows系统下需要优化catalina.sh,在linux系统下需要优化catalina.bat
JAVA_OPTS="-server -XX:PermSize=256M -XX:MaxPermSize=512m -Xms1024m -Xmx1024m"
在linux环境中,由于对图形处理如果出现异常,验证码无法正常显示。
需要在catalina.sh中追加以下内容
JAVA_OPTS="$JAVA_OPTS -Djava.awt.headless=true"
在 startup.sh 和 shutdown.sh 的最后追加下面的内容,指定tomcat运行的jdk环境,适用于一个系统有多个jdk存在的情况。
export JDK8=/usr/local/jdk/jdk1.8.0_191
export JAVA_HOME=${JDK8}
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
小猿在关闭tomcat的过程中遇到入戏警告,大概意思是说jdk1.8已经不支持PermSize MaxPermSize的设定操作,因此需要重新设置
修改catalina.sh 中的优化配置
JAVA_OPTS="-server -Xmx1024m -Xss1m -Xms1024m -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=256m"
至此所有的部署工作和笔记工作圆满完成,期望读者们能从小猿的文章中有所收获。