Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解

文章目录

  • 一、Nginx相关问题
      • 1.1 Nginx是如何处理一个请求的呢?
      • 1.2 Nginx为什么不使用多线程?为什么性能这么高?nginx是如何实现高并发的?
  • 二、Nginx的编译安装及调优
      • 2.1 编译安装
      • 2.2调优
  • 三、Nginx主配置文件结构
      • 3.1 main模块
      • 3.2 events模块
      • 3.3 http 模块
      • 3.4 server 模块
      • 3.5 location模块
      • 3.6 upstream 模块

一、Nginx相关问题

1.1 Nginx是如何处理一个请求的呢?

(1)nginx在启动时,会解析配置文件,得到需要监听的端口与ip地址;然后在nginx的master进程里面,先初始化好这个监控的socket,再进行listen;然后再fork出多个子进程出来, 子进程会竞争accept新的连接。

(2)此时,客户端就可以向nginx发起连接了。当客户端与nginx进行三次握手,与nginx建立好一个连接后;

(3)此时,某一个子进程会accept成功,然后Nginx创建对连接的封装,即ngx_connection_t结构体。接着,根据事件调用相应的事件处理模块,如http模块与客户端进行数据的交换。

(4)最后,nginx或客户端来主动关掉连接,到此,一个连接就完成了。

1.2 Nginx为什么不使用多线程?为什么性能这么高?nginx是如何实现高并发的?

(1)例如Apache服务器的工作原理,创建多个进程或线程,而每个进程或线程都会为其分配cpu和内存,但是并发过大会榨干服务器资源。由于web server的工作性质决定了每个request的大部份生命都是在网络传输中,实际上花费在server机器上的时间片不多。这是几个进程就解决高并发的秘密所在。即webserver刚好属于网络io密集型应用,不算是计算密集型。

(2)所以Nginx,采用单线程异步非阻塞处理请求,运用epoll模型,提供了一个队列,排队解决,不会为每个请求分配cpu和内存资源,节省了大量资源,同时也减少了大量的CPU的上下文切换。所以才使得Nginx支持更高的并发。

(3)Nginx会有一个master主进程,一个master对应多个worker工作进程,每个worker工作进程可以处理多个请求,每进来一个request,会有一个worker进程去处理。但不是全程的处理,处理到可能发生阻塞的地方,比如向后端服务器转发request,并等待请求返回。那么,这个处理的worker继续处理其他请求,而一旦后端服务器返回了,就会触发这个事件,worker才会来接手,这个request才会接着往下走。

  • 面试常见问题

二、Nginx的编译安装及调优

  • 性能优化参考

2.1 编译安装

  • 可下载最新版本nginx

1、 解压:
1)解压tar包: tar zxf nginx-1.15.7.tar.gz
2)隐藏nginx版本,防止被攻击vim nginx-1.15.7/src/core/nginx.h
Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解_第1张图片

nginx-1.15.9目录里的内容


1)auto目录:里面有4个子目录,cc是编译使用的,os是判断操作系统类型的,其他都是辅助configure编译的,也就是操作系统有什么特性供nginx使用
2)CHANGES:各版本的改变,bug修复等信息;CHANGES.ru:nginx作者是俄罗斯人,这是俄罗斯版本
3)conf: 为了方便运维配置,conf目录里有示例文件,安装好后会拷贝到安装目录
4)configure 
5)contrib:提供nginx语法检测字体
   cp -r contrib/vim/* ~/.vim	##家目录下如果没有.vim目录,手动新建
6)html:默认发布目录,50x.html是报500错误时的页面
7) src:源码目录

修改文件 /nginx-1.15.9/src/core/nginx.h

#define NGINX_VER          "nginx/" NGINX_VERSION
改为:
#define NGINX_VER          "nginx/"	 

Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解_第2张图片

3) 在Nginx源码/auto/cc/gcc文件中:  vim auto/cc/gcc

  • 在此Debug模式模式会插入许多追踪和ASSERT之类的信息,在正常编译过程中结束,会产生几兆大小的包,我们可以在编译之前关闭debug模式,这样在编译结束,只会产生几百K左右的包大小。
# debug
#CFLAGS="$CFLAGS -g" ##本行注释掉,关闭debug日志模式,  

Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解_第3张图片
在这里插入图片描述

2、编译安装nginx
1)安装gcc编译器和openssl-devel: yum install gcc openssl-devel -y
2)在 /root/nginx/nginx-1.15.9 目录下编译:

./configure \
###自定义配置:
--prefix=/usr/local/nginx  \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi
--prefix=PATH 
	## 指定nginx的安装目录。默认 /usr/local/nginx
--with-http_realip_module 
	##通过这个模块允许我们改变客户端请求头中客户端IP地址值(例如X-Real-IP 或 X-Forwarded-For)
	##意义在于能够使得后台服务器记录原始客户端的IP地址
--with-http_ssl_module 
	##使用https协议模块。默认情况下,该模块没有被构建。前提是openssl与openssl-devel已安装
--without-http_rewrite_module 
	##perl正则表达式使用在location指令和ngx_http_rewrite_module模块中。

发现报错:
在这里插入图片描述
原因:缺少依赖性:gd-devel-2.0.35-26.el7.x86_64.rpm(缺什么装什么)

3) 安装:yum install gd-devel-2.0.35-26.el7.x86_64.rpm,再次编译。

4)make && make install 安装

3、启动脚本做软链接: ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
在这里插入图片描述

nginx -t	##检测配置文件语法
nginx		##启动nginx

4、修改配置

1)查看nginx的默认配置文件:vim //usr/local/nginx/conf/nginx.conf
2)修改用户,让nginx以nginx用户和用户组启动。
在这里插入图片描述
3)检测配置文件语法 :nginx -t 修改了nginx用户和组后检测会报错,需要手动创建nginx用户
在这里插入图片描述
4)添加nginx用户useradd nginx,此时就不报错了。

  • useradd -s /sbin/nologin -M -d /usr/local/nginx/ nginx 创建用户

在这里插入图片描述
再次加载nginx的配置可能会出现报错:

nginx: [error] invalid PID number "" in "/usr/local/nginx/logs/nginx.pid"
#解决:删除/usr/local/nginx/logs/nginx.pid,再重新启动

5)此时 ps aux,可看到两个nginx进程,一个是root用户开启的master进程,一个是由nginx用户开启的worker进程
在这里插入图片描述

2.2调优

5、升级nginx的配置,调优
开启的work进程数是由cpu的总核心数决定的(有几核就有几个work进程)
1) 修改虚拟机cpu核心数(虚拟机关机)
Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解_第4张图片

2)查看逻辑CPU的个数:cat /proc/cpuinfo | grep “processor” | wc -l 发现是4核的

在这里插入图片描述
3)修改nginx开启的work进程数:vim //usr/local/nginx/conf/nginx.conf,并且重置nginx nginx -s reload

user  nginx     nginx;
worker_processes  4;
worker_cpu_affinity 0001 0010 0100 1000;
  • nginx默认没有开启利用多核cpu,这样配置后,在计算最费时的资源时,使用的cpu核数越多,越快,'0001’从左到右一次表示第四,第三,第二,第一个cpu核心,0表示关闭,1表示开启
    在这里插入图片描述
    在这里插入图片描述

此时可以看到开启了4个work进程。
在这里插入图片描述

4)修改并发连接数:vim //usr/local/nginx/conf/nginx.conf,并且重置nginx nginx -s reload
Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解_第5张图片

  • worker_connections 65535 : 单个后台worker process进程的 最大并发链接数 ,同时也受linux系统进程的最大打开文件数的限制,需要修改’ulimit -n 65536’设置后,方可生效。
  • epoll是多路复用IO(I/O Multiplexing)中的一种方式 ,但是仅用于linux2.6以上内核,可以大大提高nginx的性能 ,Nginx正是由此IO模型支持高并发。Nginx支持select,poll,epoll,kqueue,resig,/dev/poll.kqueue对应BSD系统的高效IO模型,epoll对应Linux系统的高效模型。
  • I/O多路复用:如果一个I/O流进来,我们就开启一个进程处理这个I/O流。那么假设现在有一百万个I/O流进来,那我们就需要开启一百万个进程一一对应处理这些I/O流(——这就是传统意义下的多进程并发处理)。思考一下,一百万个进程,你的CPU占有率会多高,这个实现方式及其的不合理。所以人们提出了I/O多路复用这个模型,一个线程,通过记录I/O流的状态来同时管理多个I/O,可以提高服务器的吞吐能力

在这里插入图片描述

ps aux 查看进程,cat /proc/2212/limits在这里插入图片描述
Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解_第6张图片

如果不是我们期望的65535,

ulimit -a #查看系统的最大打开文件数
ulimit -n 65535 #更改系统配置,立即生效

Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解_第7张图片
nginx -s reload,然后重新查看。

Nginx学习笔记(二)——编译安装步骤详解、Nginx性能优化、Nginx主配置文件详解_第8张图片

三、Nginx主配置文件结构

nginx配置文件主要分为六个区域:
main(全局设置)events(nginx工作模式)http(http设置)sever(主机设置)location(URL匹配)upstream(负载均衡服务器设置)

3.1 main模块

下面时一个main区域,他是一个全局的设置:

    user nobody nobody;
    worker_processes 1;
    error_log  /usr/local/var/log/nginx/error.log  notice;
    pid        /usr/local/var/run/nginx/nginx.pid;
    worker_rlimit_nofile 1024;

user 来指定Nginx Worker进程运行用户以及用户组,默认由nobody账号运行。但我们一般更改为用户nginx运行,需要在nginx主机创建用户nginx。

worker_processes来指定了Nginx要开启的子进程数。每个Nginx进程平均耗费10M~12M内存。根据经验,一般指定1个进程就足够了,如果是多核CPU,建议指定和CPU的数量一样的进程数即可

error_log用来定义全局错误日志文件。日志输出级别有debug、info、notice、warn、error、crit可供选择,其中,debug输出日志最为最详细,而crit输出日志最少。

pid用来指定进程id的存储文件位置。

worker_rlimit_nofile用于指定一个nginx进程可以打开的最多文件描述符数目,这里是65535,需要使用命令“ulimit -n 65535”来设置。

3.2 events模块

events模块来用指定nginx的工作模式和工作模式及连接数上限,一般是这样:

    events {
        use kqueue; #mac平台
        worker_connections  1024;
    }

use用来指定Nginx的工作模式。Nginx支持的工作模式有select、poll、kqueue、epoll、rtsig和/dev/poll。其中select和poll都是标准的工作模式,kqueue和epoll是高效的工作模式,不同的是epoll用在Linux平台上,而kqueue用在BSD系统中,因为Mac基于BSD,所以Mac也得用这个模式,对于Linux系统,epoll工作模式是首选。

worker_connections用于定义Nginx每个进程的最大连接数,即接收前端的最大请求数,默认是1024。最大客户端连接数由worker_processes和worker_connections决定,即Max_clients=worker_processes*worker_connections,在作为反向代理时,Max_clients变为:Max_clients = worker_processes * worker_connections/4。
进程的最大连接数受Linux系统进程的最大打开文件数限制,在执行操作系统命令“ulimit -n 65536”后worker_connections的设置才能生效。

3.3 http 模块

http模块是最核心的模块了,它负责HTTP服务器相关属性的配置,它里面的server和upstream子模块,至关重要,等到反向代理和负载均衡以及虚拟目录等会仔细说。

    http{
        include       mime.types;
        default_type  application/octet-stream;
        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';
        access_log  /usr/local/var/log/nginx/access.log  main;
        sendfile        on;
        tcp_nopush      on;
        tcp_nodelay     on;
        keepalive_timeout  10;
        #gzip  on;
        upstream myproject {
            .....
        }
        server {
            ....
        }
    }

include 用来设定文件的mime类型,类型在配置文件目录下的mime.type文件定义,来告诉nginx来识别文件类型。

default_type设定了默认的类型为二进制流,也就是当文件类型未定义时使用这种方式,例如在没有配置asp 的locate 环境时,Nginx是不予解析的,此时,用浏览器访问asp文件就会出现下载了。

log_format用于设置日志的格式,和记录哪些参数,这里设置为main,刚好用于access_log来记录这种类型。

main的类型日志如下:也可以增删部分参数。

127.0.0.1 - - [21/Apr/2015:18:09:54 +0800] "GET /index.php HTTP/1.1" 200 87151 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.76 Safari/537.36"

access_log 用来纪录每次的访问日志的文件地址,后面的main是日志的格式样式,对应于log_format的main。

sendfile参数用于开启高效文件传输模式。将tcp_nopush和tcp_nodelay两个指令设置为on用于防止网络阻塞。

keepalive_timeout设置客户端连接保持活动的超时时间。在超过这个时间之后,服务器会关闭该连接。

3.4 server 模块

sever 模块是http的子模块,它用来定一个虚拟主机。

    server {
            listen       8080;
            server_name  localhost 192.168.12.10 www.yangyi.com;
            # 全局定义,如果都是这一个目录,这样定义最简单。
            root   /Users/yangyi/www;
            index  index.php index.html index.htm; 
            charset utf-8;
            access_log  usr/local/var/log/host.access.log  main;
            aerror_log  usr/local/var/log/host.error.log  error;
            ....
    }

server标志定义虚拟主机开始。
listen用于指定虚拟主机的服务端口。
server_name用来指定IP地址或者域名,多个域名之间用空格分开。
root 表示在这整个server虚拟主机内,全部的root web根目录。注意要和locate {}下面定义的区分开来。
index 全局定义访问的默认首页地址。注意要和locate {}下面定义的区分开来。
charset用于设置网页的默认编码格式。
access_log用来指定此虚拟主机的访问日志存放路径,最后的main用于指定访问日志的输出格式。

3.5 location模块

location模块是nginx中用的最多的,也是最重要的模块了,负载均衡、反向代理、虚拟域名都与它相关。

location 根据它字面意思就知道是来定位的,定位URL,解析URL,所以,它也提供了强大的正则匹配功能,也支持条件判断匹配,用户可以通过location指令实现Nginx对动、静态网页进行过滤处理。像我们的php环境搭建就是用到了它。

我们先来设定默认首页和虚拟机目录。

    location / {
                root   /Users/yangyi/www;
                index  index.php index.html index.htm;
            }

location /表示匹配访问根目录。

root指令用于指定访问根目录时,虚拟主机的web目录,这个目录可以是相对路径(相对路径是相对于nginx的安装目录)。也可以是绝对路径。

index用于设定我们只输入域名后访问的默认首页地址,有个先后顺序:index.php index.html index.htm,如果没有开启目录浏览权限,又找不到这些默认首页,就会报403错误。

location 还有一种方式就是正则匹配,开启正则匹配这样:location ~。后面加个~。下面就是:

    location ~ \.php$ {
                root           /Users/yangyi/www;
                fastcgi_pass   127.0.0.1:9000;
                fastcgi_index  index.php;
                include        fastcgi.conf;
            }

\.php$ 熟悉正则的我们直到,这是匹配.php结尾的URL,用来解析php文件。里面的root也是一样,用来表示虚拟主机的根目录。
fast_pass链接的是php-fpm 的地址。

3.6 upstream 模块

upstream 模块负责负载均衡模块,通过一个简单的调度算法来实现客户端IP到后端服务器的负载均衡。

    upstream iyangyi.com{
        ip_hash;
        server 192.168.12.1:80;
        server 192.168.12.2:80 down;
        server 192.168.12.3:8080  max_fails=3  fail_timeout=20s;
        server 192.168.12.4:8080;
    }

在上面的例子中,通过upstream指令指定了一个负载均衡器的名称iyangyi.com。这个名称可以任意指定,在后面需要的地方直接调用即可。

里面是ip_hash这是其中的一种负载均衡调度算法,下面会着重介绍。紧接着就是各种服务器了。用server关键字表识,后面接ip。

Nginx的负载均衡模块目前支持4种调度算法:

  • weight轮询(默认)。每个请求按时间顺序逐一分配到不同的后端服务器,如果后端某台服务器宕机,故障系统被自动剔除,使用户访问不受影响。weight。指定轮询权值,weight值越大,分配到的访问机率越高,主要用于后端每个服务器性能不均的情况下。
  • ip_hash。每个请求按访问IP的hash结果分配,这样来自同一个IP的访客固定访问一个后端服务器,有效解决了动态网页存在的session共享问题。
  • fair。比上面两个更加智能的负载均衡算法。此种算法可以依据页面大小和加载时间长短智能地进行负载均衡,也就是根据后端服务器的响应时间来分配请求,响应时间短的优先分配。Nginx本身是不支持fair的,如果需要使用这种调度算法,必须下载Nginx的upstream_fair模块。
  • url_hash。按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,可以进一步提高后端缓存服务器的效率。Nginx本身是不支持url_hash的,如果需要使用这种调度算法,必须安装Nginx的hash软件包。

在HTTP Upstream模块中,可以通过server指令指定后端服务器的IP地址和端口,同时还可以**设定每个后端服务器在负载均衡调度中的状态**。常用的状态有:

  • down,表示当前的server暂时不参与负载均衡。
  • backup,预留的备份机器。当其他所有的非backup机器出现故障或者忙的时候,才会请求backup机器,因此这台机器的压力最轻。
  • max_fails,允许请求失败的次数,默认为1。当超过最大次数时,返回proxy_next_upstream 模块定义的错误。
  • fail_timeout,在经历了max_fails次失败后,暂停服务的时间。max_fails可以和fail_timeout一起使用。

注意 :当负载调度算法为ip_hash时,后端服务器在负载均衡调度中的状态不能是weight和backup。

你可能感兴趣的:(Nginx,Linux,企业)