CentOS搭建Flask、Gunicorn、Nginx服务器

拥有一个服务器的好处：你知道，在你睡觉的时候，在你烦闷苦恼的时候，在你追剧堕落的时候，有一个它，还在远处默默等待着你的访问...

初始化Flask运行环境

第一步，是把Flask工程拉到服务器上，然后，根据requirement.txt描述文件，下载依赖的python包。
这一步其实类似iOS的初始化，先Clone，然后pod install

Clone你的Flask工程

git clone xxxxxx.git

换pypi源

换用国内源，你就会发出呐喊：哇~~~好快！！
修改 ~/.pip/pip.conf (CentOS), %APPDATA%\pip\pip.ini (Windows 10) 或 $HOME/Library/Application Support/pip/pip.conf (macOS) (没有就创建一个)， 修改 index-url至tuna，例如

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

pip 和 pip3 并存时，只需修改 ~/.pip/pip.conf。

安装虚环境

sudo yum install python-virtualenv

安装Python版本管理工具pyenv

$ curl -L https://raw.githubusercontent.com/pyenv/pyenv-installer/master/bin/pyenv-installer | bash

按提示修改bash配置文件，然后重启terminal

通过pyenv管理多python版本

pyenv搜狐镜像源加速
下载需要的版本放到~/.pyenv/cache文件夹下面
然后执行 pyenv install 版本号
安装对应的python版本

一键安装：wget http://mirrors.sohu.com/python/2.7.9/Python-2.7.9.tar.xz -P ~/.pyenv/cache/;pyenv install 2.7.9

通过pyenv创建虚环境

pyenv virtualenv 2.7.9 虚环境名称
pyenv activate 虚环境名称
pyenv deactivate
pyenv uninstall 虚环境名称

说明 - 通过这种方法创建的虚环境，包含了一个virtualenv创建的环境 - venv的目录在~/.pyenv/versions/虚环境名称/ 下，不需要的时候，直接暴力删除就好。详细戳这里

注意，mac上安装pyenv之后，需要再单独安装pyenv-virtualenv才能正常使用

brew install pyenv-virtualenv

初始化虚环境

virtualenv venv

激活虚环境

source venv/bin/activate

安装依赖包

(venv) $ pip install -r requirements.txt

我这里安装的时候，由于一些库忘记写进描述文件里了，需要各种安装遗漏的库= =

错误信息：html5lib requires setuptools version 18.5 or above; please upgrade before installing (you have 0.6)

• 尝试使用：pip install html5lib --upgrade升级，但是报错。
• when i issue the above command it tells me to update the setup tools, and when I try to update or upgrade setuptools it says already up to date.
• 解决方案来源

解决方案：pip install -U setuptools

错误信息：python2.6木有markdown库的一个文件

解决方案：

• 升级到python2.7
  需要强调一点，我的python2.7安装到的目录和文中有出入，位置在/usr/local/lib/python2.7
• 使用pyenv（见上文）

如果远程下载Python文件太慢，可以考虑
方案一：本地下载之后，使用scp命令上传到服务器上
方案二：使用国内镜像搜狐Python镜像

1、从服务器上下载文件
scp username@servername:/path/filename /var/www/local_dir（本地目录）

 例如scp [email protected]:/var/www/test.txt  把192.168.0.101上的/var/www/test.txt 的文件下载到/var/www/local_dir（本地目录）


2、上传本地文件到服务器
scp /path/filename username@servername:/path   

例如scp /var/www/test.php  [email protected]:/var/www/  把本机/var/www/目录下的test.php文件上传到192.168.0.101这台服务器上的/var/www/目录中

 

3、从服务器下载整个目录
scp -r username@servername:/var/www/remote_dir/（远程目录） /var/www/local_dir（本地目录）

例如:scp -r [email protected]:/var/www/test  /var/www/  

4、上传目录到服务器
scp  -r local_dir username@servername:remote_dir
例如：scp -r test  [email protected]:/var/www/   把当前目录下的test目录上传到服务器的/var/www/ 目录

当然，scp的本质是对ssh的封装，所以可以通过配置.ssh目录下的config文件实现快速复制文件的。我的操作命令如下：

scp Python-2.7.5.tar.bz2 ali-yun:/

其中，ali-yun是通过config文件自定义的阿里云ssh Host。定义如下：

config文件概览.gif

关于ssh配置，可以参考重装mac系列：配置多个ssh

安装配置Gunicorn

Green Unicorn是一个Web服务器，支持多进程，比Flask自带的原生服务器更方便高效安全，所以要用它 - 虽然目前还没亲身领教到它的好处，但是网上资料说不用这个东东，直接用Flask原生的Web服务器，打开界面会非常卡卡卡卡卡...卡已经领教过它的好处了。用Flask原生的Web服务器，远程访问的时候，真的会灰常卡卡卡卡卡卡...即使只有你一个人孤独的访问你孤独的服务器...

安装Gunicorn

pip install Gunicorn

使用Gunicorn启动Flask

提要：我们调试的时候使用flask-script这个东东，但是，启动的时候，要启动的还是app这个实体，而不是manage这个实体

# 直接运行的方法
python manage.py runserver

# 使用Gunicorn运行的方法
# 这里需要注意一下, 冒号前面的是文件名也就是manage.py而后面的是应用的名称。我在这里载过跟头。因为服务器需要接受一个wsgi的应用而manager = Manager(app)不是一个wsgi应用所以报错
gunicorn manage:app

运行并允许外网访问：gunicorn --workers=3 manage:app -b 0.0.0.0:8080

以上内容参考链接：
Flask + Gunicorn + Nginx 部署
一个盗链的地址

问题：启动报错 - No module named pysqlite2
尝试解决：pip install pysqlite2
报错：Could not find a version that satisfies the requirement pysqlite2 (from versions: )No matching distribution found for pysqlite2
查了下原因：Python2.7以后，用的是sqlite3，而不是2，导致的报错...那咋整...决定把Python换成2.6.6试试
wget [http://mirrors.sohu.com/python/2.7.9/Python-2.7.9.tar.xz](http://mirrors.sohu.com/python/2.7.9/Python-2.7.9.tar.xz) -P ~/.pyenv/cache/;pyenv install 2.7.9

安装配置Nginx

Nginx的作用，是用作反向代理 - 真正的服务器地址和端口号，可以不暴露给客户端，让服务器更安全。同时，还能弥补Gunicorn对静态文件支持不够的问题。
Nginx文档

安装启动

正常流

安装：sudo yum install nginx
启动：sudo /etc/init.d/nginx start
访问你的ip，就可以看到Nginx启动成功的界面啦~

Nginx启动成功.png

异常流

问题：tarting nginx: nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
解决：

• 方案一：sudo fuser -k 80/tcp
• 方案二：

1. 查看80端口占用netstat -ntpl
2. 杀掉占用80端口的进程kill 「pidnumber」 $pid

问题：Starting nginx: nginx: [emerg] socket() [::]:80 failed (97: Address family not supported by protocol)
解决：vim /etc/nginx/conf.d/default.conf

listen       80 default_server;
listen       [::]:80 default_server;

修改为:
listen       80;
#listen       [::]:80 default_server;

配置项

配置主文件：/etc/nginx/nginx.conf
这个文件是一个入口文件，里面包含了events 和 http两个事件的描述。
我们真正需要配置的server {}相关，是通过#include方法引入到这个入口文件里的，文件路径为：/etc/nginx/conf.d/default.conf
配置：
（参考了一些文章，暂时没弄懂配置内容是什么意思，选了个最短的。TODO）

server {
    listen       80;
    # listen       [::]:80 default_server;
    server_name  _;
    # root         /usr/share/nginx/html;

    # Load configuration files for the default server block.
    include /etc/nginx/default.d/*.conf;

    location / {
        proxy_pass http://127.0.0.1:8080; # Gunicorn的服务地址
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

    error_page 404 /404.html;
        location = /40x.html {
    }

    error_page 500 502 503 504 /50x.html;
        location = /50x.html {
    }

}

重启Nginx

nginx -s reload
其他Nginx操作

然后

通过Gunicorn部分提到的启动方法，把程序绑定到你刚才设定的nginx监听的端口号，然后访问你的公网IP（默认80端口），发现已经可以访问你的项目了。

Daemon：让Gunicorn驻留后台

这部分我们来聊聊如何把Gunicorn变成一个后台进程

方案一：UpStart将Gunicorn作为服务运行

参考链接一：Flask + Gunicorn + Nginx 部署
参考链接二：浅析 Linux 初始化 init 系统，第 2 部分: UpStart
参考链接三：upstart把应用封装成系统服务
概述：使用UpStart配置Flask程序，作为服务程序，在Linux启动的时候运行。

方案二：使用Supervisor

参考链接一：在阿里云服务器上配置CentOS+Nginx+Python+Flask环境
参考链接二：Linux后台进程管理利器：supervisor

概述

Linux的后台进程运行有好几种方法，例如nohup，screen等，但是，如果是一个服务程序，要可靠地在后台运行，我们就需要把它做成daemon，最好还能监控进程状态，在意外结束时能自动重启。

supervisor就是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。

一些偶发小问题的记录

Host key verification failed

问题：格式化阿里云实例后，ssh登录提示Host key verification failed
原因：

• ssh会把你每个你访问过计算机的公钥(public key)都记录在~/.ssh/known_hosts。当下次访问相同计算机时，OpenSSH会核对公钥。如果公钥不同，OpenSSH会发出警告，避免你受到DNS Hijack之类的攻击
• SSH对主机的public_key的检查等级是根据StrictHostKeyChecking变量来配置的。默认情况下，StrictHostKeyChecking=ask，其他配置值如下：
  • StrictHostKeyChecking=no
  • StrictHostKeyChecking=ask
  • StrictHostKeyChecking=yes

配置：在.ssh/config（或者/etc/ssh/ssh_config）中配置

StrictHostKeyChecking no #不开启public key验证
UserKnownHostsFile /dev/null

BTW:config文件中，也是使用#作为注释哒
参考链接：ssh中“Host key verification failed.“的解决方案

最后啰嗦一下

空白阿里云装配顺序

1. 配SSH，相信我，配好以后你会愿意在空闲的时候随手连一下你的宝贝服务器，看看它乖不乖的...
2. yum install git
3. git clone你的项目
4. 安装pyenv并配一个虚环境
5. pip install -r requirements.txt
6. 测试下能不能run起来你的Flask程序

以上，基本可以跑起来你的Flask程序啦~

7. 安装Gunicorn，-测试下使用Gunicorn做为web服务器的优势...（真的快不少呢...TODO:搞清楚原理是啥... 原理可以看上文，已经简单研究过了嗷）- 使用Gunicorn这个web服务器，运行你的python项目到某个端口号
8. 安装Nginx，作为Gunicorn的反向代理，监听Gunicorn启动的端口号，并配置转发

---

关于

距离上次配好服务器，run起来自己写的Python服务器程序（2017年9月25日）已经两个多月了（2017年12月7日）尴尬...忘了好多东西了蛤蛤蛤。。。
这一部分记录下以后遇到这种情况如何处理吧：

1. 先直接放问下你的IP，看看服务跑着没有
2. 'netstat -ntpl' 查看下端口的占用情况
3. cd到/etc/nginx/nginx.conf 看看你的nginx配置，应该差不多就想起来了...
   最后一部分Daemon部分，我是真的一点都想不起来了...尴尬...

关闭服务们

sudo service nginx stop
执行以后nginx的消息转发功能失效，但是直接访问Gunicorn起的接口还是可以访问到的
sudo fuser -k 8080/tcp
杀死Gunicorn启动的进程，执行后这个服务就被彻底杀死了...