Python Web开发服务器选型

1、SimpleHTTPServer

python自带的简单服务器,可以通过如下命令启动:一般用于文件下载启动。

python -m SimpleHTTPServer

也可以基于SimpleHTTPServer进行改造,但是是单线程的Web server,所以性能很差。

2、flask or django

flask和django框架自带server,以flask为例,可以直接代码里启动或者通过命令启动。通常支持多线程启动。

Windows环境不支持多进程;debug=True 时设置的多线程无效,因此需要将debug=False

# 1.threaded : 多线程支持,默认为False,即不开启多线程;
app.run(threaded=True)

# 2.processes:进程数量,默认为1.
app.run(processes=True)
ps:多进程或多线程只能选择一个,不能同时开启

or

flask 命令启动,不过不推荐。
1、
$ FLASK_APP=app FLASK_ENV=development flask run

2、
$ FLASK_APP=app FLASK_DEBUG=1 flask run

3、
export FLASK_APP=app
export FLASK_ENV=development
flask run

参考:https://dormousehole.readthedocs.io/en/latest/cli.html

3、genvent做协程

from genvent.wsgi import  WSGIServer
from genvent import monkey

monkey.patch_all()
app = Flask(__name__)
app.config.from_object(config)
api = Api(app)

db = DBInfo()
# db_old = DBInfo_old()

然后通过这种方式包装WSGIServer((address,port), app).serve_forever(),
通过python code.py 的方法,来启动服务。

4、tornado

高性能的多线程异步非阻塞Web server,使用简单。但是python有GIL,所以多线程无法利用多核,导致并发性能较差。

5、gunicorn(with genvent)

# 启动命令
gunicorn --worker=3 main:app -b 0.0.0.0:8080

WSGI server,需要给出配置文件指定CPU核数等,重点进行介绍:

默认是同步工作,支持Gevent、Eventlet异步,支持Tornado。

  • Gunicorn是基于prefork模式的Python wsgi应用服务器,支持 Unix like的系统
  • 采用epoll (Linux下) 非阻塞网络I/O 模型
  • 多种Worker类型可以选择同步的,基于事件的(gevent、tornado等),基于多线程的
  • 高性能,比之uwsgi不相上下
  • 配置使用非常简单
  • 支持 Python 2.x >= 2.6 or Python 3.x >= 3.2

gunicorn配置

1) -c CONFIG,--config=CONFIG
指定一个配置文件(py文件)。
2) -b BIND,--bind=BIND
与指定socket进行绑定。
3) -D,--daemon
后台进程方式运行gunicorn进程
4) -w WORKERS,--workers=WORKERS
工作进程的数量。上边提到gunicorn是一个pre-fork worker模式,就是指gunicorn启动的时候,在主进程中会预先fork出指定数量的worker进程在处理请求时,gunicorn依靠操作系统来提供负载均衡,通常推荐的worker数量是:(2 x $num_cores) + 1。多进程多线程。

5) -k WORKERCLASS,--worker-class=WORKERCLASS
工作进程类型,包括sync(默认)eventletgevent(推荐),tornado(多线程),gthread,gaiohttp
6) --backlog INT
最大挂起的连接数
7) --log-level LEVEL
日志输出等级。

  • debug
  • info
  • warning
  • error
  • critical

8) --access-logfile FILE
访问日志输出文件,类似于nginx的access log。'-' 表示输出到标准输出.
9) --error-logfile FILE, --log-file FILE
错误日志输出文件。 '-' 表示输出到标准错误输出。

10)--chdir

切换到指定的工作目录。

 

配置文件实例:

# gunicorn.conf.py
import logging
import logging.handlers
from logging.handlers import WatchedFileHandler
import os
import multiprocessing
bind = '127.0.0.1:8000'      #绑定ip和端口号
backlog = 512                #监听队列
chdir = '/home/test/server/bin'  #gunicorn要切换到的目的工作目录
timeout = 30      #超时
worker_class = 'gevent' #使用gevent模式,还可以使用sync 模式,默认的是sync模式

workers = multiprocessing.cpu_count() * 2 + 1    #进程数
threads = 2 #指定每个进程开启的线程数
loglevel = 'info' #日志级别,这个日志级别指的是错误日志的级别,而访问日志的级别无法设置
access_log_format = '%(t)s %(p)s %(h)s "%(r)s" %(s)s %(L)s %(b)s %(f)s" "%(a)s"'    #设置gunicorn访问日志格式,错误日志无法设置

"""
其每个选项的含义如下:
h          remote address
l          '-'
u          currently '-', may be user name in future releases
t          date of the request
r          status line (e.g. ``GET / HTTP/1.1``)
s          status
b          response length or '-'
f          referer
a          user agent
T          request time in seconds
D          request time in microseconds
L          request time in decimal seconds
p          process ID
"""
accesslog = "/home/test/server/log/gunicorn_access.log"      #访问日志文件
errorlog = "/home/test/server/log/gunicorn_error.log"        #错误日志文件

nohup

nohup是一个 Linux 命令,搭配 &不挂断地运行某条命令达到后台执行的效果,默认会在根目录生成一个 nohup.out文件用来记录所有的 log 信息,也可以重定向到其他位置。这里我们用它来执行gunicorn,来保持 gunicorn 进程不会被挂断。

nohup gunicorn --worker-class=gevent NSLoger.wsgi:application -b 127.0.0.1:8000 &

supervisor

通过supervisor启动程序,supervisor启动有两种:

  1. 命令行二进制bin文件启动(推荐);
  2. 通过python自带的supervisor库启动。

WSGI协议

Web框架(比如flask和django)致力于如何生成HTML代码,而Web服务器(比如tornado)用于处理和响应HTTP请求。Web框架和Web服务器之间的通信,需要一套双方都遵守的接口协议。WSGI协议就是用来统一这两者的接口的。

常用的WSGI容器有Gunicorn和uWSGI,但Gunicorn直接用命令启动,不需要编写配置文件,相对uWSGI要容易很多。

总结

最后推荐一个常用架构:flask + gunicorn + celery + redis + mysql。

你可能感兴趣的:(Python,网络协议)