Centos7下配置celery+rabbitmq+django执行异步任务和定时任务
单说Python web框架我们知道django和flask这些应用比较多的框架都是同步框架，
同步指页面无法进行异步加载，通俗一点就是你的业务逻辑只能在该页面进行，当任务没有执行完的时候，你跳转页面，或者别的操作后导致你的任务没有完全处理完成，导致整个业务有很大的漏洞，
在用户体验方面也是不好的，异步处理目的是高度解耦，使一些时间过长，任务过多的操作保存起来，交给后台慢慢处理，保证了用户的基本操作不会受到影响，也提高了后台服务器处理的压力，
我们这里就使用celery定时或者异步处理，rabbitmq作为broker，保证程序的完美运行。
以下是在真实环境下安装步骤过程，
系统环境
centos 7.3
django 1.11.5
django-celery 3.2.2
rabbitmq 3.61
erlang 19.3
1 编译安装方式 安装erlang语言环境（rabbitmq需要的特定环境）
yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel unixODBC unixODBC-devel httpd python-simplejson
2 erlang语言环境的安装(rabbitMq是用erlang分布式语言开发的，下载版本可能略有不同)
wget http://erlang.org/download/otp_src_19.2.tar.gz
2.1解压elang压缩包：
tar -xzvf otp_src_19.2.tar.gz
2.2进入erlang目录：
cd otp_src_19.2
2.3编译安装erlang语言环境 prefix=/usr/local/erlang 为安装目录（编译过程中可能出现问题）：
参考文献
https://www.cnblogs.com/gotodsp/p/7183811.html
我安装过程中出现java环境编译失败，但是我生产过程中没有使用java环境，所以直接略过问题，make install 安装了，也是参考博客安装的，后来成功啦！
./configure --prefix=/usr/local/erlang --enable-smp-support --enable-threads --enable-sctp --enable-kernel-poll --enable-hipe --with-ssl --without-javac
erlang语言编译配置选项:
–prefix 指定安装目录
–enable-smp-support启用对称多处理支持（Symmetric Multi-Processing对称多处理结构的简称）
–enable-threads启用异步线程支持
–enable-sctp启用流控制协议支持（Stream Control Transmission Protocol，流控制传输协议）
–enable-kernel-poll启用Linux内核poll
–enable-hipe启用高性能Erlang –with-ssl 启用ssl包 –without-javac
不用java编译
2.4开始安装编译：
make && make install
2.5配置erlang环境变量：
vim /etc/profile
export PATH=$PATH:/usr/local/erlang/bin
source /etc/profile
2.6测试erlang安装是否成功：
erl Erlang/OTP 17 [erts-6.2] [source] [smp:2:2] [async-threads:10] [kernel-poll:false]
Eshell V6.2 (abort with ^G)
会输出 erlang安装版本号
3 下载安装配置RabbitMQ：
3.1下载安装：
cd /usr/local //切换到计划安装RabbitMQ的目录，我这里放在/usr/local
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.1/rabbitmq-server-generi
c-unix-3.6.1.tar.xz //下载RabbitMQ安装包
xz -d rabbitmq-server-generic-unix-3.6.1.tar.xz
tar -xvf rabbitmq-server-generic-unix-3.6.1.tar
解压后多了个文件夹rabbitmq-server-3.6.1 ，重命名为rabbitmq以便操作。
mv rabbitmq_server-3.6.1/ rabbitmq
3.2配置rabbitmq环境变量：
vi /etc/profile
#set rabbitmq environment
export PATH=$PATH:/usr/local/rabbitmq/sbin
source /etc/profile
3.3启动服务：
rabbitmq-server -detached //启动rabbitmq，-detached代表后台守护进程方式启动。
3.4查看状态，如果显示如下截图说明安装成功：
rabbitmqctl status
3.5其他相关命令
启动服务：rabbitmq-server -detached【 /usr/local/rabbitmq/sbin/rabbitmq-server -detached 】
查看状态：rabbitmqctl status【 /usr/local/rabbitmq/sbin/rabbitmqctl status 】
关闭服务：rabbitmqctl stop【 /usr/local/rabbitmq/sbin/rabbitmqctl stop 】
列出角色：rabbitmqctl list_users
3.6配置网页插件：
首先创建目录，否则可能报错：
mkdir /etc/rabbitmq
然后启用插件：
rabbitmq-plugins enable rabbitmq_management
3.7配置防火墙：
配置linux 端口 15672 网页管理 5672 AMQP端口：
firewall-cmd --permanent --add-port=15672/tcp
firewall-cmd --permanent --add-port=5672/tcp
systemctl restart firewalld.service
现在你在浏览器中输入服务器IP:15672 就可以看到RabbitMQ的WEB管理页面了，是不是很兴奋，可是你没有账号密码，别急。
3.7配置访问账号密码和权限：
默认网页是不允许访问的，需要增加一个用户修改一下权限，代码如下：
rabbitmqctl add_user superrd superrd //添加用户，后面两个参数分别是用户名和密码，我这都用superrd了。
rabbitmqctl set_permissions -p / superrd “." ".” “.*” //添加权限
rabbitmqctl set_user_tags superrd administrator //修改用户角色
然后就可以远程访问了，然后可直接配置用户权限等信息。
登录：http://ip:15672 登录
4 celery安装及其Django内部文件配置:
4.1 安装celery:
pip3 install celery
4.2 celery用在django项目中，django项目目录结构(简化)如下
4.3 创建website/celery.py主文件
去掉注释简版代码如下
from future import absolute_import, unicode_literals
import os
from celery import Celery, platforms
from django.conf import settings
os.environ.setdefault(‘DJANGO_SETTINGS_MODULE’, ‘website.settings’)
app = Celery(‘website’)
app.config_from_object(‘django.conf:settings’)
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
platforms.C_FORCE_ROOT = True
@app.task(bind=True)
def debug_task(self):
print(‘Request: {0!r}’.format(self.request))
5.各应用创建tasks.py文件，这里为deploy/tasks.py
from future import absolute_import
from celery import shared_task
@shared_task
def add(x, y):
import time
time.sleep(10)
return x + y
注意tasks.py必须建在各app的根目录下，且只能叫tasks.py，不能随意命名
6.views.py中引用使用这个tasks异步处理:
from deploy.tasks import add
def show_file(request):
add.delay(2,3)
return JsonResponse(”ok”, safe=False)
使用函数名.delay()即可使函数异步执行
可以通过result.ready()来判断任务是否完成处理
如果任务抛出一个异常，使用result.get(timeout=1)可以重新抛出异常
如果任务抛出一个异常，使用result.traceback可以获取原始的回溯信息
7 生成celery的数据库表
python manage.py migrate
或者
python manage.py syncdb
8.启动celery:
python manage.py celery worker --loglevel=info
这样在调用show_file这个方法时，里边的add就可以异步处理了
Celery 定时任务配置，异步任务和计划任务同时开启
没有使用rabbitmq 作为broker，使用其他broker需要配置的信息如下，
参考文献
https://mp.weixin.qq.com/s/lXrp3igYo9W2UuE5Gauysg
参考文章
http://docs.celeryproject.org/en/latest/
https://github.com/pylixm/celery-examples
https://pylixm.cc/posts/2015-12-03-Django-celery.html
https://blog.csdn.net/yin767833376/article/details/81223491