airflow分布式部署踩坑记录之其他篇

• Q1:怎么进行分布式部署？
  airflow celery采用的是消息队列的方式生产任务，分发任务和执行任务，所以想要进行分布式部署，只需要在不同机器上部署完全一样的airflow服务，在borker节点上开启airflow的webserver，scheduler，flower服务以及mysql服务和rabbitMQ服务，在其他机器上设置和borker节点上相同的配置信息，并且只开启worker服务。

• Q2启用访问认证？

  • 安装用户管理插件 user_management
    插件地址 https://github.com/teamclairvoyant/airflow-user-management-plugin
    使用插件添加用户名和邮箱以及密码
  • 添加配置开启登陆认证
    vim AIRFLOW_HOME/airflow.cfg
[webserver]
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth
    重新启动airflow服务，登陆即可
  • 遇到ValueError: too many values to unpack的错误是因为sqlalchemy模块的问题
    执行pip install -U'sqlalchemy==1.1.18'即可解决

• 怎么添加添加celery的其他配置？（明天补）