Airflow填坑 - 生产环境实战，开始时间与周期的设置

对于Airflow的介绍、作用，在此不做赘述，以下是本人在工作中，对于Airflow的使用和一些填坑，希望对您有所帮助。

首先，介绍一下需求

---

在大数据处理阶段，也就是数据的ETL，我们通过公司自己开发的平台，将各个业务流程模型化，模型 = 输入算子 + 数据处理算子（SQL化，底层为sparksql） + 输出算子，类似于这种模型，代表一个个的业务，对于开发者来说，当然比较方便，但在客户公司去部署项目时，高层希望脱离这个平台，因为这是为了方便我们大数据处理而开发的，最好是对于用户透明。

将数据处理透明化，我们能做到的是，将开发好的模型全部导出，这时候，问题就出现了，怎么去统一调度这一百多个模型，涉及到的需求有，五分钟、小时、天等等复杂调度，并且模型之间存在依赖，通过调研，最后决定采用Airflow作为调度平台。

Airflow的调度是通过脚本进行的，在脚本中，定义开始时间和调度周期，官方的开始时间设置有两种方式：

 

生产环境下，当然用第一种，但是存在的问题是，如果重新启动，需要使用的人去进入服务器，改变开始时间，不太友好，也不安全。

通过反复的测试，研究了一个方法解决这个问题，以下是详细的代码，亲测可用。

# coding: utf-8
import airflow
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.operators.bash_operator import BashOperator
from datetime import timedelta,datetime as datetime1
import datetime as datetime2

dt = datetime1.now()-datetime2.timedelta(hours=1)

# 定义默认参数
default_args = {
    'owner': 'fjk',  # 拥有者名称
    'depends_on_past': True,   # 是否依赖上一个自己的执行状态
    'start_date': datetime1(dt.year,dt.month,dt.day,dt.hour)
    #'start_date': airflow.utils.dates.days_ago(2),
}

# 定义DAG
dag = DAG(
    dag_id='20007_as_h',  # dag_id
    default_args=default_args,  # 指定默认参数
    #schedule_interval='*/5 * * * *',  # 执行周期，依次是分，时，天，月，年，此处表示每个整点执行
    schedule_interval=timedelta(hours=1)
)

"""
2.通过BashOperator定义执行bash命令的任务
"""

t1 = BashOperator(   #将模型的文本就行参数的修改
    task_id='task1',
    depends_on_past=True,
    bash_command='sed -ie "s/(start)/$(date -d "10 minute ago" +"%Y-%m-%d %H:00:00")/g" /opt/model/20007_tj_h_as.txt&&sed -i "s/(end)/$(date -d "10 minute ago" +"%Y-%m-%d %H:59:59")/g" /opt/model/20007_tj_h_as.txt&&sed -i "s/(ip)/172.21.1.237/g" /opt/model/20007_tj_h_as.txt&&sed -ie "s/(start)/$(date -d "12 hour ago" +"%Y-%m-%d %H:%M:00")/g" /opt/model/20007_yc_as_h.txt&&sed -i "s/(end)/$(date -d now +"%Y-%m-%d %H:%M:00")/g" /opt/model/20007_yc_as_h.txt&&sed -i "s/(ip)/172.21.1.237/g" /opt/model/20007_yc_as_h.txt',
    dag=dag
)

# 进行统计模型的启动

t2 = BashOperator(   #通过BashOperator定义执行bash命令的任务
    task_id='task2',
    depends_on_past=True,
    bash_command='sh /topsec/spark-2.3.0-hadoop2.7/bin/spark-submit --jars /opt/spark-launcher.jar --class io.xknow.spark.ContainerOperatorLauncher spark-internal --context /opt/software/context.txt --operatorJarHome /user/patronus/operators/SPARK --process /opt/model/20007_tj_h_as.txt >> /opt/log/20007_tj_h_as.log 2>&1',
    dag=dag
)

# 进行预测模型的启动
t3 = BashOperator(   #通过BashOperator定义执行bash命令的任务
    task_id='task3',
    depends_on_past=True,
    bash_command='sh /topsec/spark-2.3.0-hadoop2.7/bin/spark-submit --jars /opt/spark-launcher.jar --class io.xknow.spark.ContainerOperatorLauncher spark-internal --context /opt/software/context.txt --operatorJarHome /user/patronus/operators/SPARK --process /opt/model/20007_yc_as_h.txt >> /opt/log/20007_yc_as_h.log 2>&1',
    dag=dag
)

t4 = BashOperator(   #将模型的文本就行参数的修改
    task_id='task4',
    depends_on_past=True,
    bash_command='rm -rf /opt/model/20007_tj_h_as.txt&&mv /opt/model/20007_tj_h_as.txte /opt/model/20007_tj_h_as.txt&&rm -rf /opt/model/20007_yc_as_h.txt&&mv /opt/model/20007_yc_as_h.txte /opt/model/20007_yc_as_h.txt',
    dag=dag
)

t1 >> t2 >> t3 >> t4

 

如果有更优的办法，希望小伙伴们多交流，不胜感激！