Hive调度工具Airflow

目录

 

搭建CentOS7虚拟环境

使用root账户登录

Docker安装

①卸载之前的docker

②安装必要的依赖

③设置docker仓库

④安装docker

⑤启动docker

⑥查看docker启动成功了吗

python3安装

AirFLow安装

docker-compose工具安装

 

---

搭建CentOS7虚拟环境

Window10、vagrant、virtualbox搭建CentOS7虚拟环境(略)

正常启动： vagrant up

进入刚才创建的centos7： vagrant ssh，默认使用vagrant账户登录

停止/关闭centos7:    vagrant halt

查看centos7的状态:  vagrant status

优雅关闭：vagrant halt

使用root账户登录

    vagrant ssh   进入到虚拟机中
    sudo  -i
    vi /etc/ssh/sshd_config
    修改 PasswordAuthentication yes
    passwd修改密码，比如abc123
    systemctl restart sshd
    使用账号root，密码abc123 登录centos7

Docker安装

 

①卸载之前的docker

 sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

②安装必要的依赖

    yum install -y yum-utils \
    device-mapper-persistent-data \
    lvm2

③设置docker仓库

 yum-config-manager \
      --add-repo \
      https://download.docker.com/linux/centos/docker-ce.repo

④安装docker

 yum install -y docker-ce docker-ce-cli containerd.io

⑤启动docker

systemctl start docker

⑥查看docker启动成功了吗

docker info

 

python3安装

• 安装python3: yum install python3 python3-devel
• 安装airflow的依赖包(用于python包的编译): yum install gcc

 

 

docker-compose工具安装

•  python -m pip install -U pip
• .pip3 install docker-compose --user

--user 表示装在当前用户目录下面，不装在系统目录下。若不加--user表示装在系统目录下，非root用户，需要sudo命令访问系统目录

• 在/usr/local/airflow目录下，创建docker- comose. yml文件。(目录位置任意)

version: '3.7'
services:
    postgres:
        image: postgres:9.6
        environment:
            - POSTGRES_USER=airflow
            - POSTGRES_PASSWORD=airflow
            - POSTGRES_DB=airflow
        logging:
            options:
                max-size: 10m
                max-file: "3"

    webserver:
        image: puckel/docker-airflow:1.10.9
        restart: always
        depends_on:
            - postgres
        environment:
            - LOAD_EX=n
            - EXECUTOR=Local
            - AIRFLOW__CORE__DEFAULT_TIMEZONE=Asia/Shanghai
            - AIRFLOW__CORE__FERNET_KEY=1yJpaun-_8o-UsueWmfPO1C-1D28DLx2r6patoEv2Gs=
        logging:
            options:
                max-size: 10m
                max-file: "3"
        volumes:
            - ./dags:/usr/local/airflow/dags
            # - ./plugins:/usr/local/airflow/plugins
        ports:
            - "8080:8080"
        command: webserver
        healthcheck:
            test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
            interval: 30s
            timeout: 30s
            retries: 3

• 在/usr/local/airflow目录下执行docker-compose up -d，启动docker-compose容器；
• docker-compose ps命令，查看启动的容器

 

• 进入postgres容器，看一看，

执行命令：docker-compose exec postgres bash

 

• 停止项目容器 docker-compose stop <服务 - 可选 >
• 停止一个容器使用：docker stop
• 关闭虚拟机： vagrant halt
• webui界面：http://hostname:8080/admin/