DataHub Docker安装 &PostreSQL元数据集成

• install docker & docker-compose，包括docker-compose升级

  • curl -L https://github.com/docker/compose/releases/download/v2.14.0/docker-compose-uname -s-uname -m-o /usr/local/bin/docker-compose

• install jq

  wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
  rpm -ivh epel-release-latest-7.noarch.rpm
  yum install -y jq
  

• 查看python 版本：python3 --version

• install

  python3 -m pip install --upgrade pip wheel setuptools
  python3 -m pip uninstall datahub acryl-datahub || true  # sanity check - ok if it fails
  python3 -m pip install --upgrade acryl-datahub
  datahub version  # zsh会报错，要 source ~/.bash_profile
  

• 下载docker-compose-without-neo4j.quickstart.yml

• start

  • offline：docker-compose -f /data/docker_server/server/datahub/docker-compose-without-neo4j.quickstart.yml up -d
  • online
    • datahub docker quickstart
    • python3 -m datahub docker quickstart

• 访问 & 口令

  • URL：http://ip:9002
  • user/passwd：datahub/datahub

• 读取 postgresql 元数据

  • 安装依赖：docker exec -it datahub-datahub-actions-1 bash
    • 安装接收器：pip3 install 'acryl-datahub[datahub-rest]'
    • 安装PostgreSQL插件：pip3 install 'acryl-datahub[postgres]'
  • 为docker内部设置国内镜像
    • docker exec -it -u root datahub-gms bash，修改/etc/apk/repositories，在其后面增加如下国内镜像

    http://mirrors.ustc.edu.cn/alpine/{version}/main
    http://mirrors.ustc.edu.cn/alpine/{version}/community
    

  • 配置
    
  • 命令行导入：datahub ingest -c /home/datahub/{配置文件}.yaml

• SQL 血缘

  • SQLLineage Git
  • SQLLineage Docs

• Refer