apache-atlas安装教程-离线安装

apache-atlas安装教程-离线安装(使用内嵌Hbase和solr方式,版本1.1.0)


由于这里的虚拟机不能联网,因此第一、第二步我在自己电脑上做的,后面步骤在虚拟机中操作,即实现离线安装


源码下载:

国内下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/1.1.0/
官方下载地址:http://atlas.apache.org/Downloads.html

1. 编译源码

  • 环境准备,jdk1.8以上,maven3.5以上
  • 编译前,修改pom.xml中一个jar包版本由3.0.1版本改为3.0.5版本,否则会报错

    org.codehaus.mojo
    findbugs-maven-plugin
    3.0.5

  • 编译方法:在apache-atlas-sources-1.1.0目录执行:
    apache-atlas-sources-1.1.0
  • 编译过程比较长需要耐心等待…

2. 打包

  • 不使用内嵌sorl和hbase方式:
mvn clean -DskipTests package -Pdist
  • 使用内嵌sorl和hbase方式:
mvn clean -DskipTests package -Pdist,embedded-hbase-solr
  • 打包过程也比较长需要耐心等待…
  • 打包完成后的jar包位于目录:\apache-atlas-sources-1.1.0\distro\target 中

3. 部署apache atlas

  • 部署到/opt/apache-atlas目录,没有就新建
  • 将安装包:apache-atlas-1.1.0-bin.tar.gz复制到/opt/apache-atlas目录
  • 解压:tar -zxvf apache-atlas-1.1.0-bin.tar.gz
  • 用内嵌的 hbase 和 solr启动,配置hbase和solr跟随atlas启动和停止
cd /opt/apache-atlas/apache-atlas-1.1.0
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64 
export MANAGE_LOCAL_HBASE=true 
export MANAGE_LOCAL_SOLR=true

如果系统默认python环境为python2则可直接执行此命令启动:
bin/atlas_start.py

centos如果系统默认使用python3环境的话,用下面命令指定使用系统自带的python2环境启动:
/usr/bin/python2 bin/atlas_start.py
  • 验证是否启动成功:
执行:
curl -u admin:admin http://localhost:21000/api/atlas/admin/version

返回结果为:
{"Description":"Metadata Management and Data Governance Platform over Hadoop","Version":"1.0.0","Name":"apache-atlas"}
则成功启动
  • 访问路径:http://172.30.251.67:21000/login.jsp
  • 添加自带例子:bin/quick_start.py
  • 停止:bin/atlas_stop.py
  • 备注
    相关日志目录说明
    apache atlas 日志目录:/opt/apache-atlas/apache-atlas-1.1.0/logs
    内嵌hbase日志目录:/opt/apache-atlas/apache-atlas-1.1.0/hbase/logs
    内嵌solr日志目录:/opt/apache-atlas/apache-atlas-1.1.0/solr/server/logs

4.hive hook 部署

  • 修改atlas-application.properties
    相关配置 配置文件位于:$ATLAS_HOME/conf/atlas-application.properties

    添加如下配置:

######### Hive Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary
  • 将apache atlas的安装目录拷贝到所有有hiveserver2角色的服务器中
    部署路径为:ATLAS_HOME=/opt/apache-atlas/apache-atlas-1.1.0
  • 在cm中修改hiveserver2的配置:

2018082510092014

你可能感兴趣的:(大数据)