Atlas 2.2.0 安装部署

Apache Atlas 是一套可扩展、可延伸的核心基础治理服务,使企业能够切实有效地满足 Hadoop 中的合规性要求,并允许与整个企业数据生态系统集成。

Apache Atlas 提供开放的元数据管理和治理功能,使企业能够建立数据资产目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作功能。

在实际应用中,Atlas 主要用于查看数据血缘,下面我们来看一下 Atlas-2.2.0 的安装部署步骤。

前提

使用 Atlas 的前提是你已经安装好了 Hadoop、Zookeeper、HBase、Hive、Kafka(不是说只能同步 Hive 元数据,是我个人目前只考虑同步 Hive 元数据)

编译 Atlas

Atlas 只提供了源码包,需要自己进行编译,首先点击这里下载源码包apache-atlas-2.2.0-sources下载地址
下载之后,将源码包上传至服务器某个路径下,进行解压,并切换至解压后的目录

tar -zxvf apache-atlas-2.2.0-sources
cd apache-atlas-sources-2.2.0

执行如下命令进行编译

mvn clean -DskipTests install

编译过程中如果出现了类似与下面的报错

[ERROR] Failed to execute goal on project atlas-testtools: Could not resolve dependencies for project org.apache.atlas:atlas-testtools:jar:2.3.0: Failed to collect dependencies at org.apache.solr:solr-test-framework:jar:8.6.3 -> org.restlet.jee:org.restlet:jar:2.4.3: Failed to read artifact descriptor for org.restlet.jee:org.restlet:jar:2.4.3: Could not transfer artifact org.restlet.jee:org.restlet:pom:2.4.3 from/to maven-restlet (https://maven.restlet.com): Transfer failed for https://maven.restlet.com/org/restlet/jee/org.restlet/2.4.3/org.restlet-2.4.3.pom: PKIX path validation failed: …

可以尝试一下这个命令:

mvn -DskipTests -Dmaven.wagon.http.ssl.ignore.validity.dates=true -Dmaven.wagon.http.ssl.allowall=true -Dmaven.wagon.http.ssl.insecure=true  clean install

看到 BUILD SUCCESS 证明编译成功。

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

打包 Atlas

编译完成后还需要进行打包,Atlas 提供了如下三种打包方式:(在 apache-atlas-sources-2.2.0 目录执行以下命令)

  1. mvn clean -DskipTests package -Pdist
  2. mvn clean -DskipTests package -Pdist,embedded-hbase-solr
  3. mvn clean package -Pdist,embedded-cassandra-solr

其中:

  • 方式 1 表示使用外部组件;
  • 方式 2 表示使用内置的 HBase 和 Solr;
  • 方式 3 表示使用内置的 cassandra 和 Solr

由于我没有安装过 Solr,我选择的是第二种,但是,使用内置 HBase 时各种报错,后面通过修改配置文件改用了外部 HBase(非 Atlas 内置 HBase)

打包过程中出现的报错一般是缺少某个包,在 maven下载后上传至指定目录即可(参考报错日志)

安装 Atlas

打包完成后就可以安装了,进入 /opt/module/apache-atlas-sources-2.2.0/distro/target
解压 apache-atlas-2.2.0-server.tar.gz

tar -zxvf apache-atlas-2.2.0-server.tar.gz

移动目录

mv apache-atlas-2.2.0 /opt/module

进入 /opt/module/apache-atlas-2.2.0/conf 修改 atlas-application.properties 关键信息如下:

atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181

atlas.kafka.data=/opt/module/kafka_2.12-3.0.0/atlaslogs
atlas.kafka.zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
atlas.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

atlas.kafka.enable.auto.commit=true

atlas.rest.address=http://hadoop102:21000

atlas.audit.hbase.zookeeper.quorum=hadoop102:2181,hadoop103:2181,hadoop104:2181

修改 atlas-env.sh 关键信息如下:

export JAVA_HOME=/opt/module/jdk1.8.0_212

export MANAGE_LOCAL_HBASE=false

export HBASE_CONF_DIR=/opt/module/hbase/conf

atlas-application.properties 复制到 Hive 配置文件目录

cp atlas-application.properties /opt/module/hive/conf

启动 Atlas

依次启动 Hadoop、Zookeeper、HBase、Kafka、Hive

将 Atlas 主目录添加到 profile 文件

sudo vim /etc/profile.d/my_env.sh

#添加如下内容
#ATLAS_HOME
export ATLAS_HOME=/opt/module/apache-atlas-2.2.0
export PATH=$PATH:$ATLAS_HOME/bin
#保存退出

source /etc/profile.d/my_env.sh

切换至 Atlas 主目录 /opt/module/apache-atlas-2.2.0

初次启动时,执行如下三条命令

bin/atlas_start.py

bin/atlas_stop.py

bin/atlas_start.py

如果正常启动可以看到如下日志:

[omc@hadoop102 apache-atlas-2.2.0]$ bin/atlas_start.py
/opt/module/hbase/conf

Configured for local Solr.
Starting local Solr...
Local Solr started!

Creating Solr collections for Atlas using config: /opt/module/apache-atlas-2.2.0/conf/solr

Starting Atlas server on host: localhost
Starting Atlas server on port: 21000
........................
Apache Atlas Server started!!!

[omc@hadoop102 apache-atlas-2.2.0]$

浏览器登陆 http://hadoop102:21000/login.jsp

用户名密码都是 admin

登录之后可以看到如下页面
Atlas 2.2.0 安装部署_第1张图片

到这里,安装部署就介绍完了,大家有问题可以私信我或者留言,码字不易,一键三连啊,朋友们~~

你可能感兴趣的:(atlas,大数据)