一、前言废话

下载hadoop-2.10.0.tar.gz
下载jdk-8u241-linux-x64.tar.gz
ArcGIS 10.7.1
CentOS 7.6

二、HDFS安装

伪集群部署，将NameNode和DataNode部署在同一台机器（机器名：hdsf.hadoop 192.168.1.36)

2.1配置Java环境（若集群则需要每台机器都配置Hadoop环境）

创建Java目录并将下载好的JDK拷贝到目录中
[root@hdfs ~]# mkdir /usr/local/Java
[root@hdfs Java]# tar -zxvf jdk-8u241-linux-x64.tar.gz
[root@hdfs ~]# vim .bash_profile

export    JAVA_HOME=/usr/local/Java/jdk1.8.0_241
export    CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export    PATH=$JAVA_HOME/bin:$PATH

[root@hdfs ~]# source .bash_profile

验证Java环境配置
[root@hdfs ~]# java -version

java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

2.2配置ssh无密码登录（若集群需要将authorized_keys拷贝到每台机器的.ssh)

[root@hdfs .ssh]# cd ~/.ssh #连击4个回车
[root@hdfs .ssh]# ssh-keygen -t rsa
[root@hdfs .ssh]# cat id_rsa.pub >> authorized_keys

2.3安装hadoop环境(若集群则配置Name后复制到同目录Data结点）

创建Hadoop目录并将下载好的JDK拷贝到目录中
[root@hdfs ~]# mkdir /usr/local/Hadoop
[root@hdfs ~]# mkdir /usr/local/Hadoop/hadoopdata
[root@hdfs Hadoop]# tar -zxvf hadoop-2.10.0.tar.gz

2.3.1将JAVA_HOME配置到Hadoop启动命令中

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/hadoop-env.sh
注释掉 export JAVA_HOME=${JAVA_HOME}
添加 export JAVA_HOME=/usr/local/Java/jdk1.8.0_241

2.3.2 配置core-site.xml

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/core-site.xml
在和之间加入的代码


        fs.defaultFS
        hdfs://hdfs.hadoop:8020
    
    
        hadoop.tmp.dir
        /usr/local/Hadoop/hadoopdata

core-site.xml

2.3.3 配置hdfs-site.xml

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/hdfs-site.xml
在和之间加入的代码


                dfs.replication
                1   #DataNode数量
        
        
                dfs.namenode.name.dir
                /usr/local/Hadoop/hadoopdata/dfs/name   #namenode位置
            
        
                dfs.datanode.data.dir
                /usr/local/Hadoop/hadoopdata/dfs/data    #DataNode位置
        
        
                dfs.namenode.secondary.http-address
                192.168.1.36:50090

hdfs-site.xml

2.2.4配置yarn-site.xml

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/yarn-site.xml
在和之间加入的代码


        yarn.nodemanager.aux-services
        mapreduce_shuffle


        yarn.resourcemanager.address
        hdfs.hadoop:18040


        yarn.resourcemanager.scheduler.address
        hdfs.hadoop:18030


        yarn.resourcemanager.resource-tracker.address
        hdfs.hadoop:18025


        yarn.resourcemanager.admin.address
        hdfs.hadoop:18141


        yarn.resourcemanager.webapp.address
        hdfs.hadoop:18088

yarn-site.xml

2.3.5 配置mapred-site.xml

[root@hdfs hadoop]# cp /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml.template /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml
[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/mapred-site.xml
在和之间加入的代码


                mapreduce.framework.name
                yarn

mapred-site.xml

2.3.6 配置slaves

[root@hdfs hadoop]# vim /usr/local/Hadoop/hadoop-2.10.0/etc/hadoop/slaves
将DataNode的机器IP（或机器名）写入配置文件

2.4配置Hadoop环境变量(若集群则每台都需要配置）

[root@hdfs ~]# vim .bash_profile

export    HADOOP_HOME=/usr/local/Hadoop/hadoop-2.10.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[root@hdfs ~]# source .bash_profile

2.5格式化hadoopdata目录（若集群需要先将Hadoop目录拷贝到其他DataNode机器）

[root@hdfs ~]# hadoop namenode -format

2.6启动Hadoop集群

[root@hdfs ~]# start-all.sh（约5分钟）
[root@hdfs ~]# jps 验证启动结果

验证安装情况

三、将HDFS注册到GeoAnalytics Server中

3.1使用dfs命令创建arcgis数据文件夹

[root@hdfs sbin]# hdfs dfs -mkdir -p /data/arcgis

3.2将数据文件夹注册到GeoAnalytics Server

将hdfs注册到GA

验证注册结果

验证结果

ArcGIS GeoAnalytics Server配置HDFS存储