一次完整的大数据环境搭建——Hadoop安装

所用软件                                    版本号

hadoop                            hadoop-2.7.3.tar.gz

---

1、Hadoop安装

（1） 创建对应工作目录/usr/hadoop并解压 hadoop 到相应目录：

mkdir -p  /usr/hadoop

tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop/

（2）配置环境变量：

vim        /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

export    CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib

export    PATH=$PATH:$HADOOP_HOME/bin #（当然具体的工作路径视情况而定）

使用命令使 profile 生效：

source /etc/profile

（3）编辑 hadoop 环境配置文件hadoop-env.sh

图1.1 hadoop-env.sh文件位置

exportJAVA_HOME=/usr/java/jdk1.8.0_171

（4）编辑core-site.xml文件

fs.default.name  hdfs://master:9000 hadoop.tmp.dir  /usr/hadoop/hadoop-2.7.3/hdfs/tmpA base for other temporarydirectories. io.file.buffer.size  131072 fs.checkpoint.period  60 fs.checkpoint.size  67108864

（5）编辑yarn-site.xml文件

  yarn.resourcemanager.address  master:18040   yarn.resourcemanager.scheduler.address  master:18030   yarn.resourcemanager.webapp.address  master:18088   yarn.resourcemanager.resource-tracker.address  master:18025 yarn.resourcemanager.admin.address master:18141 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

（6）编写 slaves 文件

图1.2 slaves文件内容

（7）编写master 文件

图1.3  master文件内容

（8）hdfs-site.xml

dfs.replication  2   dfs.namenode.name.dir  file:/usr/hadoop/hadoop-2.7.3/hdfs/name  true   dfs.datanode.data.dir  file:/usr/hadoop/hadoop-2.7.3/hdfs/data  true dfs.namenode.secondary.http-address  master:9001   dfs.webhdfs.enabled  true   dfs.permissions  false

（9）修改mapred-site.xml，首先将模板文件复制为 xml 文件，对其进行编辑：

  cpmapred-site.xml.template mapred-site.xml   

mapreduce.framework.name yarn

（10）分发 hadoop：

scp -r /usr/hadoop root@slave1:/usr/

scp -r /usr/hadoop root@slave2:/usr/

注意：slave各个 节点上还需要配置环境变量，参考 hadoop 中第（2）。

Vi  /etc/profile

export    HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

export    CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib

exportPATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

（11）master 中格式化hadoop（注意在Hadoop路径下，本文也就是 /usr/hadoop/hadoop-2.7.3）

hadoop namenode -format 

sbin/start-all.sh #（可以远程启动子节点的Hadoop，子节点可以不用任何操作）

（12）各个节点的进程如下：（slave子节点的进程都一样）

图1.4 slave节点的进程

图1.5 master节点进程

（13）同时可以访问主节点 master：50070（注意关闭防火墙哦！50070 是 hdfs 的 web 管理页面）

图1.6 hdfs的web管理界面

一次完整的大数据环境搭建目录：

一、zookeeper安装及基础环境配置

二、Hadoop安装

三、Hbase安装及配置

四、构建数据仓库Hive

说明：此系列文章是为了记录本人学习过程，以此来加深理解，希望各位大神路过！！