部署Hadoop集群

在node1节点执行，以root身份

1：在VMware虚拟机集群上部署HDFS集群

1）准备好hadoop安装包；目前最新3.3.4；

了解：

2）上传解压hadoop

①：上传hadoop到node1节点；

②：解压安装包到   /export/server （自己定的文件夹）中：

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

③：构建软连接也可改名（修改文件名用mv）

cd /export/server

ln -s /export/server/hadoop-3.3.4 hadoop

④：进入安装包内

cd hadoop

配置HDFS集群我们主要涉及到如下文件修改：

• workers： 配置从节点DataNode有哪些
• hadoop-env.sh：配置相关环境变量
• core-site.xml:  hadopp的核心配置文件
• hdfs.site.xml：  hdfs的核心配置文件

这些文件都存在$hadoop_home/etc/hadoop文件夹中；

• 配置workers文件

#进入配置文件目录
cd /etc/hadoop
#编辑workers文件
vim workers
#填入如下内容
node1
node2
node3

表明集群记录了三个从节点（aNode）

• 配置hadoop-evn.sh文件

#填入如下内容：
export JAVA_HOME=/export/server/jdk            //指明jdk环境的位置在哪
export HADOOP_HOME=/export/server/hadoop       //指明hadoop的安装位置
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop //指明hadoop配置文件目录位置
export HADOOP_LOG_DIR=$HADOOP_HOME/logs        //指明hadoop运行日志目录位置

• 配置core-site.xml文件

fs.defalutFS
hdfs://node1:8020



io.file.buffer.size
131072

• 配置hdfs-site.xml

 

2.分发

配置hadoop的环境变量并分发

把root权限改成hadoop用户的权限

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

最后：

jps查看