hadoop安装包解压之后的操作

Hadoop解压完成之后配置流程

修改hadoop-env.sh和yarn-env.sh

进入hadoop-3.2.4/etc/hadoop/ 修改这两个文件增加 ：

JAVA_HOME={java的路径}

修改配置文件core-site.xml 和 hdfs-site.xml

进入hadoop-3.2.4/etc/hadoop/ 修改这两个文件增加 ：

 // 这是core-site.xml
<configuration>
<!--hdfs临时路径-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
</property>
<!--hdfs 的默认地址、端口 访问地址-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020
</property>
<property>
      <name>dfs.namenode.name.dir</name>
    <value>/data/hadoop/namenode</value>
    </property>
    <property>
      <name>dfs.datanode.name.dir</name>
      <value>/data/hadoop/datanode</value>
    </property>
</configuration>

// 这是hdfs-site.xml
<configuration>
<!--hdfs web的地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>master:50070</value> 
</property>
<!-- 副本数-->
<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<!-- 是否启用hdfs权限检查 false 关闭 -->
       <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
<!-- 块大小,默认字节, 可使用 k m g t p e-->
       <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
  </configuration>

修改配置文件mapred-site.xml、yarn-site.xml、workers

进入hadoop-3.2.4/etc/hadoop/
在mapred-site.xml增加

<!--local表示本地运行，classic表示经典mapreduce框架，yarn表示新的框架-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.2.4</value>
</property>
<property>
        <name>mapreduce.application.classpath</name>
        <value>/opt/hadoop-3.2.4/share/hadoop/mapreduce/*:/opt/ hadoop-3.2.1 /share/hadoop/mapreduce/lib/*

在yarn-site.xml中增加：

<!--集群master-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>

<!-- NodeManager上运行的附属服务-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 关闭内存检测-->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

修改workers：

vim workers
master
node1
node2

拷贝Hadoop安装包

scp -r /opt/server/hadoop/hadoop-3.2.4/ node1:/opt/server/hadoop

创建数据目录

cd /opt
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/namenode
ssh node1 "mkdir -p data/hadoop/tmp"
ssh node1 "mkdir -p data/hadoop/datanode"

格式化HDFS

cd /opt/server/hadoop/hadoop-3.2.4/bin

./hdfs namenode -format cluster_demo01

集群启动

在Master节点：$HADOOP_HOME/sbin/start-dfs.sh ，启动HDFS 。
在Master节点：$HADOOP_HOME/sbin/start-yarn.sh， 启动YARN。
在Master节点：$HADOOP_HOME/bin/start-all.sh，启动所有服务。