hadoop-伪分布式部署

版本: hadoop3.x。
hadoop有三种运行方式: 单机模式、伪分布式模式、完全分布式模式。由于只有一台服务器，所以采用了伪分布式的部署方式。

---

1. hdfs的部署

1. 从官网下载hadoop压缩包，上传到服务器并解压。
2. 服务器配置免密登录。使用 ssh localhost 测试是否配置成功。
3. 修改hadoop-env.sh。

vim etc/hadoop/hadoop-env.sh

# 添加以下配置
------------------------------
# java安装目录
export JAVA_HOME=/export/servers/jdk

# hdfs namenode的启动/停止用户
export HDFS_NAMENODE_USER=root
# hdfs datanode的启动/停止用户
export HDFS_DATANODE_USER=root
# hdfs secondarynamenode的启动/停止用户
export HDFS_SECONDARYNAMENODE_USER=root

4. 修改core-site.xml。

vim etc/hadoop/core-site.xml

------------------------------
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

5. 修改hdfs-site.xml。

vim etc/hadoop/hdfs-site.xml

------------------------------
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>hdfs副本默认数量</description>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/export/data/hadoop3/dfs/nn</value>
        <description>hdfs namenode元数据保存位置，可以配置多个，中间用逗号分隔</description>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/export/data/hadoop3/dfs/dn</value>
        <description>hdfs datanode数据保存位置，可以配置多个，中间用逗号分隔</description>
    </property>

</configuration>

6. 初始化namenode。

bin/hdfs namenode -format

7. 启动hdfs。

sbin/start-dfs.sh

在浏览器输入 ip:9870 (hadoop3.x默认端口，hadoop2.x默认端口为50070)，出现如下界面，启动成功。

---

2. yarn的部署

1. 修改mapred-site.xml。

vim etc/hadoop/mapred-site.xml

------------------------------
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

3. 修改yarn-site.xml。

vim etc/hadoop/yarn-site.xml

------------------------------
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

4. 执行 sbin/start-yarn.sh 启动yarn集群。
   在浏览器输入 ip:8088，看到如下界面，启动成功。