Hadoop: 单节点配置

Setting up a Single Node Cluster.

单节点配置 Hadoop

1.Purpose 目的
2.Prerequisites 先决条件
  3.Supported Platforms 支持的平台上
  4.Required Software  所需的软件
  5.Installing Software 安装软件
6.Download 下载
7.Prepare to Start the Hadoop Cluster ：准备启动Hadoop集群
8.Standalone Operation 单机操作
9.Pseudo-Distributed Operation 伪分布操作
  10.Configuration 配置
  11.Setup passphraseless ssh ssh无密码登录
  12.Execution 执行
  13.YARN on a Single Node 单节点上的YARN 
14. Fully-Distributed Operation 全分布操作

image.png

准备启动Hadoop集群

image.png

解压你下载的Hadoop包，找到里面的etc/hadoop/hadoop-env.sh，修改

export JAVA_HOME=/usr/java/latest
改为你的JAVA_HOME

尝试启动hadoop

 bin/hadoop

有了这个基础，就可以开始下面的hadoop集群启动啦

启动hadoop集群-单机模式

启动hadoop集群-伪分布操作
     配置
        core-site.xml
            defaultFS
        hdfs-site.xml
            dfs.replication
    ssh无密码登录
        使用ssh localhost测试是否不需要密码就可以登录
        如果还是需要密码  ，尝试
            $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
            $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
            $ chmod 0600 ~/.ssh/authorized_keys
    执行
        格式化系统文件
             bin/hdfs namenode -format
        启动NameNode、 DataNode 
            sbin/start-dfs.sh   
            文件日记输出在  $HADOOP_HOME/logs
        通过浏览器就可以看到可视化的NameNode 
             http://localhost:50070/
    单节点上的YARN 

image.png