Hadoop单机模式搭建

首先下载Hadoop，我这里下载的是2．7．6版本，持行tar -xvzf  目录    解压文件

• 设置免密登录

 $ sudo apt-get install ssh
 $ sudo apt-get install rsync

• 生成秘钥

 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

解压后进入配置目录/etc/hadoop目录修改配置文件

core-site.xml这个文件为hadoop的核心配置文件，进入目录我们修改配置文件，

• 其中fs.defaultFS为配置hadoop文件系统的路径这里定义了namenode(主节点)的RPC服务器工作的端囗号，默认是8082
•  dfs.namenode.name.dir   其代表nameno存永久性的元数据的目录列表　
• dfs.namenode.data.dir 代表数据节点datanode存放数据块的目录列表 

接着配置hadoop的yarn的配置 文件yarn-site.xml，其为hadoop的群资源管理系统为hadoop下的一个组件

                yarn.nodemanager.aux-services
                mapreduce_shuffle

yarn.nodemanager.aux-services配置了yarn的默认混洗方式，选择为mapreduce的默认混洗算法。如果不配置此标签，则在调用Hive等应用时会报错

接着配置hdfs 打开hdfs-site.xml配置hdfs的备份数，默是3由于我们现在安装的是节点模式，所以将其改为1

     
              dfs.replication
              1
       
 

 接着设置mapred-site.xml  添加

              mapreduce.framework.name
              yarn
 

指定mapreduce的运行框架，这是使用yarn

格式化namenode

bin/hdfs namenode -format

修改hadoop运行环境hadoop-env.sh

编辑hadoop-env.sh，修改java环境变量

export JAVA_HOME=/liu/jdk1.8.0_201

 

这样hadoop单节点配置就已完成，

接下来启动hdfs 运行

start-dfs.sh 开启hdfs

接下来开启yarn

 start-yarn.sh 
 

执行jps查看以下任务是否开启

DataNode   数据节点
NodeManager 数据节点管理器
ResourceManager 资源管理器
NameNode 主节点
SecondaryNameNode 备用主节点
 

附上官网搭建单节点教程https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html