hadoop单节点的配置

一、 hadoop的配置

离开安全模式

 hadoop  dfsadmin  –safemode  leave

修改root用户密码

sudo passwd 设置root的密码

passwd 设置自己的密码

关闭ubuntu的防火墙: ufw disable

普通用户

一、添加hadoop用户组和hadoop用户

创建hadoop用户组：sudo addgroup hadoop

创建hadoop用户：  sudo adduser -ingroup hadoop hadoop

二、安装ssh

安装命令：sudo apt-get install openssh-server

启动服务：sudo /etc/init.d/ssh start

查看服务是否启动：ps -e | grep ssh

修改配置文件，允许root用户远程登陆：

打开"终端窗口"，输入"sudo gedit /etc/ssh/sshd_config"-->回车-->把配置文件中的"PermitRootLogin without-password"加一个"#"号,把它注释掉-->再增加一句"PermitRootLogin yes"-->保存，修改成功。

 

1、免密码登录

生成密钥

root@hadoop01:~/Hadoop# ssh-keygen -t rsa -P ""

将公钥追加到authorized_keys

root@hadoop01:~/.ssh# cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

root@hadoop01:~/.ssh# ls

authorized_keys  id_rsa  id_rsa.pub

2、配置hadoop环境变量

root@hadoop01:/usr/bin# vi  /etc/profile

export JAVA_HOME=/home/hadoop/setup/jdk1.8.0_131

export HADOOP_HOME=/home/hadoop/setup/hadoop-2.7.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

oot@hadoop01:/usr/bin# source  /etc/ profile

查看环境：

root@hadoop01:/usr/bin# echo $PATH

 

3、配置Hadoop伪分布式的步骤（要修改5个文件）

（1）、hadoop-env.sh

 25行 export JAVA_HOME=/root/app/jdk1.8.0_131

 

（2）、core-site.xml

        

                fs.defaultFS

                hdfs://hadoop01:9000

        

        

     

                hadoop.tmp.dir

                /Hadoop/setup/tmp

        

 

 

 

（3）、hdfs-site.xml

        

                dfs.replication

                1

        

 

 

 

    

         dfs.namenode.name.dir

         file:/Hadoop/setup/dfs/name

   

    

        dfs.datanode.data.dir

         file:/Hadoop/setup/dfs/data

    

 

（4）、maprea-site.xml

        

                mapreduce.framework.name

                yarn

        

 

（5）、yarn-site.xml

        

                yarn.nodemanager.aux-services

                mapreduce_shuffle

        

 

 

        

                yarn.resourcemanager.hostname

                hadoop01

        

 

 

4、格式化hdfs

root@hadoop01:~/Hadoop/hadoop-2.7.3/etc/hadoop# hdfs namenode -format

 

5、启动hadoop

启动namenode和datanode: start-dfs.sh 

启动yarn：start-yarn.sh

启动全部:：start-all.sh

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程