配置伪分布式 Hadoop系统

一、配置文件（core-site.xml   hdfs-site.xml  yarn-site.xml  ）

　　上述三个文件夹均在此目录下：

cd /usr/local/hadoop/etc/hadoop        

　　

把配置信息里面的所有hadoopm换成自己的主机名
Hadoop core-site.xml 配置信息：



hadoop.tmp.dir
/root/hadoop_tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://hadoopm:9000

Hadoop hdfs-site.xml 配置信息：



dfs.replication
1


dfs.namenode.name.dir
file:///usr/local/hadoop/dfs/name


dfs.datanode.data.dir
file:///usr/local/hadoop/dfs/data


dfs.namenode.http-address
hadoopm:50070


dfs.namenode.secondary.http-address
hadoopm:50090


dfs.permissions
false

Hadoop yarn-site.xml 配置信息：



yarn.resourcemanager.admin.address
hadoopm:8033


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce_shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.resource-tracker.address
hadoopm:8025


yarn.resourcemanager.scheduler.address
hdoopm:8030


yarn.resourcemanager.address
hdoopm:8050


yarn.resourcemanager.scheduler.address
hadoopm:8030


yarn.resourcemanager.webapp.address
hadoopm:8088


yarn.resourcemanager.webapp.https.address
hadoopm:8090

 

记住：以上配置文件自带的这条语句删除

 

 

 

另外要新建三个文件：

mkdir ~/hadoop_tmp          //在~目录在建立hadoop_tmp文件
/usr/local/hadoop/etc/hadoop#  vim masters       //建立一个masters文件，在里面写上本机的主机名

/usr/local/hadoop/etc/hadoop#  vim slaves      //修改一个slaves文件，在里面写上本机的主机名

配置完成后；

进行dfs格式化：

root@hadoop:/usr/local/hadoop/etc/hadoop# cd ..  //后退一个目录
root@hadoop:/usr/local/hadoop/etc# cd ..         //再后退一个目录
root@hadoop:/usr/local/hadoop# hdfs namenode -format     //进行格式化

 

 出来上面的界面就说明格式化成功了

# cd dfs         //进入dfs文件
# ls            //查看dfs里面的内容，格式化成功之后里面就会有data和name两个文件夹

之后启动hadoop：

# start-all.sh        //启动hadoop的命令
......
# jps                 //启动之后用jps来查看进程，如果启动成功  进程有六个

 

 

# stop-all.sh              //结束hadoop命令