【Hadoop】伪分布式配置

基本配置参考这一篇

本文中所用到的     主机名：daisuke     用户名：hadoop

hadoop-env.sh

java环境

export JAVA_HOME=/opt/modules/jdk1.7.0_79

core-site.xml

	
    	
        	fs.defaultFS
        	hdfs://daisuke:8020
    	

	
    	
        	hadoop.tmp.dir
        	/opt/modules/hadoop-2.5.0-cdh5.3.6/data
    	

hdfs-site.xml

namenode与datanode配置在同一节点上，数据块的副本数不能大于datanode的节点数

	
    	
        	dfs.replication
        	1
    	

slaves

此文件指明datanode节点在哪些服务器上，一行一个主机名，此次伪分布式配置，只有一个datanode节点

daisuke

格式化文件系统并启动服务,当前目录为hadoop安装目录，注意！使用hadoop用户进行格式化操作，绝对不能使用root用户

#格式化namenode
bin/hdfs namenode -format

#开启namenode和datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

#查看服务是否成功启动
jps

#关闭所有java进程
killall java

此处常见问题：

namenode启动无效

• 可能原因：配置文件有误，修改后对namenode进行了多次格式化
• 处理办法：删除hadoop安装目录下的data文件夹，关闭所有java进程，重新进行namenode格式化

处于安全模式

• 可能原因：DFS里面的备份块丢失过多
• 处理办法：退出安全模式，或者重新格式化

#退出安全模式
bin/hdfs dfsadmin -safemode leave

待续......