配置hadoop:
第一个:hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_65
选择修改日志文件目录(默认目录内日志文件太多易混):
export HADOOP_LOG_DIR=/var/log/hadoop
第二个:core-site.xml
fs.defaultFS
hdfs://主机名:9000
hadoop.tmp.dir
/home/hadoop/hadoop-2.4.1/tmp
io.file.buffer.size
131072
第三个:hdfs-site.xml
dfs.namenode.secondary.http-address
JD:9001
dfs.namenode.name.dir
file:/usr/local/hadoop-2.4.1/dfs/name
dfs.datanode.data.dir
file:/usr/local/hadoop-2.4.1/dfs/data
dfs.replication
1
dfs.webhdfs.enabled
true
dfs.namenode.datanode.registration.ip-hostname-check
false
dfs.permissions
false
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
JD:10020
mapreduce.jobhistory.webapp.address
JD:19888
第五个:yarn-site.xml
yarn.resourcemanager.hostname
主机名
yarn.nodemanager.aux-services
mapreduce_shuffle
格式化namenode(首次启动需要先格式化,不然无法启动namenode)
hdfs namenode -format (hadoop namenode -format)
http://192.168.74.141:50070 (HDFS管理界面)
http://192.168.74.141:8088 (MR管理界面)
常见问题:
1.使用命令上传无法成功上传文件,检查到dfs.replication误设为0;
2.使用eclipse 上传文件,hdfs中只有文件名,大小为0,未上传成功,连接datanode失败
喜欢的朋友不妨关注我前十即送hadoop全套资料!