hadoop配置详解,做大数据必须踏出的第一步

配置hadoop:

第一个:hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_65

选择修改日志文件目录(默认目录内日志文件太多易混):

export HADOOP_LOG_DIR=/var/log/hadoop

第二个:core-site.xml


fs.defaultFS

hdfs://主机名:9000


hadoop.tmp.dir

/home/hadoop/hadoop-2.4.1/tmp

io.file.buffer.size

131072

第三个:hdfs-site.xml

dfs.namenode.secondary.http-address

JD:9001

dfs.namenode.name.dir

file:/usr/local/hadoop-2.4.1/dfs/name

dfs.datanode.data.dir

file:/usr/local/hadoop-2.4.1/dfs/data


dfs.replication

1

dfs.webhdfs.enabled

true

dfs.namenode.datanode.registration.ip-hostname-check

false

 

dfs.permissions 

false 

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)


mapreduce.framework.name

yarn

mapreduce.jobhistory.address

JD:10020

mapreduce.jobhistory.webapp.address

JD:19888

第五个:yarn-site.xml


yarn.resourcemanager.hostname

主机名


yarn.nodemanager.aux-services

mapreduce_shuffle

 格式化namenode(首次启动需要先格式化,不然无法启动namenode)

hdfs namenode -format (hadoop namenode -format)

http://192.168.74.141:50070 (HDFS管理界面)

http://192.168.74.141:8088 (MR管理界面)

 常见问题:

1.使用命令上传无法成功上传文件,检查到dfs.replication误设为0;

2.使用eclipse 上传文件,hdfs中只有文件名,大小为0,未上传成功,连接datanode失败



喜欢的朋友不妨关注我前十即送hadoop全套资料!

你可能感兴趣的:(hadoop配置详解,做大数据必须踏出的第一步)