关于hadoop配置
最近在测试hadoop0.21版本,发现有些参数设置了木有生效,检查发现有些参数已经变了,但是配置文件中还使用旧的参数.
相关配置信息如下:
默认会自动加载:core-default.xml , hdfs-default.xml , mapred.default.xml三个文件 ,
通常通过core-sit.xml , hdfs-sit.xml , mapred-sit.xml 3个配置文件覆盖默认配置信息
core-sit.xml对应java类:org.apache.hadoop.fs.CommonConfigurationKeys
org.apache.hadoop.hdfs.protocol.FSConstants是文件系统的一些默认值:比如
DEFAULT_BLOCK_SIZE= 64 * 1024 * 1024;
hdfs-sit.xml对应java类org.apache.hadoop.hdfs.DFSConfigKeys , 譔类继承CommonConfigurationKeys类
mapred-sit.xml对应java类:org.apache.hadoop.mapreduce.MRJobConfig,
org.apache.hadoop.mapreduce.util.ConfigUtil用来加载mapred-default.xml与mapred-sit.xml内容,其中有很多不推荐使用的KEY也在这里声明了,使用的时候,注意,不要再使用不推荐的KEY,否则会导致设置不生效.
org.apache.hadoop.mapred.JobConf里面可查找到当前已经不推荐使用的一些关于job参数信息
以前通过mapred.child.java.opts来配置map和reduce使用的java内存
现在分开配置,分别是:
mapreduce.reduce.java.opts
mapreduce.map.java.opts