hadoop配置参数

一、各个组件jvm参数
1、在hadoop-env.sh中的HADOOP_HEAPSIZE和HADOOP_CLIENT_OPTS是公共参数，不仅影响namenode/datanode，还会覆盖hive的hive-env.sh中的jvm的设置，因此建议将这两个参数注释
2、设置NameNode的jvm参数，在hadoop-env.sh中设定HADOOP_NAMENODE_OPTS
3、设置DataNode的jvm参数，在hadoop-env.sh中设定HADOOP_DATANODE_OPTS
4、设置ResourceManager的jvm参数，在yarn-env.sh设定YARN_RESOURCEMANAGER_HEAPSIZE和YARN_RESOURCEMANAGER_OPTS
5、设置NodeManager的jvm参数，在yarn-env.sh设定YARN_NODEMANAGER_HEAPSIZE和YARN_NODEMANAGER_OPTS

二、core-site.xml

    hadoop.tmp.dir
    file:/data/hadoop/tmp
    hadoop相关进程的临时目录。比如SecondaryNameNode在合并edit logs；NodeManger shuffle write的中间数据

三、hdfs-site.xml

    dfs.namenode.name.dir
    file:/data/hadoop/dfs/name
    NameNode存放数据的路径


    dfs.datanode.data.dir
    file:/data/hadoop/dfs/data
    DataNode存放数据的路径，多个路径逗号分隔

四、yarn-site.xml

    yarn.nodemanager.local-dirs
    /data/hadoop/tmp/nm-local-dir
    nodemanager存放数据(如shuffle数据)的路径，多个路径用逗号分隔，

五、hadoop-env.sh
export HADOOP_LOG_DIR=/data/hadoop/logs ：NameNode、DataNode、SecondaryNameNode的日志路径
export HADOOP_CONF_DIR ：hadoop配置文件路径，默认是$HADOOP_HOME/etc/hadoop

六、yarn-env.sh
export YARN_LOG_DIR=/data/hadoop/logs ：ResourceManager、NodeManager的日志路径