hadoop配置文件

常见的几个配置文件以及描述:

       

文,件名 描述
hadoop-en.sh 这里可以设置环境变量,如果当前的JDK不在系统的路径下,可以再这里配置你的JAVA_HOME,可以为不同hadoop组件指定不同的JVM选项。可以在这里配置日志目录,master以及slave文件,但在默认的情况下最好不要去改动CDH已有的配置
core-site.xml 包含系统的hadoop配置项,比如HDFS URL,hadoop临时目录,以及一些为机架感知的hadoop提供脚本位置,这里的配置将会覆盖core-default.xml中已有的配置项
mapred-site.xml HDFS设置,例如默认reduce的任务个数  ,默认最小和最大任务内存大小。要查看默认配置可以通过http://hadoop.apache.org/common/docs/1.0.0/mapred-default.html.在这个文件中的设置将会覆盖mapred-default.xml中的设置
hdfs-site.xml 包含HDFS配置项,例如默认的复制个数,数据块大小以及是否启动权限。可以通过http://hadoop.apache.org/common/docs/1.0.0/hdfs-default.html来了解默认的配置。在这里,设置将会覆盖hdfs-default.xml默认的配置
masters 包含hadoop的Master主机列表,事实上这个名称有点误导性,应该叫做secondary-masters。在本地启动hadoop时,会启动NameNode和JobTracker,并SSH到这个文件所有的节点启动SecondaryNameNode
slaves 包含hadoop的slave主机地址列表,当你启动hadoop的时候,他将ssh到其他在这个列表的主机上去启动DataNode和TaskTracker守护进程

你可能感兴趣的:(hadoop)