hadoop配置中的重要参数

参数

取值

备注

fs.default.name

NameNodeURI

hdfs://主机名/

mapred.job.tracker

JobTracker的主机(或者IP)和端口

主机:端口

dfs.name.dir

NameNode持久存储名字空间及事务日志的本地文件系统路径

当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份

dfs.data.dir

DataNode存放块数据的本地文件系统路径,逗号分割的列表

当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上

mapred.system.dir

Map/Reduce框架存储系统文件的HDFS路径(比如/hadoop/mapred/system/

这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问

mapred.local.dir

本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方

多路径有助于利用磁盘i/o

mapred.tasktracker.{map|reduce}.tasks.maximum

某一TaskTracker上可运行的最大Map/Reduce任务数,这些任务将同时各自运行

默认为22map2reduce),可依据硬件情况更改

dfs.hosts/dfs.hosts.exclude

许可/拒绝DataNode列表

如有必要,用这个文件控制许可的datanode列表

mapred.hosts/mapred.hosts.exclude

许可/拒绝TaskTracker列表

如有必要,用这个文件控制许可的TaskTracker列表

你可能感兴趣的:(hadoop)