目录
Hadoop可配置参数详解
<1> core-site.xml
<2> hdfs-site.xml
<3>mapred-site.xml
<4>yarn-site.xml
参考
配置文件名 |
配置对象 |
主要内容 |
core-site.xml |
集群全局参数 |
用于定义系统级别的参数,如HDFS URL、Hadoop的临时目录等 |
hdfs-site.xml |
HDFS参数 |
如名称节点和数据节点的存放位置、文件 副本的个数、文件读取权限等 |
mapred-site.xml |
Mapreduce参数 |
包括JobHistory Server和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等 |
yarn-site.xml |
集群资源管理系统参数 |
配置 ResourceManager,NodeManager 的通信端口,web监控端口等 |
name |
value |
Description |
fs.default.name |
hdfs://master:9000 |
定义master的URI和端口 |
fs.checkpoint.dir |
${hadoop.tmp.dir}(默认) |
SNN的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉 |
fs.checkpoint.period |
1800 |
定义ND的备份间隔时间,秒为单位,只对SNN效,默认一小时 |
fs.checkpoint.size |
33554432 |
以日志大小间隔做备份间隔,只对SNN生效,默认64M |
fs.checkpoint.edits.dir |
${fs.checkpoint.dir}(默认) |
SNN的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录 |
fs.trash.interval |
10800 |
HDFS垃圾箱设置,可以恢复误删除,分钟数,0为禁用,添加该项无需重启hadoop |
hadoop.tmp.dir |
/tmp/Hadoop |
临时文件夹,指定后需将使用到的所有子级文件夹都要手动创建出来,否则无法正常启动服务。 |
hadoop.http.filter.initializers |
org.apache.hadoop.security. |
需要jobtracker,tasktracker |
hadoop.http.authentication.type |
simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME# |
验证方式,默认为简单,也可自己定义class,需配置所有节点 |
hadoop.http.authentication.token.validity |
36000 |
验证令牌的有效时间,需配置所有节点 |
hadoop.http.authentication.signature.secret |
默认可不写参数 |
默认不写在hadoop启动时自动生成私密签名,需配置所有节点 |
hadoop.http.authentication.cookie.domain |
domian.tld |
http验证所使用的cookie的域名,IP地址访问则该项无效,必须给所有节点都配置域名才可以。 |
hadoop.http.authentication. simple.anonymous.allowed |
true | false |
简单验证专用,默认允许匿名访问,true |
hadoop.http.authentication.kerberos.principal |
HTTP/localhost@$LOCALHOST |
Kerberos验证专用,参加认证的实体机必须使用HTTP作为K的Name |
hadoop.http.authentication.kerberos.keytab |
/home/xianglei/hadoop.keytab |
Kerberos验证专用,密钥文件存放位置 |
hadoop.security.authorization |
true|false |
Hadoop服务层级验证安全验证,需配合hadoop-policy.xml使用,配置好以后用dfsadmin,mradmin -refreshServiceAcl刷新生效 |
hadoop.security.authentication |
simple | kerberos |
hadoop本身的权限验证,非http访问,simple或者kerberos |
hadoop.logfile.size |
1000000000 |
设置日志文件大小,超过则滚动新日志 |
hadoop.logfile.count |
20 |
最大日志数 |
io.bytes.per.checksum |
1024 |
每校验码所校验的字节数,不要大于io.file.buffer.size |
io.skip.checksum.errors |
true | false |
处理序列化文件时跳过校验码错误,不抛异常。默认false |
io.serializations |
org.apache.hadoop.io.serializer.WritableSerialization |
序列化的编解码器 |
io.seqfile.compress.blocksize |
1024000 |
块压缩的序列化文件的最小块大小,字节 |
io.compression.codecs |
org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.SnappyCodec |
Hadoop所使用的编解码器,gzip、bzip2为自带,lzo需安装hadoopgpl或者kevinweil,逗号分隔。 |
io.compression.codec.lzo.class |
com.hadoop.compression.lzo.LzoCodec |
LZO所使用的压缩编码器 |
io.file.buffer.size |
131072 |
用作序列化文件处理时读写buffer的大小 |
webinterface.private.actions |
true | false |
设为true,则JT和NN的tracker网页会出现杀任务删文件等操作连接,默认是false |
topology.script.file.name |
/hadoop/bin/RackAware.py |
机架感知脚本位置 |
topology.script.number.args |
1000 |
机架感知脚本管理的主机数,IP地址 |
name |
value |
Description |
dfs.default.chunk.view.size |
32768 |
namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。 |
dfs.datanode.du.reserved |
1073741824 |
每块磁盘所保留的空间大小,需要设置一些,主要是给非hdfs文件使用,默认是不保留,0字节 |
dfs.name.dir |
/opt/data1/hdfs/name, |
NN所使用的元数据保存,一般建议在nfs上保留一份,作为1.0的HA方案使用,也可以在一台服务器的多块硬盘上使用 |
dfs.web.ugi |
nobody,nobody |
NN,JT等所使用的web tracker页面服务器所使用的用户和组 |
dfs.permissions |
true | false |
dfs权限是否打开,我一般设置false,通过开发工具培训别人界面操作避免误操作,设置为true有时候会遇到数据因为权限访问不了。 |
dfs.permissions.supergroup |
supergroup |
设置hdfs超级权限的组,默认是supergroup,启动hadoop所使用的用户通常是superuser。 |
dfs.data.dir |
/opt/data1/hdfs/data, |
真正的datanode数据保存路径,可以写多块硬盘,逗号分隔 |
dfs.datanode.data.dir.perm |
755 |
datanode所使用的本地文件夹的路径权限,默认755 |
dfs.replication |
3 |
hdfs数据块的复制份数,默认3,理论上份数越多跑数速度越快,但是需要的存储空间也更多。有钱人可以调5或者6 |
dfs.replication.max |
512 |
有时dn临时故障恢复后会导致数据超过默认备份数。复制份数的最多数,通常没什么用,不用写配置文件里。 |
dfs.replication.min |
1 |
最小份数,作用同上。 |
dfs.block.size |
134217728 |
每个文件块的大小,我们用128M,默认是64M。这个计算需要128*1024^2,我碰上过有人直接写128000000,十分浪漫。 |
dfs.df.interval |
60000 |
磁盘用量统计自动刷新时间,单位是毫秒。 |
dfs.client.block.write.retries |
3 |
数据块写入的最多重试次数,在此次数之前不会捕获失败。 |
dfs.heartbeat.interval |
3 |
DN的心跳检测时间间隔。秒 |
dfs.namenode.handler.count |
10 |
NN启动后展开的线程数。 |
dfs.balance.bandwidthPerSec |
1048576 |
做balance时所使用的每秒最大带宽,使用字节作为单位,而不是bit |
dfs.hosts |
/opt/hadoop/conf/hosts.allow |
一个主机名列表文件,这里的主机是允许连接NN的,必须写绝对路径,文件内容为空则认为全都可以。 |
dfs.hosts.exclude |
/opt/hadoop/conf/hosts.deny |
基本原理同上,只不过这里放的是禁止访问NN的主机名称列表。这在从集群中摘除DN会比较有用。 |
dfs.max.objects |
0 |
dfs最大并发对象数,HDFS中的文件,目录块都会被认为是一个对象。0表示不限制 |
dfs.replication.interval |
3 |
NN计算复制块的内部间隔时间,通常不需写入配置文件。默认就好 |
dfs.support.append |
true | false |
新的hadoop支持了文件的APPEND操作,这个就是控制是否允许文件APPEND的,但是默认是false,理由是追加还有bug。 |
dfs.datanode.failed.volumes.tolerated |
0 |
能够导致DN挂掉的坏硬盘最大数,默认0就是只要有1个硬盘坏了,DN就会shutdown。 |
dfs.secondary.http.address |
0.0.0.0:50090 |
SNN的tracker页面监听地址和端口 |
dfs.datanode.address |
0.0.0.0:50010 |
DN的服务监听端口,端口为0的话会随机监听端口,通过心跳通知NN |
dfs.datanode.http.address |
0.0.0.0:50075 |
DN的tracker页面监听地址和端口 |
dfs.datanode.ipc.address |
0.0.0.0:50020 |
DN的IPC监听端口,写0的话监听在随机端口通过心跳传输给NN |
dfs.datanode.handler.count |
3 |
DN启动的服务线程数 |
dfs.http.address |
0.0.0.0:50070 |
NN的tracker页面监听地址和端口 |
dfs.https.enable |
true | false |
NN的tracker是否监听在HTTPS协议,默认false |
dfs.datanode.https.address |
0.0.0.0:50475 |
DN的HTTPS的tracker页面监听地址和端口 |
dfs.https.address |
0.0.0.0:50470 |
NN的HTTPS的tracker页面监听地址和端口 |
dfs.datanode.max.xcievers |
2048 |
相当于linux下的打开文件最大数量,文档中无此参数,当出现DataXceiver报错的时候,需要调大。默认256 |
name |
value |
Description |
hadoop.job.history.location |
|
job历史文件保存路径,无可配置参数,也不用写在配置文件里,默认在logs的history文件夹下。 |
hadoop.job.history.user.location |
|
用户历史文件存放位置 |
io.sort.factor |
30 |
这里处理流合并时的文件排序数,我理解为排序时打开的文件数 |
io.sort.mb |
600 |
排序所使用的内存数量,单位兆,默认1,我记得是不能超过mapred.child.java.opt设置,否则会OOM |
mapred.job.tracker |
hadoopmaster:9001 |
连接jobtrack服务器的配置项,默认不写是local,map数1,reduce数1 |
mapred.job.tracker.http.address |
0.0.0.0:50030 |
jobtracker的tracker页面服务监听地址 |
mapred.job.tracker.handler.count |
15 |
jobtracker服务的线程数 |
mapred.task.tracker.report.address |
127.0.0.1:0 |
tasktracker监听的服务器,无需配置,且官方不建议自行修改 |
mapred.local.dir |
/data1/hdfs/mapred/local, |
mapred做本地计算所使用的文件夹,可以配置多块硬盘,逗号分隔 |
mapred.system.dir |
/data1/hdfs/mapred/system, |
mapred存放控制文件所使用的文件夹,可配置多块硬盘,逗号分隔。 |
mapred.temp.dir |
/data1/hdfs/mapred/temp, |
mapred共享的临时文件夹路径,解释同上。 |
mapred.local.dir.minspacestart |
1073741824 |
本地运算文件夹剩余空间低于该值则不在本地做计算。字节配置,默认0 |
mapred.local.dir.minspacekill |
1073741824 |
本地计算文件夹剩余空间低于该值则不再申请新的任务,字节数,默认0 |
mapred.tasktracker.expiry.interval |
60000 |
TT在这个时间内没有发送心跳,则认为TT已经挂了。单位毫秒 |
mapred.map.tasks |
2 |
默认每个job所使用的map数,意思是假设设置dfs块大小为64M,需要排序一个60M的文件,也会开启2个map线程,当jobtracker设置为本地是不起作用。 |
mapred.reduce.tasks |
1 |
解释同上 |
mapred.jobtracker.restart.recover |
true | false |
重启时开启任务恢复,默认false |
mapred.jobtracker.taskScheduler |
org.apache.hadoop.mapred. |
重要的东西,开启任务管理器,不设置的话,hadoop默认是FIFO调度器,其他可以使用公平和计算能力调度器 |
mapred.reduce.parallel.copies |
10 |
reduce在shuffle阶段使用的并行复制数,默认5 |
mapred.child.java.opts |
-Xmx2048m -Djava.library.path= |
每个TT子进程所使用的虚拟机内存大小 |
tasktracker.http.threads |
50 |
TT用来跟踪task任务的http server的线程数 |
mapred.task.tracker.http.address |
0.0.0.0:50060 |
TT默认监听的httpIP和端口,默认可以不写。端口写0则随机使用。 |
mapred.output.compress |
true | false |
任务结果采用压缩输出,默认false,建议false |
mapred.output.compression.codec |
org.apache.hadoop.io. |
输出结果所使用的编解码器,也可以用gz或者bzip2或者lzo或者snappy等 |
mapred.compress.map.output |
true | false |
map输出结果在进行网络交换前是否以压缩格式输出,默认false,建议true,可以减小带宽占用,代价是会慢一些。 |
mapred.map.output.compression.codec |
com.hadoop.compression. |
map阶段压缩输出所使用的编解码器 |
map.sort.class |
org.apache.hadoop.util. |
map输出排序所使用的算法,默认快排。 |
mapred.hosts |
conf/mhost.allow |
允许连接JT的TT服务器列表,空值全部允许 |
mapred.hosts.exclude |
conf/mhost.deny |
禁止连接JT的TT列表,节点摘除是很有作用。 |
mapred.queue.names |
ETL,rush,default |
配合调度器使用的队列名列表,逗号分隔 |
mapred.tasktracker.map. |
12 |
每服务器允许启动的最大map槽位数。 |
mapred.tasktracker.reduce. |
6 |
每服务器允许启动的最大reduce槽位数 |
hadoop 的yarn-site.xml文件中涉及到的其他配置项按照组件可以分成两类,其中之一是对 ResourceManager 的配置,主要配置项有:
另一类是对 NodeManager 的配置,除了刚刚提到的 aux-services ,其他的主要配置项有:
core-site.xm:https://blog.csdn.net/iteye_3893/article/details/82617400
官网:http://hadoop.apache.org/docs/r2.6.1/hadoop-project-dist/hadoop-common/core-default.xml
hdfs-site.xml:https://blog.csdn.net/iteye_3893/article/details/82617401
官网:http://hadoop.apache.org/docs/r2.6.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
mapred-site.xml:https://blog.csdn.net/gyxinguan/article/details/73996570
官网:http://hadoop.apache.org/docs/r2.6.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
yarn-site.xml:http://blog.sina.com.cn/s/blog_9b85a32d0102ysor.html
官网:http://hadoop.apache.org/docs/r2.6.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml