hadoop配置文件详解系列（一）-core-site.xml篇
| 属性名称 |
属性值 |
描述 |
| hadoop.common.configuration. version |
0.23.0 |
配置文件的版本。 |
| hadoop.tmp.dir |
/tmp/hadoop-${user.name} |
其它临时目录的父目录，会被其它临时目录用到。 |
| io.native.lib.available |
TRUE |
是否使用本地库进行bz2和zlib的文件压缩及编解码。 |
| hadoop.http.filter.initializers |
org.apache.hadoop.http.lib.StaticUserWebFilter |
一个逗号分隔的类名列表，他们必须继承于org.apache.hadoop.http.FilterInitializer，相应的过滤器被初始化后，将应用于所有的JSP和Servlet网页。 列表 的排序即为过滤器的排序。 |
| hadoop.security.authorization |
FALSE |
是否启用service级别的授权。 |
| hadoop.security.instrumentation. requires.admin |
FALSE |
访问servlets (JMX, METRICS, CONF, STACKS)是否 需要管理员ACL(访问控制列表)的授权。 |
| hadoop.security.authentication |
simple |
有两个选项，simple和kerberos，两个的详细区别就 自己百度吧。 |
| hadoop.security.group.mapping |
org.apache.hadoop.security. JniBasedUnixGroupsMappingWithFallback |
用于ACL用户组映射的类，默认的实现类是 org.apache.hadoop.security.JniBasedUnixGroups MappingWithFallback，定义了JNI是否可用，如果 可用，将使用hadoop中的API来实现访问用户组解析， 如果不可用，将使用ShellBasedUnixGroupsMapping 来实现。 |
| hadoop.security.dns.interface |
|
用于确定Kerberos登录主机的网络接口的名称。 |
| hadoop.security.dns.nameserver |
|
用于确定Kerberos登录主机的地址。 |
| hadoop.security.dns.log-slow-lookups .enabled |
FALSE |
当查询名称时间超过阈值时是否进行记录。 |
| hadoop.security.dns.log-slow-lookups .threshold.ms |
1000 |
接上一个属性，这个属性就是设置阈值的。 |
| hadoop.security.groups.cache.secs |
300 |
配置用户组映射缓存时间的，当过期时重新获取 并缓存。 |
| hadoop.security.groups.negative-cache .secs |
30 |
当无效用户频繁访问，用于设置缓存锁定时间。 建议设置为较小的值，也可以通过设置为0或负 数来禁用此属性。 |
| hadoop.security.groups.cache.warn .after.ms |
5000 |
当查询用户组时间超过设置的这个阈值时，则作 为警告信息进行记录。 |
| hadoop.security.groups.cache.background .reload |
FALSE |
是否使用后台线程池重新加载过期的用户组映射。 |
| hadoop.security.groups.cache.background .reload.threads |
3 |
接上一个属性，当上个属性为true时，通过此属 性控制后台线程的数量。 |
| hadoop.security.groups.shell.command .timeout |
0s |
设置shell等待命令执行时间，如果超时，则命令 中止，如果设置为0，表示无限等待。 |
| hadoop.security.group.mapping.ldap .connection.timeout.ms |
60000 |
设置LDAP的连接超时时间，如果为0或负数， 表示无限等待。 |
| hadoop.security.group.mapping.ldap .read.timeout.ms |
60000 |
设置LDAP的读取超时时间，如果为0或负数， 表示无限等待。 |
| hadoop.security.group.mapping.ldap.url |
|
LDAP服务器的地址。 |
| hadoop.security.group.mapping.ldap.ssl |
FALSE |
是否使用SSL连接LDAP服务器。 |
| hadoop.security.group.mapping.ldap.ssl .keystore |
|
包含SSL证书的SSL密钥文件的存储路径。 |
| hadoop.security.group.mapping.ldap.ssl .keystore.password.file |
|
包括SSL密钥文件访问密码的文件路径，如果 此属性没有设置，并hadoop.security.group .mapping.ldap.ssl.keystore.password属性也 没有设置，则直接从LDAP指定文件读取密码 （注意：此文件只能由运行守护进程的unix用 户读取，并且应该是本地文件）。 |
| hadoop.security.group.mapping.ldap.ssl .keystore.password |
|
保存SSL密钥文件访问密码的别名，如果此属 性为空，并且hadoop.security.credential .clear-text-fallback属性为true时，则通过后者 获取密码。 |
| hadoop.security.credential.clear-text-fallback |
TRUE |
是否将密码保存为明文。 |
| hadoop.security.credential.provider.path |
|
包含证书类型和位置的文件地址列表。 |
| hadoop.security.credstore.java-keystore-provider .password-file |
|
包含用户自定义密码的文件路径。 |
| hadoop.security.group.mapping.ldap .bind.user |
|
连接到LDAP服务器时的用户别名，如果LDAP 服务器支持匿名绑定，则此属性可以为空值。 |
| hadoop.security.group.mapping.ldap.bind .password.file |
|
包含绑定用户密码的文件的路径。如果在证书提 供程序中没有配置密码，并且属hadoop.security. group.mapping.ldap.bind.password没有设置， 则从文件读取密码。注意：此文件只能由运行守 护进程的UNIX用户读取，并且应该是本地文件。 |
| hadoop.security.group.mapping.ldap.bind .password |
|
绑定用户的密码。此属性名用作从凭据提供程序 获取密码的别名。如果无法找到密码，hadoop .security.credential.clear-text-fallback是真的， 则使用此属性的值作为密码。 |
| hadoop.security.group.mapping.ldap.base |
|
LDAP连接时搜索的根目录。 |
| hadoop.security.group.mapping.ldap .userbase |
|
指定用户LDAP连接时搜索的根目录。如果不设 置此属性，则使用hadoop.security.group .mapping.ldap.base属性的值。 |
| hadoop.security.group.mapping.ldap .groupbase |
|
指定用户组LDAP连接时搜索的根目录。如果不 设置此属性，则使用hadoop.security.group .mapping.ldap.base属性的值。 |
| hadoop.security.group.mapping.ldap.search .filter.user |
(&(objectClass=user)(sAMAccountName={0})) |
搜索LDAP用户时提供的额外的筛选器。 |
| hadoop.security.group.mapping.ldap.search .filter.group |
(objectClass=group) |
搜索LDAP用户组时提供的额外的筛选器。 |
| hadoop.security.group.mapping.ldap.search .attr.memberof |
|
用户对象的属性，用于标识其组对象。 |
| hadoop.security.group.mapping.ldap.search .attr.member |
member |
用户组对象的属性，用于标识其有哪些组成员。 |
| hadoop.security.group.mapping.ldap.search .attr.group.name |
cn |
用户组对象的属性，用于标识用户组的名称。 |
| hadoop.security.group.mapping.ldap.search .group.hierarchy.levels |
0 |
当要确定用户所属的用户组时，此属性用于指 定向上查找的层级数目。如果为0，则表示只查 询当前用户所属的直接用户组，不再向上查找。 |
| hadoop.security.group.mapping.ldap.posix .attr.uid.name |
uidNumber |
posixAccount的属性，用于成员分组 |
| hadoop.security.group.mapping.ldap.posix .attr.gid.name |
gidNumber |
posixAccount的属性，用户标识组ID。 |
| hadoop.security.group.mapping.ldap .directory.search.timeout |
10000 |
LDAP SearchControl的属性，用于在搜索和等 待结果时设置最大时间限制。如果需要无限等 待时间，设置为0。默认值为10秒。单位为毫秒。 |
| hadoop.security.group.mapping.providers |
|
逗号分隔的提供商名称，用于用户组映射。 |
| hadoop.security.group.mapping.providers .combined |
TRUE |
标识提供商提供的级是否可以被组合。 |
| hadoop.security.service.user.name.key |
|
此属性用于指定RPC调用的服务主名称，适用 于相同的RPC协议由多个服务器实现的情况。 |
| fs.azure.user.agent.prefix |
unknown |
WASB提供给Azure的前缀，默认包括WASB 版本、JAVA运行时版本、此属性的值等。 |
| hadoop.security.uid.cache.secs |
14400 |
控制缓存的过期时间。 |
| hadoop.rpc.protection |
authentication |
一个逗号分隔的安全SASL连接的保护值列表。 |
| hadoop.security.saslproperties.resolver .class |
|
用于连接时解决QOP的SaslPropertiesResolver。 |
| hadoop.security.sensitive-config-keys |
secret$ password$ ssl.keystore.pass$ fs.s3 .*[Ss]ecret.?[Kk]ey fs.s3a.*.server-side-encryption. key fs.azure.account.key.* credential$ oauth .*token$ hadoop.security.sensitive-config-keys |
一个逗号分隔的或多行的正则表达式列表。 |
| hadoop.workaround.non.threadsafe .getpwuid |
TRUE |
一些系统已知在调用getpwuid_r和getpwgid_r 有问题，这些调用是非线程安全的。这个问题 的主要表现特征是JVM崩溃。如果你的系统有 这些问题，开启这个选项。默认是关闭的。 |
| hadoop.kerberos.kinit.command |
kinit |
用于Kerberos证书的定时更新。 |
| hadoop.kerberos.min.seconds .before.relogin |
60 |
重新尝试登录Kerberos的最小时间间隔，单位 为秒。 |
| hadoop.security.auth_to_local |
|
将Kerberos主体映射到本地用户名。 |
| hadoop.token.files |
|
具有Hadoop服务授权令牌的令牌缓存文件列表。 |
| io.file.buffer.size |
4096 |
在序列文件中使用的缓冲区大小。这个缓冲区的 大小应该是页大小（英特尔x86上为4096）的倍 数，它决定读写操作中缓冲了多少数据。 |
| io.bytes.per.checksum |
512 |
每个检验和的字节数，不能大于 io.file.buffer.size 属性的值。 |
| io.skip.checksum.errors |
FALSE |
如果为true，当读取序列文件时遇到校验和错误， 则跳过条目，而不是抛出异常。 |
| io.compression.codecs |
|
一组可用于压缩/解压缩的表列表，使用逗号进 行分隔。 |
| io.compression.codec.bzip2.library |
system-native |
用于bzip2编解码的本地代码库，可以通过名称 或全路径来指定该库。 |
| io.serializations |
org.apache.hadoop.io.serializer .WritableSerialization,org.apache.hadoop .io.serializer.avro.AvroSpecificSerialization, org.apache.hadoop.io.serializer.avro .AvroReflectSerialization |
可用于获取序列化和反序列化的序列化类的列表。 |
| io.seqfile.local.dir |
${hadoop.tmp.dir}/io/local |
存储中间数据文件的本地目录。 |
| io.map.index.skip |
0 |
跳过索引的数量。 |
| io.map.index.interval |
128 |
MapFile由两部分组成：数据文件和索引文件。 在每个设置的时间间隔后，会根据写入的数据 文件内容，创建索引对应的索引文件内容。 |
| fs.defaultFS |
file:/// |
默认文件系统的名称。通常指定namenode的 URI地址，包括主机和端口。 |
| fs.default.name |
file:/// |
不建议使用此属性，建议用fs.defaultFS属性 代替。 |
| fs.trash.interval |
0 |
检查点被删除的时间间隔，单位为分钟。此属 性可以在服务器和客户端上配置。如果服务器 上被禁用，则检查客户端配置，如果服务器上 被启用，则忽略客户端配置。 |
| fs.trash.checkpoint.interval |
0 |
检查点之间的时间间隔，此属性的值应该小于 fs.trash.interval属性的值。每次检查指针运行 时，它都会创建一个新的检查点，并移除在几 分钟前创建的检查点。 |
| fs.protected.directories |
|
一个逗号分隔的目录列表，即使是空的，也不 能被超级用户删除。此设置可用于防止重要系 统目录因管理员错误而意外删除。 |
| fs.AbstractFileSystem.file.impl |
org.apache.hadoop.fs.local.LocalFs |
file的抽象文件类。 |
| fs.AbstractFileSystem.har.impl |
org.apache.hadoop.fs.HarFs |
har的抽象文件类。 |
| fs.AbstractFileSystem.hdfs.impl |
org.apache.hadoop.fs.Hdfs |
hdfs的抽象文件类。 |
| fs.AbstractFileSystem.viewfs.impl |
org.apache.hadoop.fs.viewfs.ViewFs |
viewfs的抽象文件类。 |
| fs.viewfs.rename.strategy |
SAME_MOUNTPOINT |
允许在多个挂载点间重命名。 |
| fs.AbstractFileSystem.ftp.impl |
org.apache.hadoop.fs.ftp.FtpFs |
ftp的抽象文件类。 |
| fs.AbstractFileSystem.webhdfs.impl |
org.apache.hadoop.fs.WebHdfs |
webhdfs的抽象文件类。 |
| fs.AbstractFileSystem.swebhdfs.impl |
org.apache.hadoop.fs.SWebHdfs |
swebhdfs的抽象文件类。 |
| fs.ftp.host |
0.0.0.0 |
ftp的连接服务器。 |
| fs.ftp.host.port |
21 |
ftp的连接服务器端口。 |
| fs.ftp.data.connection.mode |
ACTIVE_LOCAL_DATA_CONNECTION_MODE |
ftp客户端的数据连接模式，有如下选项ACTIVE_LOCAL_DATA_CONNECTION_MODE，PASSIVE_LOCAL_DATA_CONNECTION_MODE 和PASSIVE_REMOTE_DATA_CONNECTION_MODE。 |
| fs.ftp.transfer.mode |
BLOCK_TRANSFER_MODE |
ftp的数据传输模式，有如下选项 STREAM_TRANSFER_MODE，BLOCK_ TRANSFER_MODE COMPRESSED_ TRANSFER_MODE。 |
| fs.df.interval |
60000 |
磁盘使用统计情况的刷新时间间隔。 |
| fs.du.interval |
600000 |
文件空间使用统计情况的刷新时间间隔。 |
| fs.s3.awsAccessKeyId |
|
S3使用的AWS访问密钥ID。 |
| fs.s3.awsSecretAccessKey |
|
S3使用的AWS密钥. |
| fs.s3.block.size |
67108864 |
S3使用的块大小。 |
| fs.s3.buffer.dir |
${hadoop.tmp.dir}/s3 |
该目录用于发送S3前的临时本地目录。 |
| fs.s3.maxRetries |
4 |
在向应用程序发出故障之前，读取或写入文 件到S3的最大重试次数。 |
| fs.s3.sleepTimeSeconds |
10 |
在每次S3重试之间的睡眠时间间隔。 |
| fs.swift.impl |
org.apache.hadoop.fs.swift.snative .SwiftNativeFileSystem |
OpenStack Swift Filesystem的实现类。 |
| fs.automatic.close |
TRUE |
当为true时，FileSystem的实例会在程序退出 时关闭，为false时，不自动退出。 |
| fs.s3n.awsAccessKeyId |
|
S3本地文件系统使用的AWS访问密钥ID。 |
| fs.s3n.awsSecretAccessKey |
|
S3本地文件系统使用的AWS密钥. |
| fs.s3n.block.size |
67108864 |
S3本地文件系统使用的块大小。 |
| fs.s3n.multipart.uploads.enabled |
FALSE |
为true时，允许多个上传到本地S3。当上传 一个的大小超过fs.s3n.multipart.uploads .block.size属性的大小，则将其分割成块。 |
| fs.s3n.multipart.uploads.block.size |
67108864 |
多上传到本地S3时的块大小，默认大小为64MB。 |
| fs.s3n.multipart.copy.block.size |
5368709120 |
多拷贝时的块大小，默认大小为5GB。 |
| fs.s3n.server-side-encryption-algorithm |
|
为S3指定服务器端加密算法。默认情况下未 设置，而当前唯一允许的值是AES256。 |
| fs.s3a.access.key |
|
S3A文件系统使用的AWS访问密钥ID。 |
| fs.s3a.secret.key |
|
S3A文件系统使用的AWS密钥。 |
| fs.s3a.aws.credentials.provider |
|
一组com.amazonaws.auth.AWSCredentials Provider的实现类，按照顺序加载和查询。 |
| fs.s3a.session.token |
|
当使用org.apache.hadoop.fs.s3a.Temporary AWSCredentialsProvider时的会话令牌。 |
| fs.s3a.security.credential.provider.path |
|
hadoop.security.credential.provider.path 属性的一个子集 |
| fs.s3a.connection.maximum |
15 |
S3A的最大连接数。 |
| fs.s3a.connection.ssl.enabled |
TRUE |
是否启用SSL连接到S3A。 |
| fs.s3a.endpoint |
|
AWS S3 连接终端。 |
| fs.s3a.path.style.access |
FALSE |
启用S3A path style访问，即禁用默认虚 拟的互联网行为。 |
| fs.s3a.proxy.host |
|
S3A连接代理的主机名。 |
| fs.s3a.proxy.port |
|
S3A连接代理的端口，如果未设置，默认为 80或443。 |
| fs.s3a.proxy.username |
|
S3A连接代理的用户名。 |
| fs.s3a.proxy.password |
|
S3A连接代理的密码。 |
| fs.s3a.proxy.domain |
|
S3A连接代理的域。 |
| fs.s3a.proxy.workstation |
|
S3A连接代理的工作站。 |
| fs.s3a.attempts.maximum |
20 |
当出现错误时的最大重试次数。 |
| fs.s3a.connection.establish.timeout |
5000 |
Socket连接建立超时时间，单位为毫秒。 |
| fs.s3a.connection.timeout |
200000 |
Socket连接保持时间，单位为毫秒。 |
| fs.s3a.socket.send.buffer |
8192 |
Socket 发送缓冲大小，单位为字节。 |
| fs.s3a.socket.recv.buffer |
8192 |
Socket 接收缓冲大小，单位为字节。 |
| fs.s3a.paging.maximum |
5000 |
在读取目录列表时，从S3A同时请求的密 钥最大数量。 |
| fs.s3a.threads.max |
10 |
文件请求的最大并发线程数。 |
| fs.s3a.threads.keepalivetime |
60 |
线程空间多长时间后，即终止。单位为秒。 |
| fs.s3a.max.total.tasks |
5 |
可以并发执行的操作数。 |
| fs.s3a.multipart.size |
100M |
upload或copy操作，当文件超过多大时， 即拆分。单位可以为K/M/G/T/P。 |
| fs.s3a.multipart.threshold |
2147483647 |
upload或copy或rename操作，当文件超过 多大时，即拆分。单位可以为K/M/G/T/P， 不写表示字节。 |
| fs.s3a.multiobjectdelete.enable |
TRUE |
当启用时，多个单对象的删除，被单个多 对象的删除替代，以减少请求数。 |
| fs.s3a.acl.default |
|
选项有Private、PublicRead,、PublicReadWrite、 AuthenticatedRead、LogDeliveryWrite、 BucketOwnerRead、 or BucketOwnerFullControl。 |
| fs.s3a.multipart.purge |
FALSE |
当为true时，清除多文件上传失败时的文件。 |
| fs.s3a.multipart.purge.age |
86400 |
清理多文件上传的最小秒数。 |
| fs.s3a.server-side-encryption-algorithm |
|
为S3A指定服务器端加密算法，可以为 'AES256' (for SSE-S3)、 'SSE-KMS' 或 'SSE-C'. |
| fs.s3a.server-side-encryption.key |
|
如果 fs.s3a.server-side-encryption-algorithm 属性值为'SSE-KMS' or 'SSE-C'，则使用特定 的加密密钥。在SSE-C的情况下，这个属性的 值应该是Base64编码的密钥，在SSE-KMS的 情况下，如果该属性为空，则使用默认的S3KMS 密钥，否则应将该属性设置为特定的KMS密钥ID。 |
| fs.s3a.signing-algorithm |
|
重写默认签名算法。 |
| fs.s3a.block.size |
32M |
S3A的块大小。 |
| fs.s3a.buffer.dir |
${hadoop.tmp.dir}/s3a |
用于缓冲上传文件的目录。 |
| fs.s3a.fast.upload |
FALSE |
是否启用基于增量块的快速上传机制。 |
| fs.s3a.fast.upload.buffer |
disk |
选项可以为disk/array/bytebuffer。 |
| fs.s3a.fast.upload.active.blocks |
4 |
单个输出流可以激活的最大块数。 |
| fs.s3a.readahead.range |
64K |
在关闭和重新打开S3 HTTP连接之前在seek() 提前读取的字节。 |
| fs.s3a.user.agent.prefix |
|
设置一个自定义值，作为发送到S3的HTTP请 求的头部。 |
| fs.s3a.metadatastore.authoritative |
FALSE |
当为true时，允许元数据作为真实的数据源。 |
| fs.s3a.metadatastore.impl |
org.apache.hadoop.fs.s3a.s3guard .NullMetadataStore |
实现S3A的元数据存储类的完全限定名。 |
| fs.s3a.s3guard.cli.prune.age |
86400000 |
删除命令执行后，元数据在设定时间后被删除， 单位为毫秒。 |
| fs.s3a.impl |
org.apache.hadoop.fs.s3a.S3AFileSystem |
S3A文件系统的实现类 。 |
| fs.s3a.s3guard.ddb.region |
|
AWS DynamoDB连接域。 |
| fs.s3a.s3guard.ddb.table |
|
DynamoDB操作表名，如果此属性没有被设置， 则使用S3的桶名。 |
| fs.s3a.s3guard.ddb.table.create |
FALSE |
当为true时，S3A客户端将允许创建不存在的表。 |
| fs.s3a.s3guard.ddb.table.capacity.read |
500 |
读操作的吞吐量设置。 |
| fs.s3a.s3guard.ddb.table.capacity.write |
100 |
写操作的吞吐量设置。 |
| fs.s3a.s3guard.ddb.max.retries |
9 |
批量DynamoDB操作报错或取消前的最大重 试次数。 |
| fs.s3a.s3guard.ddb.background.sleep |
25 |
批量删除时，每个删除间的时间间隔，单位 为毫秒。 |
| fs.AbstractFileSystem.s3a.impl |
org.apache.hadoop.fs.s3a.S3A |
S3A抽象文件系统的实现类。 |
| fs.wasb.impl |
org.apache.hadoop.fs.azure .NativeAzureFileSystem |
原生Azure文件系统的实现类。 |
| fs.wasbs.impl |
org.apache.hadoop.fs.azure .NativeAzureFileSystem$Secure |
安全原生Azure文件系统的实现类。 |
| fs.azure.secure.mode |
FALSE |
当为true时，允许 fs.azure.NativeAzureFile System使用SAS密钥与Azure存储进行通信。 |
| fs.azure.local.sas.key.mode |
FALSE |
当为true时，fs.azure.NativeAzureFileSystem 使用本地SAS密钥生成，当为false，此属性无意义。 |
| fs.azure.sas.expiry.period |
90d |
生成的SAS密钥过期时间，单位可以是ms(millis)， s(sec)， m(min)， h(hour)， d(day) 。 |
| fs.azure.authorization |
FALSE |
当为true时，启用WASB的授权支持。 |
| fs.azure.authorization.caching.enable |
TRUE |
当为true时，开户授权结果的缓存。 |
| fs.azure.saskey .usecontainersaskeyforallaccess |
TRUE |
当为true时，使用容器内的SAS密钥访问blob， 专用密钥无效。 |
| fs.adl.impl |
org.apache.hadoop.fs.adl.AdlFileSystem |
|
| fs.AbstractFileSystem.adl.impl |
org.apache.hadoop.fs.adl.Adl |
|
| io.seqfile.compress.blocksize |
1000000 |
块压缩序列文件中压缩的最小块大小。 |
| io.mapfile.bloom.size |
1048576 |
BloomMapFile中的bloom过滤器大小。 |
| io.mapfile.bloom.error.rate |
0.005 |
BloomMapFile中的bloom过滤器的假负率， 默认是0.5%。 |
| hadoop.util.hash.type |
murmur |
Hash的默认实现，有两个选项murmur和jenkins。 |
| ipc.client.idlethreshold |
4000 |
定义连接的阈值数量，之后将检查连接是否空闲。 |
| ipc.client.kill.max |
10 |
定义一次断开的客户端的最大数量。 |
| ipc.client.connection.maxidletime |
10000 |
空间连接断开时间，单位为毫秒。 |
| ipc.client.connect.max.retries |
10 |
客户端重新建立服务器连接的重试次数。 |
| ipc.client.connect.retry.interval |
1000 |
两次重新建立连接之间的时间间隔，单位为毫秒。 |
| ipc.client.connect.timeout |
20000 |
客户端通过socket连接到服务器的超时时间。 |
| ipc.client.connect.max.retries.on.timeouts |
45 |
客户端通过socket重新连接到服务器的重试次数。 |
| ipc.client.tcpnodelay |
TRUE |
当为true时，使用TCP_NODELAY标志绕过 Nagle的算法传输延迟。 |
| ipc.client.low-latency |
FALSE |
当为true时，使用低延迟在QoS标记。 |
| ipc.client.ping |
TRUE |
当为true时，如果读取响应超时，则向服务器 发送ping命令。 |
| ipc.ping.interval |
60000 |
等待服务器响应的超时时间，单位为毫秒。当ipc.client.ping属性为true时，客户端将在不接 收字节的情况下发送Ping命令。 |
| ipc.client.rpc-timeout.ms |
0 |
等待服务器响应的超时时间，单位为毫秒。当ipc.client.ping属性为true，并且这个属性的时 间比 ipc.ping.interval属性的值大时，这个属性 的时间将被修改为 ipc.ping.interval的最大倍数。 |
| ipc.server.listen.queue.size |
128 |
接受客户端连接的服务器的侦听队列的长度。 |
| ipc.server.log.slow.rpc |
FALSE |
此设置有助于排除各种服务的性能问题。如果这 个值设置为true，将被记录请求。 |
| ipc.maximum.data.length |
67108864 |
服务器可以接受的最大IPC消息长度（字节）。 |
| ipc.maximum.response.length |
134217728 |
服务器可以接受的最大IPC消息长度（字节）。 设置为0禁用。 |
| hadoop.security.impersonation.provider .class |
|
ImpersonationProvider接口的实现类，用于授 权一个用户是否可以模拟特定用户。如果未指 定，则使用DefaultImpersonationProvider实现。 |
| hadoop.rpc.socket.factory.class.default |
org.apache.hadoop.net.StandardSocketFactory |
默认使用SocketFactory，参数格式为package.FactoryClassName。 |
| hadoop.rpc.socket.factory.class .ClientProtocol |
|
连接到DFS的SocketFactory，如果为空，则使用 hadoop.rpc.socket.class.default属性的值。 |
| hadoop.socks.server |
|
SocksSocketFactory使用的SOCKS服务器的地址 （主机：端口）。 |
| net.topology.node.switch.mapping.impl |
org.apache.hadoop.net.ScriptBasedMapping |
DNSToSwitchMapping的默认实现，其调用net.topology.script.file.name属性的值来解析节点名称。 |
| net.topology.impl |
org.apache.hadoop.net.NetworkTopology |
NetworkTopology的默认实现，它是典型的三层 拓扑结构。 |
| net.topology.script.file.name |
|
该脚本被用于解析DNS的名称，例如，脚本将接收host.foo.bar，然后返回 /rack1。 |
| net.topology.script.number.args |
100 |
net.topology.script.file.name属性中参数的最大数量。 |
| net.topology.table.file.name |
|
当net.topology.node.switch.mapping.impl属性的 值为 org.apache.hadoop.net.TableMapping时适 用，表示一个拓扑文件。该文件格式是两列文本， 列由空白分隔。第一列是DNS或IP地址，第二列 指定地址映射的机架。如果没有找到对应于集群 中的主机的条目，则假设默认机架。 |
| file.stream-buffer-size |
4096 |
流文件的缓冲区大小，这个大小应该是页大小的 位数（X86为4096）。 |
| file.bytes-per-checksum |
512 |
每个校验和的字节数。 |
| file.client-write-packet-size |
65536 |
客户机写入的数据包大小。 |
| file.blocksize |
67108864 |
块大小。 |
| file.replication |
1 |
复制因子。 |
| s3.stream-buffer-size |
4096 |
流文件的缓冲区大小，这个大小应该是页大小 的位数（X86为4096）。 |
| s3.bytes-per-checksum |
512 |
每个校验和的字节数，该数值不能大于 s3.stream-buffer-size属性的值。 |
| s3.client-write-packet-size |
65536 |
客户机写入的数据包大小。 |
| s3.blocksize |
67108864 |
块大小。 |
| s3.replication |
3 |
复制因子。 |
| s3native.stream-buffer-size |
4096 |
流文件的缓冲区大小，这个大小应该是页大 小的位数（X86为4096）。 |
| s3native.bytes-per-checksum |
512 |
每个校验和的字节数，该数值不能大于 s3native.stream-buffer-size属性的值。 |
| s3native.client-write-packet-size |
65536 |
客户机写入的数据包大小。 |
| s3native.blocksize |
67108864 |
块大小。 |
| s3native.replication |
3 |
复制因子。 |
| ftp.stream-buffer-size |
4096 |
流文件的缓冲区大小，这个大小应该是页大 小的位数（X86为4096）。 |
| ftp.bytes-per-checksum |
512 |
每个校验和的字节数，该数值不能大于 ftp.stream-buffer-size属性的值。 |
| ftp.client-write-packet-size |
65536 |
客户机写入的数据包大小。 |
| ftp.blocksize |
67108864 |
块大小。 |
| ftp.replication |
3 |
复制因子。 |
| tfile.io.chunk.size |
1048576 |
chunk大小，单位为字节，默认为1MB。 |
| tfile.fs.output.buffer.size |
262144 |
FSDataOutputStream中使用的缓冲区大小。 |
| tfile.fs.input.buffer.size |
262144 |
FSDataInputStream使用的缓冲区大小。 |
| hadoop.http.authentication.type |
simple |
定义了Oozie HTTP终端的认证方式，支持 simple和kerberos。 |
| hadoop.http.authentication.token.validity |
36000 |
验证令牌的有效时长，单位为秒。 |
| hadoop.http.authentication.signature .secret.file |
${user.home}/hadoop-http-auth-signature-secret |
签署认证令牌的签名秘密。同样的秘密应该用于JT/NN/DN/TT配置。 |
| hadoop.http.authentication.cookie.domain |
|
用于存储身份验证令牌的HTTP Cookie域。 为了授权在所有Hadoop节点Web控制台上正 确工作，必须正确设置域。重要事项：当使用 IP地址时，浏览器忽略具有域设置的Cookie。 为了使该设置正常工作，集群中的所有节点必 须配置为具有主机名的URL。 |
| hadoop.http.authentication.simple .anonymous.allowed |
TRUE |
当使用'simple'认证时，是否允许匿名请求。 |
| hadoop.http.authentication.kerberos.principal |
HTTP/_HOST@LOCALHOST |
HTTP终端中使用的Kerberos principal，该 principal必须以 'HTTP/'开头。 |
| hadoop.http.authentication.kerberos.keytab |
${user.home}/hadoop.keytab |
keytab文件的位置。 |
| hadoop.http.cross-origin.enabled |
FALSE |
是否启用cross-origin (CORS)过滤器。 |
| hadoop.http.cross-origin.allowed-origins |
* |
需要cross-origin (CORS)支持的web服务的 来源列表，用逗号分隔。 |
| hadoop.http.cross-origin.allowed-methods |
GET,POST,HEAD |
需要cross-origin (CORS)支持的方法列表， 用逗号分隔。 |
| hadoop.http.cross-origin.allowed-headers |
X-Requested-With,Content-Type,Accept,Origin |
需要cross-origin (CORS)支持的web服务的的 头部，用逗号分隔。 |
| hadoop.http.cross-origin.max-age |
1800 |
需要cross-origin (CORS)支持的web服务缓存 支持秒数。 |
| dfs.ha.fencing.methods |
|
fencing方法列表。 |
| dfs.ha.fencing.ssh.connect-timeout |
30000 |
SSH连接超时时长，单位为毫秒。 |
| dfs.ha.fencing.ssh.private-key-files |
|
SSH私钥文件。 |
| hadoop.http.staticuser.user |
dr.who |
呈现内容时在静态Web筛选器上进行过滤的用 户名，比如在HDFS web UI中的过滤。 |
| ha.zookeeper.quorum |
|
ZooKeeper服务器地址列表，用逗号分隔，可 以被ZKFailoverController用于自动故障转移。 |
| ha.zookeeper.session-timeout.ms |
5000 |
ZKFC连接到ZooKeeper的超时时长，将该值设 置为较低的值意味着服务器崩溃将被更快地检测 到，但在瞬态错误或网络错误的情况下，就会使 故障转移过于激进。 |
| ha.zookeeper.parent-znode |
/hadoop-ha |
ZKFC下的存储信息的znode。 |
| ha.zookeeper.acl |
world:anyone:rwcda |
znode使用的ZooKeeper ACL列表，用逗号分隔。 格式同ZooKeeper CLI。如果ACL本身包含秘密， 那么您可以指定一个文件的路径，用“@”符号前缀 ，并且该配置的值将从内部加载。 |
| ha.zookeeper.auth |
|
连接到ZooKeeper时，将该列表加入到认证列表， 此列表用逗号分隔。 |
| hadoop.ssl.keystores.factory.class |
org.apache.hadoop.security.ssl .FileBasedKeyStoresFactory |
用于检索证书的密钥存储工厂。 |
| hadoop.ssl.require.client.cert |
FALSE |
是否需要客户端证书。 |
| hadoop.ssl.hostname.verifier |
DEFAULT |
提供HttpsURL连接主机名验证器。有以下选项：DEFAULT， STRICT， STRICT_IE6， DEFAULT_AND_LOCALHOST 和 ALLOW_ALL。 |
| hadoop.ssl.server.conf |
ssl-server.xml |
提取SSL服务器密钥存储信息的资源文件，这个 文件通过在classpath中查询。默认为hadoop下 的conf/ 目录。 |
| hadoop.ssl.client.conf |
ssl-client.xml |
提取SSL客户端密钥存储信息的资源文件，这个 文件通过在classpath中查询。默认为hadoop下的 conf/ 目录。 |
| hadoop.ssl.enabled |
FALSE |
不建议使用，建议用dfs.http.policy and yarn.http.policy代替。 |
| hadoop.ssl.enabled.protocols |
TLSv1,SSLv2Hello,TLSv1.1,TLSv1.2 |
支持的SSL协议列表。The supported SSL protocols. |
| hadoop.jetty.logs.serve.aliases |
TRUE |
对于jetty的服务是否启用别名。 |
| fs.permissions.umask-mode |
22 |
创建文件或目录时的umask。例如"022" (符号表 示就是 u=rwx,g=r-x,o=r-x )，或者 "u=rwx,g=rwx, o=" (用八进制表示就是007)。 |
| ha.health-monitor.connect-retry-interval.ms |
1000 |
重试连接到服务的频率。 |
| ha.health-monitor.check-interval.ms |
1000 |
多久检查一次服务 |
| ha.health-monitor.sleep-after-disconnect.ms |
1000 |
在异常RPC错误之后，休眠多长时间。 |
| ha.health-monitor.rpc-timeout.ms |
45000 |
实际 monitorHealth() 调用超时时间。 |
| ha.failover-controller.new-active.rpc-timeout.ms |
60000 |
FC等待新任务的超时时间，在设置时间内有 新任务，即重新进入激活状态。 |
| ha.failover-controller.graceful-fence.rpc-timeout.ms |
5000 |
FC等待旧任务的超时时间，然后进入待机。 |
| ha.failover-controller.graceful-fence.connection.retries |
1 |
graceful fencing中FC连接的重试次数。 |
| ha.failover-controller.cli-check.rpc-timeout.ms |
20000 |
CLI (manual) FC等待monitorHealth, getServiceState的超时时间。 |
| ipc.client.fallback-to-simple-auth-allowed |
FALSE |
当客户端被配置为尝试安全连接，但尝试连接到 不安全的服务器时，该服务器可以指示客户端切 换到SASL SIMPLE（非安全）认证。此设置控制 客户端是否将接受来自服务器的此指令。当FALSE（默认）时，客户端将不允许退回到简单 的身份验证，并将中止连接。 |
| fs.client.resolve.remote.symlinks |
TRUE |
在访问远程Hadoop文件系统时，是否解析符号连接。当为false时，如果遇到符号连接，则触发异常。此设置对于本地文件系统不适用，对于本地文件系统，会自动解析符号连接。 |
| nfs.exports.allowed.hosts |
* rw |
默认情况下，所有客户端都可以导出。该属性的 值包含机构号和访问权限，由空格分隔。机器名 称的格式可以是一个单一的主机，一个java正则 表达式，或一个IPv4地址。访问特权使用RW或 RO来指定机器的读/写权限。如果未提供访问特 权，则默认为只读。条目由“；”分隔。例如：“192.1680.0/22RW；主机。*.Stase\.com；Hoo1.Test.Org Ro；”。只有更新了NFS网关之 后，才能重新启动该属性。 |
| hadoop.user.group.static.mapping.overrides |
dr.who=; |
用户到组的静态映射。如果指定的用户在系统中 可用，则这将覆盖组。换句话说，这些用户不会 出现组查找，而是使用在这个配置中映射的组。 映射应采用这种格式。USER1＝GROMP1，GROP2；USER2=；USER3= GROP2；默认“DR.WH=”将考虑“D.WHO”作为没有组的用户。 |
| rpc.metrics.quantile.enable |
FALSE |
当为true，并且rpc.metrics.percentiles.intervals 属性为一组逗号分隔的度量时，将在百分位50/75/90/95/99时，加入rpc metrics。 |
| rpc.metrics.percentiles.intervals |
|
接上一属性，和rpc.metrics.quantile.enable配合 使用。 |
| hadoop.security.crypto.codec.classes .EXAMPLECIPHERSUITE |
|
对于给定的加密编解码器的前缀，包含一个逗号 分隔的给定密码编解码器（例如EXAMPLECIPHERSUITE）的实现类。如果可用 的话，第一个实现将被使用，其他的则是回退。 |
| hadoop.security.crypto.codec.classes .aes.ctr.nopadding |
org.apache.hadoop.crypto .OpensslAesCtrCryptoCodec, org.apache.hadoop.crypto .JceAesCtrCryptoCodec |
AES/CTR/NopAudio的加密编解码器实现类， 用逗号分隔。如果可用的话，第一个实现将被 使用，其他的则是回退。 |
| hadoop.security.crypto.cipher.suite |
AES/CTR/NoPadding |
用于加密编解码器的密码套件。 |
| hadoop.security.crypto.jce.provider |
|
CryptoCodec中使用的JCE提供程序名称。 |
| hadoop.security.crypto.buffer.size |
8192 |
CryptoInputStream和CryptoOutputStream使用 的缓冲区大小。 |
| hadoop.security.java.secure.random .algorithm |
SHA1PRNG |
java安全随机算法。 |
| hadoop.security.secure.random.impl |
|
安全随机的实现。 |
| hadoop.security.random.device.file.path |
/dev/urandom |
OS安全随机设备文件路径。 |
| hadoop.security.key.provider.path |
|
在管理区域密钥时使用的密钥提供程序。对于 HDFS客户端，提供程序路径将与NAMENODE 的提供程序路径相同。 |
| fs.har.impl.disable.cache |
TRUE |
当为true时，不缓存“HAR”文件系统实例。 |
| hadoop.security.kms.client.authentication .retry-count |
1 |
在认证失败时重试连接到KMS的次数。 |
| hadoop.security.kms.client.encrypted.key .cache.size |
500 |
EncryptedKeyVersion缓存队列的大小。 |
| hadoop.security.kms.client.encrypted.key .cache.low-watermark |
0.3f |
如果EncryptedKeyVersion缓存队列大小低于watermark，队列将被重新调度填充。 |
| hadoop.security.kms.client.encrypted.key .cache.num.refill.threads |
2 |
重新填充EncryptedKeyVersion缓存队列的线程数。 |
| hadoop.security.kms.client.encrypted.key .cache.expiry |
43200000 |
密钥过期时间，默认为12小时。 |
| hadoop.security.kms.client.timeout |
60 |
KMS连接超时时间。 |
| hadoop.security.kms.client.failover.sleep .base.millis |
100 |
在故障转移尝试之间以指数形式增加时长，这是迄 今为止尝试的数目的函数，具有+/- 50%的随机因 子。此选项指定在故障转移计算中使用的基值。 第一次故障转移将立即重试。第二次故障转移尝 试将延迟至少hadoop.security.client.failover. sleep.base.millis属性的值之后……单位为毫秒 |
| hadoop.security.kms.client.failover.sleep .max.millis |
2000 |
在故障转移尝试之间以指数形式增加时长，这是 迄今为止尝试的数目的函数，具有+/- 50%的随机 因子。此选项指定在故障转移之间等待的最大值。 具体来说，两个故障转移尝试之间的时间将不超过 hadoop.security.client.failover.sleep.max.millis属 性的值，单位为毫秒。 |
| ipc.server.max.connections |
0 |
服务器接受的最大并发连接数。 |
| hadoop.registry.rm.enabled |
FALSE |
是否在YARN Resource Manager中启用注册表。 |
| hadoop.registry.zk.root |
/registry |
注册表的根zookeeper节点。 |
| hadoop.registry.zk.session.timeout.ms |
60000 |
Zookeeper会话超时时间，单位为毫秒。 |
| hadoop.registry.zk.connection.timeout .ms |
15000 |
Zookeeper连接超时时间，单位为毫秒。 |
| hadoop.registry.zk.retry.times |
5 |
Zookeeper连接重试最大次数。 |
| hadoop.registry.zk.retry.interval.ms |
1000 |
Zookeeper连接重试间隔。 |
| hadoop.registry.zk.retry.ceiling.ms |
60000 |
Zookeeper重试的时长限制，单位为毫秒。 |
| hadoop.registry.zk.quorum |
localhost:2181 |
绑定注册表的zookeeper的主机名列表。 |
| hadoop.registry.secure |
FALSE |
注册表是否是安全的。 |
| hadoop.registry.system.acls |
sasl:yarn@, sasl:mapred@, sasl:hdfs@ |
可以安全访问注册表的 zookeeper ACL列表。 |
| hadoop.registry.kerberos.realm |
|
Kerberos域。 |
| hadoop.registry.jaas.context |
Client |
定义 JAAS上下文的密钥，用于安全模式中。 |
| hadoop.shell.missing.defaultFs.warning |
FALSE |
如果fs.defaultFS属性未设置，则在hdfs中启用 shell命令打印警告信息。 |
| hadoop.shell.safely.delete.limit.num.files |
100 |
使用hadoop fs -rm的-safe选项，以避免意外删除 大目录。 当启用时，如果要删除的文件数量大于 该限制，则-RM命令需要确认。默认的限制是100 个文件。如果限制为0或在-RM命令中未指定安全 性，则禁用警告。 |
| fs.client.htrace.sampler.classes |
|
hadoop文件系统客户端使用的HTrace Samplers类名。 |
| hadoop.htrace.span.receiver.classes |
|
hadoop中使用的Span Receivers类名。 |
| hadoop.http.logs.enabled |
TRUE |
当为true时，启用hadoop守护进程上的/logs终端。 |
| fs.client.resolve.topology.enabled |
FALSE |
是否使用net.topology.node.switch.mapping.impl 属性的值来计算客户端到远程机器之间的网络距离。 |
| fs.adl.impl |
org.apache.hadoop.fs.adl.AdlFileSystem |
|
| fs.AbstractFileSystem.adl.impl |
org.apache.hadoop.fs.adl.Adl |
|
| adl.feature.ownerandgroup.enableupn |
FALSE |
为了获得最佳性能，建议使用FALSE。 |
| fs.adl.oauth2.access.token.provider.type |
ClientCredential |
定义了Azure Active Directory OAuth2访问令牌 提供程序类型。 |
| fs.adl.oauth2.client.id |
|
OAuth2客户端ID。 |
| fs.adl.oauth2.credential |
|
OAuth2访问密钥。 |
| fs.adl.oauth2.refresh.url |
|
OAuth2令牌终端。 |
| fs.adl.oauth2.refresh.token |
|
OAuth2刷新令牌。 |
| fs.adl.oauth2.access.token.provider |
|
OAuth2访问令牌提供程序的类名。 |
| fs.adl.oauth2.msi.port |
|
MSI令牌服务的本地端口，端口是在创建Azure VM时被指定的。如果未被指定，则用默认的50342。 |
| fs.adl.oauth2.devicecode.clientapp.id |
|
ADD本地app的ID。 |
| hadoop.caller.context.enabled |
FALSE |
当为true时，附加的内容会被写入到namenode 的log。 |
| hadoop.caller.context.max.size |
128 |
调用内容的最大字节数。 |
| hadoop.caller.context.signature.max.size |
40 |
服务器中允许签名的最大字节。 |
| seq.io.sort.mb |
100 |
当使用SequenceFile.Sorter时，可以用于排序的 缓冲区总大小。单位为兆字节。默认情况下，每 个合并流为1MB。 |
| seq.io.sort.factor |
100 |
当使用SequenceFile.Sorter时，允许同时合并的流数量。 |
| hadoop.zk.address |
|
ZooKeeper服务器地址。 |
| hadoop.zk.num-retries |
1000 |
尝试连接到ZooKeeper的数量。 |
| hadoop.zk.retry-interval-ms |
1000 |
连接到ZooKeeper的重试时间间隔，单位为毫秒。 |
| hadoop.zk.timeout-ms |
10000 |
ZooKeeper会话超时时间，单位为毫秒。 |
| hadoop.zk.acl |
world:anyone:rwcda |
用于ZooKeeper znode的ACL。 |
| hadoop.zk.auth |
|
为hadoop.zk.acl属性中的ACL指定认证方式。 |