cloudera manager5.14版本更新信息

总体概况5.14.0的cdh更新内容

Apache Impala
Apache Kudu
Cloudera Search

Apache Impala

1、新的布尔运算符： IS TRUE, IS NOT TRUE, IS FALSE, IS NOT FALSE, IS UNKNOWN, and IS NOT UNKNOWN. 这些操作员总是返回TRUE或者是FALSE, 即使左边的表达式评估为NULL. IS [NOT] TRUE和IS [NOT] FALSE都是空的等同于平等和不平等的比较. IS [NOT] UNKNOWN和IS [NOT] NULL是相同的。
2、新的内置功能DATE_TRUNC()让你截断一个 TIMESTAMP值给定的精度. 例如, 打电话 date_trunc(‘hour’,ts) 截短ts到相应小时的开始，所有分，秒，毫秒等都设置为零。
3、命令行impala-shell现在接受命令行参数–query_option = option = value为该shell会话设置查询选项。您可以通过提供多个实例来指定多个查询选项 –query_option在impala-shell调用。
impala-shell的配置文件，例如.impalarc，也可以包含以开头的部分 [impala.query_options]，然后是表单的行query_option=value，对于使用指定配置文件的所有impala-shell会话，这些查询选项默认生效。
3、该set声明在没有任何争论的情况下运行，现在将其输出分成对应于“regular”，“advanced”，“development”（未完成，不准备用于通用）和“已弃用”（可移除）的组。默认情况下，“开发”和“不推荐”选项组不显示在中set输出。发表声明set all查看所有组的选项和值。
4、Impala通过构建表示连接列中最小和最大匹配值的运行时筛选器来优化针对Kudu表的一些连接查询。将min-max信息“下推”到Kudu，这样Kudu就可以在将结果集发送回Impala之前修剪不必要的行。
5、允许的范围 BATCH_SIZE 查询选项现在是0到65536，以前，上限是未定义的。
6、算术表达式包含decimal和float或者是double，现在产生result的类型是decimal，而不是double。

Apache Kudu

从Apache Kudu 1.5.0 / CDH 5.13.x开始，Kudu已经完全集成到CDH中。现在，Kudu作为CDH的parcel包和package的一部分。
有关Kudu（CDH 5.14）中引入的新功能和更改的完整列表，

New Features in Kudu 1.6.0 / CDH 5.14.0

1、在tablet server上默认启用了磁盘故障容错特性，并且在运行时扩展了处理数据目录失败的能力。在运行时磁盘故障时，任何带有磁盘上的数据的tablet server都将被关闭并在另一台tablet server上重新启动。默认情况下，tablets在所有可用的磁盘上都有记录。注意，第一次配置的data目录和wal目录目前不能容忍磁盘故障。这将在未来的版本中得到进一步的改进。
2、Kudu服务器现在可以通过Kudu fs update_dirs工具来采用新的数据目录。新的目录只会被新的平板电脑所使用。删除目录还不支持
3、kudu server现在可以使用两个flags，–webserver_tls_ciphers和–webserver_tls_min_protocol去控制webui TLS/HTTPS设置，这些标志允许配置TLS密码和TLS协议版本。另外，现在webserver默认不使用不安全的遗留密码

Optimization and Improvements in Kudu 1.6.0 / CDH 5.14.0

1、Kudu服务器现在可以忍受NTP时钟同步的短暂中断。当任何Kudu守护进程启动时，NTP同步仍然是必需的。如果不能使用NTP同步，则会记录诊断信息，以帮助查明问题
2、在包含大量block的服务器上，tablet server启动时间显著改善。
3、日志块管理器现在可以批量执行磁盘数据删除操作。这种优化可以显著减少在平板电脑上删除数据的时间。
4、敏感数据修订标志的使用已经发生了变化。通过设置–redact=log标记，redaction将在web UI中禁用，但保留在服务器日志中，或者，–redact=none可以被用来完全禁用编校。
5、Spark数据源集成现在可以利用扫描位置来获得更好的扫描性能。扫描将在最接近的副本中进行，而不是向master进行。
6、为了减少在tablet server上写的第99个百分点的延迟，我们做了各种各样的优化。这还可以提高写工作负载的吞吐量，尤其是在较大的集群上。
7、您可以配置Kudu，以忽略系统身份验证本地配置/etc/krb5.conf文件并设置标志–use_system_auth_to_local=false
8、compaction调度程序的性能得到了改进。在以前的版本中，某些类型的时间序列工作负载可能会导致压缩调度花费数十秒。这些工作负载现在更有效地安排了紧凑的数量级。
9、这些压缩调度已经提升很多，当compaction的效果非常小时，避免进行compaction。
10、在决定tablet驱逐出去之前，tablet server现在已经考虑了所有tablet的健康状况，这可以在经历多个并发守护进程失败后，提高Kudu集群的稳定性
11、对Kudu master进行了一些性能方面的改进，特别是在大量的客户端打开表的并发性方面。这将提高高并发工作负载的性能。
12、tablet的磁盘大小、度量现在包含所有的数据和元数据。之前，它排除了wal段和一致元数据
13、为kudu集群ksck命令添加了一个详细模式，以支持对集群元数据的详细信息的输出，即使没有检测到错误。

参考：apache kudu1.6.0特性
http://blog.csdn.net/weixin_39478115/article/details/78878958

Cloudera Search

在以前的版本中，Lily HBase Indexer服务仅支持Sentry策略文件进行授权。它现在支持哨兵服务。有关更多信息，请参阅配置Lily HBase索引器安全性。