0466-CDH5.16.1和CM5.16.1的新功能

Fayson在2018年的6月15日介绍了《CDH5.15和CM5.15的新功能》，今天11月29日，Cloudera正式发布CDH5.16.1。从5.15到5.16，差不多等待了5个月，当然Cloudera在期间还发布了CDH6正式版，随后发布CDH6.0.1，参考《Cloudera Enterprise 6正式发布》。我们注意到这次CDH新版本的发布，没有5.16.0而直接是5.16.1，具体原因未知。这次有一个很激动人心的更新就是，CDH的OpenJDK支持，参考《Java收费，Hadoop怎么办？》。

以下我们看看CDH5.15和CM5.15具体的更新内容。

1 CDH5.16.1的新功能

1.1OpenJDK支持

Cloudera Manager和CDH5.16.1现在支持OpenJDK。更多如何从Oracle JDK迁移到OpenJDK，参考：

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_jdk8.html

如果你是新搭平台，想直接使用OpenJDK，参考：

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cdh_ig_jdk_installation.html#topic_29

1.2Apache Hive

Sentry和Hive引入了细粒度权限，为角色提供对象级权限。细粒度权限添加CREATE权限，允许用户创建数据库和表。

这里Fayson解释一下，以前的Sentry，如果你想要让某个用户能够创建数据库和表即CREATE权限，你必须得给他赋ALL权限，这样其实是不太合理的，比如某个用户你只想让他能够创建表，但是因为有了ALL权限，某个Database下的所有表他都有权限，包括他还能drop掉整个Database或者所有table。参考：

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sg_hive_sql.html#privileges

1.2.1对象所有权（Object Ownership）

Objecto wnership在Sentry中为database，table和view指定一个owner（所有者）。对象的所有者拥有的OWNER权限与对象的ALL权限等效。参考：

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sentry_object_ownership.html

因为这个新的object ownership功能，在Hive中创建表或数据库的用户会被HMS存储为对象所有者（object owner）。如果启用了object ownership，Sentry会授予用户OWNER权限。无论是否启用object ownership，HMS都会将创建对象的用户存储为对象所有者（object owner）。以前，HMS是将hive用户保存为对象所有者（object owner）。

现在在Hive中新增以下语句以使Sentry支持object ownership：

• ALTER DATABASE SET OWNER
• ALTER TABLE SET OWNER
• SHOW GRANT USER

1.3Apache Impala

1.3.1细粒度权限

同Hive一样，Sentry在Impala中同样也引入了细粒度权限，为角色提供对象级权限。

细粒度的权限包括REFRESH和CREATE，它允许用户创建数据库和表，以及执行更新Impala数据库和表的元数据信息的命令。参考：

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_authorization.html#authorization

以下是新增的权限：

• REFRESH权限
• CREATE权限
• SERVER上的SELECT和INSERT权限

在升级到CDH5.16.1之前，如果某个角色对Impala中的对象具有SELECT或INSERT权限，则该角色在CDH升级期后会自动获得REFRESH权限。

1.3.2对象所有权（Object Ownership）

通Hive一样，Object ownership在Sentry中为database，table和view指定一个owner（所有者）。对象的所有者拥有的OWNER权限与对象的ALL权限等效。参考：

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sentry_object_ownership.html

如果启用了object ownership，Sentry会授予用户OWNER权限。无论是否启用object ownership，HMS都会将创建对象的用户存储为默认的对象所有者（object owner）。之前，HMS将Kerberos用户保存为对象所有者（object owner）。

现在在Impala中新增以下语句以使Sentry支持object ownership：

• ALTER DATABASE SET OWNER
• ALTER TABLE SET OWNER
• ALTER VIEW SET OWNER
• SHOW GRANT USER

1.3.3Admission Control增强

新增查询参数MAX_MEM_ESTIMATE_FOR_ADMISSION，使用这个参数，你可以限定单个Impala查询作业的最大内存，从而防止有些查询超过了你预估的内存使用依旧会被执行。参考：

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_max_mem_estimate_for_admission.html#max_mem_estimate_for_admission

1.3.4通用性能改进

新增查询参数SHUFFLE_DISTINCT_EXPRS，使用这参数可以控制你的SQL语句中同时有grouping和distinct的行为。具体参考：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/impala_shuffle_distinct_exprs.html#shuffle_distinct_exprs

1.3.5元数据性能改进

1.Incremental Stats（增量统计）

以下增强功能可以提高Impala的稳定性。这些特性可以减少使用增量统计时由于内存不足导致catalogd 和impalad崩溃的几率。

• catalogd现在会在内存中压缩增量统计信息，从而减少catalogd中的内存占用。
• 增量统计信息现在会由impalad的coordinator按需从catalogd中获取。此增强功能可以减少impalad的coordinator和statestore的内存占用，同时还可以降低广播元数据的网络开销。

具体参考：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/impala_perf_stats.html#pull_incremental_statistics

2.元数据自动失效

注意：该功能还在试验阶段，不建议直接上生产。

为了控制元数据的大小并降低catalogd缓存OOM的几率，CDH5.16.1的Impala引入了自动元数据失效功能，它会按时间或者内存失效。

元数据的自动失效为Impala服务提供了更好的稳定性，同时降低了OOM的几率，但可能会导致性能风险，所以现阶段该功能默认是关闭的。具体参考：

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_config_options.html#auto_invalidate_metadata

1.3.6兼容性和可用性增强

1.在默认的TIMESTAMP格式中，日期和时间之间支持其他分隔符，特别是多空格分隔符和“T”分隔符。具体参考：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/impala_timestamp.html#timestamp

2.INSERT语句支持新的hint placement，具体参考：

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_hints.html#hints

3.REGEX_ESCAPE（）函数可以转义特殊字符，从而可以让你在字符串中逐字处理它们。

4.SHOW CREATE VIEW与SHOW CREATE TABLE具有相同的功能。

5.现在如果启用了load balancer和Kerberos，Impala Shell也可以直接连接到impalad，而以前只能连接到load balancer。具体参考：

http://www.cloudera.com/documentation/enterprise/latest/topics/impala_shell_options.html

1.4Apache Sentry

1.4.1细粒度权限

引入CREATE和REFRESH（仅限Impala）权限，允许用户创建数据库，表和函数，以及执行更新Impala数据库和表上的元数据信息的命令。具体参考：

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sg_hive_sql.html#privileges

1.4.2对象所有权（Object Ownership）

Object ownership在Sentry中为database，table和view指定一个owner（所有者）。对象的所有者拥有的OWNER权限与对象的ALL权限等效。

在CDH5.16.1中，object ownership默认是关闭的。具体参考：

https://www.cloudera.com/documentation/enterprise/5/latest/topics/sentry_object_ownership.html

1.5Apache Kudu

从Apache Kudu1.5.0/CDH 5.13.x开始，Kudu服务默认打包到CDH，不需要额外下载Kudu的Parcel包进行安装。

1.5.1Kudu 1.7.0/CDH 5.16.1的新功能

1.Kudu scan token API新增扫描请求超时。

2.Spark connector中新增两个新的配置参数，从而方便更好的调优，以避免高负载下的扫描超时：socketReadTimeoutMs和scanRequestTimeout

3.新增kudu tablet unsafe_replace_tablet工具从而实现替换tablet。当其中一个tablet永久丢失所有副本时，使用此工具可以恢复table。替换后的tablet中是没有数据的，所以此工具建议在你没有其他选择的情况下再使用。

4.两个新工具允许超级用户从远程Kudu进程中检索所有命令行的flag值：kudu tserver get_flags和kudu master get_flags。get_flag工具支持按标签过滤返回flag。默认情况下，它们仅返回显式设置的flag。

5.新增命令行工具可以在tablet server之间rebalance表的副本，使用kudu cluster rebalance命令可以实现该功能，这个功能在CDH 5.12（Kudu 1.4.0）以后的版本中可以使用。

1.5.2Kudu 1.7.0/CDH 5.16.1的优化和改进

1.在删除表中大量的连续行时，添加了优化以提高性能。例如，用户可以在重新添加之前使用删除表或分区中的所有行，或者可以删除与主键的某些前缀对应的所有数据。

2.tablet复制的默认时间从3秒增加到30秒，以便在目标服务器上存在大量磁盘I/O时，使tablet的自动复制更加健壮。此外相应的，你可以使用tablet server的flag高级配置--tablet_copy_begin_session_timeout_ms

3.kudu cluster ksck工具增强

• ksck现在会检查master的运行状况和一致性状态，显示集群中设置的任何不安全或隐藏的flag，同时生成Kudu master和tablet server上运行的Kudu版本摘要。
• ksck现在支持JSON输出，无论是pretty-printed还是compact格式。
• 输出格式由-ksck_format标志控制

4.kudu local_replica dump rowset的输出现在更易于阅读。

2

Cloudera Manager 5.16.1的新功能

2.1Backup and Disaster Recovery (BDR)日志保留

你现在可以在CM中配置Backup and Disaster Log Retention参数来设置保留BDR日志的天数。具体参考：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_bdr_replication_intro.html#bdr_log_retention

2.2Impala

1.Impala图表库更新

更新了Impala图表库，删除了很少使用的图表，同时引入了一些更有意义的指标。

2.配置ImpalaD的JVM大小

CM中现在你可以为Impala Daemon配置Java的heap大小，参数名为：Java Heap Size of Impala Daemon in Bytes，默认为4GB。

3.达到最大客户端连接时，Impala会报警

当Impala Daemon达到最大客户端并发数时，新的运行状况检查会报警。参数名为：Impala Daemon Max Client Connections

4.新增Impala空闲查询超时和空闲会话超时配置

配置参数名为：Idle Query Timeout和Idle Session Timeout

5.从Cloudera Manager中删除了Impala Assignment Locality运行状况测试

2.3Auditor和Dashboard角色用户无法查看Solr collection的统计信息页面

Cloudera Manager的Auditor和Dashboard角色用户现在可以查看Solr Collection Statistics和HBase Table Statistics页面。

2.4新的Kafka运行状况检查

Cloudera Manager增加了两项新的Kafka Broker运行状况测试：Kafka Broker Swap Memory Usage和Kafka Broker Unexpected Exits。CM5.14后的Kafka，默认会启用这些运行状况测试。具体参考：

http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ht_kafka_broker.html#concept_asr_f4n_yk

2.5CM中新增Sentry的Object Ownership配置

Sentry配置页面中添加了一个新的配置参数，该配置用于启用Sentry的OWNER权限，默认情况下是关闭的。具体参考：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/sentry_object_ownership.html#setting_owner_privileges_in_cm

2.6强如果启用了HDFS静态数据加密，禁用了降级到Cloudera免费版的功能

如果使用Navigator KMS Key Trustee server实现了HDFS静态数加密，则不允许降级到Cloudera免费版，如果点击Downgrade License，会有警告提示，提示会指示用户先把数据转换为非加密格式。因为Navigator是CDH企业版的工具。

2.7Zookeeper配置修改

ZooKeeper中的Enable Kerberos Authentication和Enable Server to Server SASL Authentication两个配置现在绑在了一起，即任一参数更改为打开或关闭，则另一个参数将自动更改为相同的值，关于这个CM也新增了警告。

本文翻译参考：

http://community.cloudera.com/t5/Community-News-Release/ANNOUNCE-Cloudera-Enterprise-5-16-is-Now-Available/m-p/83029#M258
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_516.html
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_rn_new_changed_features.html#cm_new_5160