impala元数据自动刷新

一.操作步骤

进入CM界面 > Hive > 配置 > 搜索 启用数据库中的存储通知(英文界面搜索:Enable Stored Notifications in Database),并且勾选,注意一定要勾选,配置后面的配置不生效。数据库通知的保留时间默认为2天,意味着如果事件通知没有更新超过2天事件将会丢失

impala元数据自动刷新_第1张图片

二.hive配置参数

hive-site.xml 的 Hive Metastore Server 高级配置代码段(安全阀)

impala元数据自动刷新_第2张图片

hive.metastore.notifications.add.thrift.objects true hive.metastore.alter.notifications.basic false

如果你想在使用Spark和其他应用程序将数据插入现有表和分区时会生成事件,需要在hive-site.xml 的 Hive 服务高级配置代码段(安全阀)以及hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)添加配置

hive-site.xml 的 Hive 服务高级配置代码段(安全阀)

hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)

都配置如下参数

hive.metastore.dml.events true

二.impala配置参数

Catalog Server 命令行参数高级配置代码段(安全阀)

impala元数据自动刷新_第3张图片

--hms_event_polling_interval_s=2

你可能感兴趣的:(impala)