HiveMetaStore

Hive MetaStore的结构

HiveMetaStore数据库表结构图test.pngTBLS记录数据表的信息字段解释TBL_ID在hive中创建表的时候自动生成的一个id，用来表示，主键CREATE_TIME创建的数据表的时间，使用的是时间戳
一生逍遥一生·2023-03-26 16:42

解决hudi hms catalog中flink建表，spark无法写入问题

问题描述在hudi0.12.0版本，flink和spark都可以基于hivemetastore进行元数据管理，更多信息可参考：hudiHMSCatalog指南。
BigDataToAI·2023-03-19 11:27

Flink HiveCatalog

HiveMetastore作为一个元数据管理的标准在Hadoop生态系统中已经成为公认的事实，因此Flink也采用HiveCatalog作为表元数据持久化的介质。
sunrising_hill·2023-03-19 11:24

Hudi系列15:Hudi元数据同步到Hive

hivesynctool工具介绍二.问题排查三.实操参考:一.hivesynctool工具介绍使用DataSourcewriter或HoodieDeltaStreamer写入数据支持将表的最新模式同步到Hivemetastore
只是甲·2023-03-19 11:24

【Hudi数据湖应用】手把手带你应用hudi的hive sync tool与避坑

一、Hivesynctool的介绍Hudi提供Hivesynctool用于同步hudi最新的元数据（包含自动建表、增加字段、同步分区信息）到hivemetastore。Hivesynctool提供三
大数据点灯人·2023-03-19 11:18

Spark读取Hive数据的两种方式与保存数据到HDFS

Spark读取Hive数据的两种方式与保存数据到HDFSSpark读取Hive数据的方式主要有两种1、通过访问hivemetastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的
岁月的眸·2023-02-18 20:49

Hive MetaStore的结构

HiveMetaStore数据库表结构图image.pngtest.pngTBLS记录数据表的信息字段解释TBL_ID在hive中创建表的时候自动生成的一个id，用来表示，主键CREATE_TIME创建的数据表的时间
Yobhel·2023-02-06 09:11

hadoop 3.x 案例2:登陆hive异常 Unable to find config file hivemetastore-site.xml

一.问题描述image.png如上图所示，控制台登陆hive，出现很多提示信息。[root@hp5metadata]#hiveSLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/home/hadoop-3.3.2/share/hadoop/common/lib/slf4j-log4j12-1.7.3
只是甲·2023-02-04 19:40

Hive MetaStore 元数据库常见操作

HiveMetaStore元数据库常见操作hive元数据库中比较重要的一些表的作用，我们可以通过mysql元数据库分析相关字段引用情况，为我们定位和处理问题提供支持。
ws的大数据田地·2023-01-28 16:27

Ambari启动hive报错

lib/ambari-agent/cache/common-services/HIVE/0.12.0.2.0/package/scripts/hive_metastore.py",line203,in  HiveMetastore
罗亚方舟·2023-01-24 17:21

hivemetastore java,hive启动报错 hive.metastore.HiveMetaStoreClient

之前用的是hive-0.90，想与hbase整合下，所以更换hive为0.13.1版本，因为偷懒将原来的conf配置文件拷贝，结果出现如下错误，hive.metastore.local，hive.metastore.ds.retry.*是新版本不建议使用，删除配置文件中的内容即可，java.lang.RuntimeException:Unabletoinstantiateorg.apache.ha
彼得·克鲁泡特金·2023-01-24 17:51

apache Doris和StarRocks创建Hive外部表

StarRocks和Doris创建外部表不同StarRocksHive外表创建Hive资源StarRocks使用Hive资源来管理使用到的Hive集群相关配置，如HiveMetastore地址等，一个Hive
贾斯汀玛尔斯·2023-01-10 21:43

Hive中删除表数据的几种方式

因为外部表里的数据并不是存放在HiveMetastore中方法二或deletefrom表名where1=1;（delete用于删除特定条件下的行，使用where1=1删除所有行SQL中where1=1的使用
大大大大肉包·2022-12-07 12:29

Presto on Alluxio By Alluxio SDS 单节点搭建

Presto的架构如下图所示，client的请求，会递交给Coordinator进行处理，而元数据信息由HiveMetaStore(HMS)进行管理。
·2022-09-27 20:33

技能速成！教你10分钟内在电脑上配置运行Hive Metastore和Presto

作者：范斌；Alluxio创始成员、开源社区副总裁To初学者：本教程将指导初学者在本地服务器上通过搭建Presto和HiveMetastore来查询S3上的数据。
·2022-09-27 16:15

Hive DDL操作出现卡住现象源码分析与解决方法

最近遇到对Hive进行altertable时卡住无后续响应的问题，如下图所示：即使重启HiveMetastore也依然无法解决这个问题，但是其他表的ddl操作都是正常的，只有这张表不行，经过排查后基本知道了原因所在
书忆江南·2022-09-25 10:58

创建Iceberg表的步骤——《DEEPNOVA开发者社区》

以这里举例的引擎为例，它们都可以将表元数据维护在HiveMetastore中，对引擎来讲，这些表以externaltable的形式存在。在本文中，我们将话题限制在Hive、Spark、
·2022-09-09 16:00

Hive存储格式之ORC File详解，什么是ORC File

ORC文件是以二进制的方式存储的，不可以直接读取，但由于ORC的自描述特性，其读写不依赖于HiveMetastore或任何其他外部元数据。本身存储了文件数据、数据类型及编码信息。
鲁边·2022-08-25 09:00

Hive实践 | Hive MetaStore 在快手遇到的挑战与优化

本文将主要介绍HiveMetaStore服务在快手的挑战与优化，包括：快手SQLonHadoop智能引擎架构HiveMetaStore在快手的挑战HiveMetaStore在快手的优化快手SQLonHado
大数据技术架构·2022-08-13 12:58

Hive MetaStore 在遇到的挑战与优化

本文将主要介绍HiveMetaStore服务在快手的挑战与优化，包括：快手SQLonHadoop智能引擎架构HiveMetaStore在快手的挑战HiveMetaStore在快手的优化快手SQLonHado
浪尖聊大数据-浪尖·2022-08-13 12:57

Hive Schema version 2.1.0 does not match metastore(版本不匹配）解决

HiveSchemaversion2.1.0doesnotmatchmetastore’sschemaversion1.2.0Metastoreisnotupgradedorcorrupt)_2解决方案：1.登陆mysql，修改hivemetastore
holomain·2022-07-15 09:21

Hive Metastore详解大全

1、介绍Hive所有表和分区的元数据都通过HiveMetastore进行访问。使用JPOXORM解决方案(DataNucleus)持久化元数据，因此它支持的任何数据库都可以被Hive使用。
一个数据小开发·2022-07-15 09:45

CDH 使用 Hive schematool

documentation/enterprise/latest/topics/cdh_ig_hive_schema_tool.html版本：5.14.2使用Hive命令行schematool为非托管集群升级或验证HiveMetastore
金刚_30bf·2022-02-18 02:15

Spark读取Hive时schema版本不匹配的解决方法

HiveSchemaversion2.3.0doesnotmatchmetastore'sschemaversion1.2.0Metastoreisnotupgradedorcorrupt即Spark中采用的Hivemetastore
汤圆毛毛·2021-12-15 11:09

当大数据架构遇上 TiDB

前言一年前，知乎的大数据架构与TiDB首次相遇，那时我们将HiveMetaStore的元数据库迁移到了TiDB，得到了超过单机数据库一个量级的性能提升。
·2021-07-30 14:53

hcatalog简介和使用

开源的对于表和底层数据管理统一服务平台，目前最新release版本是0.5，不过需要Hive0.10支持，由于我们hive集群版本是0.9.0，所以只能降级使用hcatalog0.4，由于hcatalog中所有的底层数据信息都是保存在hivemetastore
本宝宝天然萌·2021-05-21 08:06

Hive源码本地IDEA调试的正确姿势

Hive源码本地IDEA调试的正确姿势背景环境准备初始化配置修改配置初始化元数据库编译代码启动HiveMetaStore启动Hivesql客户端ClientDriver模式HiveServer2模式启动
喜剧之皇·2021-01-11 11:58

二十九、Linux安装Hive并更改Metastore依赖库

本文主要介绍如何在Linux上安装部署Hive，以及存储HiveMetastore的依赖库MySQL的安装。
象在舞·2020-12-10 15:14

hive报错Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE)

业务发现跑hive任务总是一次成功，第二次无法找到库，需要重新进行hive，查看HiveMetaStore日志报错：2016-05-1111:30:32,912ERROR[pool-3-thread-178
levy_cui·2020-09-16 18:06

Impala的invalidate metadata与refresh 区别

在CDH中默认是MySQL，我们可以通过showtablesinhive语句清晰地看到HiveMetastore中的各个表。mysql>sho
清平の乐·2020-09-14 03:38

Hive修改与字段名后Spark读取不到字段

altertableadd…来实现原来的表：ALTERTABLEtestADDCOLUMNS(weightSTRING)CASCADE1加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore
灵佑666·2020-09-13 19:27

spark-sql读取不到parquet格式的hive表

当向Hivemetastore中读写Parquet表时，SparkSQL将使用SparkSQL自带的ParquetSerDe（SerDe：Serialize/Deserilize的简称,目的是用于序列化和反序列化
x950913·2020-09-13 10:10

【HIVE】hive中解决中文乱码问题

问题详情：为了解决Hive中创建表的时候，注解等中文显示的乱码问题需要设置MetaStoreDataBase中某些字段的字符编码为utf-8HiveMetaStore配置说明MySQL授权GRANTALLPRIVILEGESON
sofeld·2020-08-24 16:53

Spark sql 连接hive时，读取不到hive元数据问题

解决方案：hive：修改hive-site.xml:添加这个启动hivemetastore：hive--servicemetastore后台启动：hive--servicemetastore2>&1>>
Wo0_0aa7·2020-08-23 11:13

spark 读取 hdfs 数据分区规则

下文以读取parquet文件/parquethivetable为例：hivemetastore和parquet转化的方式通过spark.sql.hive.convertMetastoreParquet控制
哥伦布112·2020-08-22 18:54

Flink 1.10 SQL、HiveCatalog与事件时间整合示例

本文用根据埋点日志计算PV、UV的简单示例来体验Flink1.10的两个重要新特性，一是SQLDDL对事件时间的支持，二是HiveMetastore作为Flink的元数据存储（即HiveCatalog）
LittleMagic·2020-08-21 17:42

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

HiveMetastore是Hive的元信息管理工具，它提供了操作元数据的一系列接口，其后端存储一般选用关系型数据库如Derby、MySQL等。现在很多除了Hive之外计算框架
PingCAP·2020-08-20 17:26

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

HiveMetastore是Hive的元信息管理工具，它提供了操作元数据的一系列接口，其后端存储一般选用关系型数据库如Derby、MySQL等。现在很多除了Hive之外计算框架
PingCAP·2020-08-20 17:25

hive metastore ha 配置

1.需要在两台或多台机器上启动hivemetastore服务，这台机器上hive配置如下javax.jdo.option.ConnectionURLjdbc:mysql://10.140.60.53:3306
刘光华_zhou·2020-08-14 22:48

HiveMetaStore高可用性(HA)配置

软件环境Hadoop2.6.0-cdh5.9.0Hive1.1.0-cdh5.9.0Zookeeper3.4.5-cdh5.9.0工作原理常规连接MetaStoreHA前置条件Hadoop、Zookeeper、Hive是可用的前提HiveServerMetaStore启动跟单节点配置一样，只不过在多台服务器上启动MetaSotre启动：nohup$HIVE_HOME/bin/hive–metast
RotKang·2020-08-14 22:38

hive-metastore结构

HiveMetaStore数据库表结构图整体概括DBSColumns:DB_ID、DESC、DB_LOCATION_URI、NAME、OWNER_NAME、OWNER_TYPEDBS表记录基本的db信息
花泽啸·2020-08-14 21:44

Hive metastore整体代码分析及详解

从上一篇对Hivemetastore表结构的简要分析中，我再根据数据设计的实体对象，再进行整个代码结构的总结。
weixin_34217711·2020-08-14 21:58

hive开启metastore服务

我们必须在hive服务端才能开启hivemetastore服务第一种方式hive--servicemetastore-p9083&第二种方式如果你在hive-site.xml里指定了hive.metastore.uris
weixin_34088583·2020-08-14 20:13

Hive metastore表结构设计分析

今天总结下，Hivemetastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。
??yy·2020-08-14 20:10

Hive MetaStore 源码分析

hive--servicehivemetastore-->$HIVE_HOME/bin/ext/metastore.sh-->可以看到入口类org.apache.hadoop.hive.metastore.HiveMetaStore2
wangwenting2016·2020-08-14 20:51

Hive安装配置指北（含Hive Metastore详解）

网上有很多介绍HiveMetastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。
舒琪·2020-08-14 19:23

Hive metastore三种配置方式

Hive官方wiki详细介绍了这三种方式，链接为：HiveMetastore。
reesun·2020-08-14 19:47

hive metastore java api使用

同样hivemetastore也提供了java接口。
苍老流年·2020-08-14 16:23

Hive元数据库切换

Hive高可用的“陷阱”Hive的元数据库保存在MySQL中，如果MySQL存在单节点故障问题，那么即使HiveServer和HiveMetastore有多个，Hive也不是高可用的；临时解决方案：定期备份
蓝莲骑士·2020-08-14 16:47

Hive元数据存储的三种模式，hive有哪些保存元数据的方式，各有什么特点。

HiveMetastore有三种配置方式，分别是：EmbeddedMe
Ahuuua·2020-08-14 15:52
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他