Metastore

大数据技术之-Hive源码

MR任务的1、Hive的核心组成介绍#用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）#元数据：Metastore
是小先生·2023-10-11 14:58

windows 11系统调试hive metastore 3.1.2源码新姿势

由于工作原因，需要深入了解一下hivemetastore相关源码，这几天尝试了在windows中运行hivemetastore代码，这边记录一下踩坑的过程以及解决方法。
BigDataToAI·2023-10-11 14:26

spark 常用配置参数调优

spark参数调优(spark.sql.hive.metastore.version,1.2.1)三.ERROR问题1：ERRORYarnScheduler:Lostexecutor53onnode100p32
kieron_wei·2023-10-10 17:40

Hadoop----Hive的使用

3.元数据的初始化，在使用在hive中执行命令，会给MySQL导入一些基本的表于hive3架构4.连接问题，有直接连接还有使用metastore进行连接，但是一般还要再
沙糖桔45·2023-10-10 12:59

impala 自动刷新元数据配置 2021-02-05

CDH在hive配置页搜索hive-site.xmlhive-site.xml的Hive服务高级配置代码段（安全阀）hive.metastore.dml.eventstruesetautoinvalidatemetadataonhiveeventshive-site.xml
迷藏_·2023-10-10 00:55

SPARK

在使用spark-shell时，进一步使用dataframe进行sql处理，报错：HiveMetaStoreClient:FailedtoconnecttotheMetaStoreServerspark-shell
innersense·2023-10-09 14:59

统一的Catalog API(FLink FLIP-30翻译)

统一的CatalogAPI(FLinkFLIP-30翻译)文章目录统一的CatalogAPI(FLinkFLIP-30翻译)一、动机FLink与HiveMetastore集成有两个方面：二、公共接口三、
LS_ice·2023-10-08 05:46

spark on hive

1、将hive的配置文件添加到spark的目录下cp$HIVE_HOME/conf/hive-site.xml$SPARK_HOME/conf2、开启hive的hivemetastore服务提前创建好启动日志存放路径
！@123·2023-10-06 06:17

大数据-玩转数据-Flink Catalog

元数据也可以是持久化的，例如HiveMetastore中的元数据。Catalog提供了一个统一的API，用于管理元数据，并使其可以从TableAPI和SQL
人猿宇宙·2023-10-02 01:22

hive

修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir
一个彩笔程序猿·2023-09-29 23:31

Hive 分区字段限制

message:javax.jdo.JDOException:Exceptionthrownwhenexecutingquery:SELECTDISTINCT'org.apache.hadoop.hive.metastore.model.MPartition'ASNUCLEUS_T
phycsgy·2023-09-29 12:42

MySQL到TiDB：Hive Metastore横向扩展之路

作者：vivo互联网大数据团队-WangZhiwen本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值。一、背景大数据元数据服务HiveMetasto
vivo互联网技术·2023-09-29 09:45

MySQL到TiDB：Hive Metastore横向扩展之路

作者：vivo互联网大数据团队-WangZhiwen本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值。一、背景大数据元数据服务HiveMetasto
·2023-09-28 10:01

hive面试题

3、Hive的内部组成模块，作用分别是什么1．元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字
且从容.·2023-09-27 20:44

hive安装（配置文件hive-site.xml）

javax.jdo.option.ConnectionURLjdbc:mysql://node01:3306/metastore?
是先生了·2023-09-27 08:33

hive报错Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

参考:https://www.cnblogs.com/zlslch/p/5944887.html经查找资料发现,需要将hive的配置文件hive-site.xml修改.把hive.metastore.schema.verificationtrueEnforcemetastoreschemaversionconsistency.True
WEI1B·2023-09-25 06:30

Apache Hive安装部署详细图文教程

目录一、ApacheHive元数据1.1HiveMetadata1.2HiveMetastore二、Metastore三种配置方式2.1内嵌模式2.2本地模式2.3远程模式三、Hive部署实战3.1安装前准备
Stars.Sky·2023-09-24 13:47

Hive集群高可用配置与impala集群高可用配置

Hive高可用配置与impala高可用1.HiveServer2高可用及Metastore高可用使用Zookeeper实现了HiveServer2的HA功能（ZooKeeperServiceDiscovery
岁月的眸·2023-09-23 12:59

hive初始化数据库失败

失败原因已存在hive_metastore表，进入mysql删除即可重新初始化成功注：初始化后navicat需要重启才能出现hive_metastore表
weixin_64290536·2023-09-23 04:14

hive数据库初始化失败

javax.jdo.option.ConnectionURLjdbc:mysql://Had01:3306/metastore?
林中有神君·2023-09-23 04:44

hive初始化mysql失败_hive 未初始化元数据库报错

启动hive-metastore和hive-server2用beeline连接hive报错[root@node04hive]#beelineBeelineversion0.13.1-cdh5.3.0byApacheHivebeeline
润姐姐Samantha·2023-09-23 04:43

hive初始化元数据报错

Error:Duplicatekeyname'PCS_STATS_IDX'(state=42000,code=1061)org.apache.hadoop.hive.metastore.HiveMetaException
leezsj·2023-09-23 04:40

CDH hive初始化mysql数据库

(state=42X01,code=30000)org.apache.hadoop.hive.metastore.
程志伟·2023-09-23 04:39

大数据之Hive初始化数据元

createDatabaseIfNotExist=trueJDBCconnectstringforaJDBCmetastorejavax.jdo.option.ConnectionDriverNameco
Java璐到底·2023-09-23 04:36

Hive 的权限管理

1.1.3角色1.2使用场景1.2.1hivecli1.2.2hiveserver21.2.3hcatalogapi1.3权限模型1.3.1StorageBasedAuthorizationintheMetastoreServer1.3.2SQLStandardsBasedAuthorizationinHiveServ
夜夜流光相皎洁_小宁·2023-09-21 12:34

hive连接Presto

配置HiveConnectoretc/catalog/hive.propertiesconnector.name=hive-hadoop2hive.metastore.uri=thrift://:9083hive.config.resources
大数据开发工程师-宋权·2023-09-21 09:52

hive报错Cannot overwrite a path that is also being read from

从本表读数写到本表setspark.sql.hive.convertMetastoreParquet=false;
weixin_44352020·2023-09-21 06:53

hive 以beeline的模式启动

hive以beeline的模式启动beeline启动之前先确保，metastore以及hiveserver2服务已经启动hive启动元数据服务nohuphive--servicemetastore&hive
weixin_49719367·2023-09-20 22:07

2023年大数据面试通关文牒系列篇

区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置
AuZn666·2023-09-20 19:42

hive表内部表和外部表的区别

修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir
进击的小恶魔·2023-09-20 17:19

[hive]搭建hive3.1.2hiveserver2高可用可hive metastore高可用

参考:Apachehive3.1.2从单机到高可用部署HiveServer2高可用Metastore高可用hiveonsparkhiveserver2webUI高可用集群启动脚本_薛定谔的猫不吃猫粮的博客
胖胖学编程·2023-09-20 05:34

Hive 数据仓库介绍

1.4Hive生态链关系二、Hive架构2.1架构图2.2架构组件说明2.2.1Interface2.2.1.1CLI2.2.1.2JDBC/ODBC2.2.1.3WebUI2.2.2MetaData2.2.3MetaStore2.2.4Hiveserver22.2.5Driver2.2.5.1
夜夜流光相皎洁_小宁·2023-09-20 00:29

Hive工作原理

2.MetaStore组件：存储着hive的元数据信息，将自己的元数
丢雷劳谋·2023-09-19 07:57

HDP服务器上spark-sql联通hive元数据库

session窗口测试，通过spark-sql连接yarn后showdatabases;发现数据库与hive元数据库不一致；解决方法：修改spark2-sql的conf/hive-site.xml中的配置项#metastore.catalog.default
NightFall丶·2023-09-17 23:44

SQL练习题二十一-Hive练习题

公众号,其中的题目都是常规题,较好的巩固了casewhen语法高级聚合函数行转列/列转行窗口函数/窗口大小hive远程连接步骤:要开启hdfs和hive的元数据管理,后台运行hive--servicemetastore
冰菓_·2023-09-17 12:07

Hive【Hive（一）DDL】

从DataGrip或者其他外部终端连接Hive需要先打开Hive的metastore进程和hiveserver2进程。
让线程再跑一会·2023-09-17 09:11

hive操作

connectjdbc:hive2://hadoop102:10000metastroe服务bin/hive--servicemetastorehive启动元数据服务（metastore和hiveserver2
球场程序员·2023-09-16 06:04

Hive 使用达梦DM8 无法识别 “COMMENT” 问题

SCHEMA=hiveJDBCconnectstringforaJDBCmetastore.TouseSSLtoencrypt/authenti
freedom_Mr·2023-09-14 06:57

Impala相较于hive的优劣

impala是使用C++编写的基于hive的大数据查询分析sql执行引擎，使用到了Hive当中的Metastore。适用于实时数据分析，容错机制稍差，但重查一次的成本低，因为不支持UDF，能
一只当归·2023-09-11 12:27

大数据--python远程连接Hive

步骤：启动metastore启动hiveserver2使用beeline进行连接测试，查看地址等是否能够成功连接(确认无误可以跳过)使用python连接hive(粗暴的文件配置以及完整操作见文末)一.启动
脑袋凉凉·2023-09-11 01:37

hive解决中文注释乱码问题

当时虚拟机里面的数据库是mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar最开始搜索网上资料，按照比较普遍的改法，以前也亲测过，曾经是成功过的，1.进入数据库metastore
菜菜菜bird123·2023-09-10 06:16

解决Hive中文乱码问题

mysql中，因此需要进入mysql中创建hive元数据库；如果已存在hive元数据库，则修改元数据库字符格式##修改已存在的hive元数据库，字符编码格式为utf-8mysql>alterdatabasemetastorecharactersetutf8
D奋斗的小菜鸟！·2023-09-10 06:16

Spark3中Catalog组件设计和自定义扩展Catalog实现

编译和打包测试类切换catalog测试自定义JDBC和Kafka数据源的Catalog实战参考Spark3中Catalog组件设计catalog管理类继承关系在Spark3中，我们可以轻松的对内置的访问Hivemetastore
wankunde·2023-09-09 04:03

hive3升级

文章目录一、hive2升级到hive3步骤1.备份hive2元数据库2.导入到hive3对应的hive元数据表3.更新hive_metastore数据表信息3.1需要新增的表3.2需要更新字段的表3.3
侠客刀·2023-09-07 10:15

【Hive】删除表(drop、truncate)

因为外部表里的数据并不是存放在HiveMetastore中。创建表的时候指定了EXTERNAL，外部
sdbhewfoqi·2023-09-06 19:31

CDH 之 Sentry 安装失败 Unable to find the MySQL JDBC driver

Exceptioninthread"main"java.lang.RuntimeException:java.lang.ClassNotFoundException:com.mysql.jdbc.Driveratcom.cloudera.cmf.service.hive.HiveMetastoreDbUtil.countTables
啊 这·2023-09-05 20:01

6、HIVE JDBC开发、UDF、体系结构、Thrift服务器、Driver、元数据库Metastore、数据库连接模式、单/多用户模式、远程服务模式、Hive技术原理解析、优化等(整理的笔记)

目录：5HIVE开发5.1HiveJDBC开发5.2HiveUDF6Hive的体系结构6.2Thrift服务器6.3Driver6.4元数据库Metastore6.5数据库连接模式6.5.1单用户模式6.5.2
涂作权的博客·2023-09-05 12:21

初始化Hive元数据库时报错

执行初始化hive代码schematool-initSchema-dbTypemysql-verbose发现报错：org.apache.hadoop.hive.metastore.HiveMetaException
小辉懂编程·2023-09-01 00:52

HDFS文件删除后,HIVE元数据还存在的问题

一.背景手动在hdfs上删除了一个表的分区数据(inc_day=2023-08-30)，当查询这个表这个分区的数据时报错文件不存在二.原因即HDFS数据删除了，但是hivemetastore元数据却没有更新
spark大数据玩家·2023-08-31 03:17

lotus-5之文件管理

sector-storage/stores/index.goIndex结构体typeIndexstruct{*indexLockslksync.RWMutexsectorsmap[Decl][]*declMetastoresmap
qingu·2023-08-30 19:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他