Metastore

大数据学习教程SD版第七篇【Hive】

将结构化数据映射成二维表，并提供类SQL查询，底层把HQL转换成MR程序Hive自带的客户端hiveclientbeelineclient特点HQL用于数据分析，但处理处理粒度粗处理大数据，但延迟高支持自定义函数架构原理Metastore
道-闇影·2023-08-30 08:32

zz-hive的基本原理

原文链接：http://www.cnblogs.com/uttu/archive/2013/02/28/2936953.html1、组件：元存储（Metastore）－存储“系统目录以及关于表、列、分区等的元数据
remychan·2023-08-28 00:11

Linux配置hive（远程模式）

首先：配置好三台虚拟机、免密、hadoop我这边用node、node1、node2远程模式：将hive中的相关进程比如hiveserver2或者metastore这样的进程单独开启，使用客户端工具或者命令行进行远程连接这样的服务
小果叮123·2023-08-26 16:36

启动metastore服务报错

启动Metastore的时候报错：简略的报错信息：MetaException(message:Errorcreatingtransactionalconnectionfactory)Causedby:MetaException
~提线木偶·2023-08-26 09:47

Hive面试自学版

2.描述一下Hive的架构模型答案1客户端->Hive/HiveServer2->MetaStore->
叫我莫言鸭·2023-08-26 04:30

Hive常用的属性配置

hive.metastore.warehouse.dir/user/hive/warehouselocationofdefaultdatabaseforthewarehouse事项1在仓库目录下，没有对默认的
明明德撩码·2023-08-23 01:42

TPC-DS 测试是否支持 Glue Data Catalog？

在上一篇文章《在Hive/Spark上执行TPC-DS基准测试(PARQUET格式）》中，我们详细介绍了具体的操作方法，当时的集群使用的是HiveMetastore，所有操作均可成功执行。
　Laurence·2023-08-20 06:01

hive 3.1.3编译下载 2.17.1 之前的 log4j 的解决办法

org.apache.hivehive-metastore2.3.3providedorg.apache.logging.log4jlog4j-1.2-apio
houzhizhen·2023-08-17 19:52

从源代码编译构建Hive3.1.3

从源代码编译构建Hive3.1.3编译说明编译Hive3.1.3更改Maven配置下载源码修改项目pom.xml修改hive源码修改说明修改standalone-metastore模块修改ql模块修改spark-client
CodeDevMaster·2023-08-17 19:22

Apache Hudi表自动同步至阿里云数据湖分析DLA

1.引入Hudi0.6.0版本之前只支持将Hudi表同步到Hive或者兼容Hive的MetaStore中，对于云上其他使用与Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块
xleesf·2023-08-16 04:46

（十八）大数据实战——Hive的metastore元数据服务安装

前言Hive的metastore服务作用是为HiveCLI或者Hiveserver2提供元数据访问接口。
北溟溟·2023-08-15 11:28

SparkSQL操作Hudi指南

2.2CTAS三、插入数据四、查询数据五、更新数据5.1普通5.2MergeInto六、删除数据七、InsertOverwrite一、SparkSQL连接Hudi1.1Hive配置我们需要将Hive的metastore
王知无(import_bigdata)·2023-08-13 02:21

关于使用msck修复hive分区，以及在添加分区缓慢的问题

需要修复的分区数量很大的解决办法sethive.msck.repair.batch.size=1000;sethive.msck.path.validation=ignore;第一个参数是设置每次插入到metaStore
ThomasgGx·2023-08-10 18:20

pyspark catalog介绍

这里写自定义目录标题catalog是一个管理Spark元数据信息的接口，可以管理库、内部或外部表、函数、表列及临时视图Catalogistheinterfacetoworkwithametastore,
小何才露尖尖角·2023-08-09 22:39

Presto/Trino的Hive Connector的使用(内部表、外部表、分区表)

连接器创建内部表和外部表3.通过Hive连接器创建分区表4.Hive连接器创建外部分区表，不能查询到已有分区数据5.通过Hive连接器插入数据6.删除分区表的数据Hive连接器不使用Hive的运行环境，而是使用HiveMetastore
Bulut0907·2023-08-09 19:41

配置Hive远程服务详细步骤

（1）修改hive-site.xml，在文件中添加以下内容：hive.metastore.event.db.notification.api.authfalseHiveServer2Thrift接口的端口号
飘羽·2023-08-07 10:30

访问 Hive 的元数据存储（MetaStore）的API方式

访问Hive的元数据存储（MetaStore）的API方式访问Hive的元数据存储（MetaStore）是通过Hive的ThriftAPI来实现的。
墨卿风竹·2023-08-02 11:24

hive的metastore问题汇总

1.metastore内存飙升1问题metastore内存飙升降不下来;spark集群提交的任务无法运行,只申请到了dirver的资源;2原因当Spark任务无法获取足够资源时，因为任务无法继续进行，不能将元数据从
盛源_01·2023-08-02 09:31

java HiveMetaStoreClient kerberos 亲测通过

代码展示代码内容很简单，java使用HiveMetaStoreClient读取Hive仓库的分区信息。并且配置
骑着蜗牛向前跑·2023-08-02 03:30

【运维】hive 终端突然不能使用：Hive Schema version does not match metastore‘s schema version

文章目录一.问题描述二.常规排查1.元数据库2.hive-site.xml相关meta连接信息检查三.正解一.问题描述进入hive终端，执行如下命令报错：hive>showtables;FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unablet
roman_日积跬步-终至千里·2023-08-01 21:37

数据仓库-Hive基础（五）Hive 的基本操作

数据库操作1.1创建数据库createdatabaseifnotexistsmyhive;usemyhive;说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的hive.metastore.warehouse.dir
做个合格的大厂程序员·2023-08-01 03:46

Hive单击版

javax.jdo.option.ConnectionURLjdbc:derby:;databaseName=metastore_db;create=truejavax.jdo.option.ConnectionDriverNameorg.apache.derby.jdbc.EmbeddedDriverhive.metastore.localtruehive.metastore.warehouse
不积小流_无以成江海·2023-07-31 21:59

DataX导数据从mysql到hive回顾

太久没碰datax了，没想到真的忘记了打开hdfsstart-all.sh打开hivehive--servicemetastore&hive--servicehiveservr2&hive注意：一定要先开启
南潇如梦·2023-07-31 05:09

Dinky简介与部署(Docker形式)

沉浸式FlinkSQL数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore
HuaWei&&WeiHua·2023-07-29 03:02

大数据学习之路-Hive

1.4.2数据更新1.4.3执行延迟1.4.4数据规模2.Hive安装2.1Hive安装地址2.2MySql安装2.3Hive安装部署2.4Hive元数据配置到MySql2.4.1拷贝驱动2.4.2配置Metastore
Conviction of Star·2023-07-27 23:01

CDP spark 无法读取hive表的问题

StackOverflow上有个相似问题说是需要关闭以下参数：hive.create.as.insert.only=falsemetastore.create.as.acid=false但是实际在CDP
炼数成器·2023-07-27 06:55

Hive内部表和外部表

表类型详解表分类在Hive中,表类型主要分为两种第一种：内部表也叫管理表表目录会创建在集群上的{hive.metastore.warehouse.dir}下的相应的库对应的目录中。
千锋IT教育·2023-07-27 06:22

Hive内部表和外部表的区别

区别：内部表数据由Hive自身管理；外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）；外部表数据的存储位置由自己制定
闭关苦炼内功·2023-07-25 06:28

Hadoop集成Hive

环境与软件准备说明：服务器已用主机名代替，可根据自己的需求，改为IP地址环境服务器组件masterNameNode、DataNode、Nodemanager、ResourceManager、Hive、Hive的metastore
爬树的小蚂蚁·2023-07-24 19:17

Hive架构和原理(图形化通俗易懂)

文章目录组件模块说明Hive原理Hive架构用户接口：Client元数据：Metastore驱动器：DriverHive运行机制组件模块说明Hive：以下内容为V3.1版本；Hive是基于Hadoop的一个数据仓库工具
lovelife110·2023-07-22 06:19

hive2.X上，解决执行SQL语句报错：metastore.RetryingHMSHandler: java.lang.IndexOutOfBoundsException: Index: 0,...

insertoverwrite插入数据到分区表的新分区，或者insertinto插入数据到分区表的老分区时，会有报错日志：2022-04-08T11:11:55,113ERROR[pool-6-thread-7]metastore.RetryingHMSHandler
沉思的雨季·2023-07-20 08:58

seatunnel-2.3.2 doris数据同步到hive(cdh-6.3.2)首次运行踩坑记录

2.3.2doris数据同步到hive(cdh-6.3.2)首次运行报错解决，解决的报错如下：1、java.lang.NoClassDefFoundError:org/apache/hadoop/hive/metastore
小雏菊的成长·2023-07-19 15:13

解决Hadoop集群hive库建表中文和表数据乱码问题

最近在测试环境，发现DDL建表后，发现中文注释和表数据乱码的问题，如下查询元数据原因是hive的metastore支持的字符集是latin1，所以中文写入的时候会有编码问题。
沉迷学习无法自拔的我·2023-07-19 02:49

Hadoop和hive一键启动脚本

/start-all.shcd$HIVE_HOME/binnohuphive--servicemetastore&停止hadoop服务#!/bin/bashcd$HADOOP_HOME/sbinsh.
沉迷学习无法自拔的我·2023-07-18 14:23

Hive Metastore、Hive server和thrift

HiveMetastoreHiveMetastore(HMS)是ApacheHive项目的一个关键组件，用于管理Hive表和分区的元数据信息。
贾斯汀玛尔斯·2023-07-17 20:48

分布式文件系统与HDFS的shell操作及查看元数据

启动hadoop和hive的metastore查看sbin的目录下的文件执行./start-all.sh查看相关的进程
沉迷学习无法自拔的我·2023-07-17 09:12

hive启动一直失败 org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

好不容把大数据集群装好了，但是hive始终启动不了。第一步先认真的检查一下mysql中创建的hive数据和用户名createdatabasehivedefaultcharsetutf8collateutf8_general_ci;CREATEUSER'hive'@'%'IDENTIFIEDBY'Hive-123';GRANTALLPRIVILEGESONhive.*TO'hive'@'%';FLU
罗亚方舟·2023-07-14 19:00

常见的bug---3、没有启动metaStore和Hiveserver2服务导致在本机上的IDEA无法连接上虚拟机上的HIve

这里写目录标题问题描述原因分析：解决方案：问题描述在IEDA连接虚拟机上的Hive报的Exceptioninthread“main”org.apache.spark.sql.AnalysisException:org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiate
星光下的赶路人star·2023-07-13 19:08

hive metastore 参数 metastore.limit.partition.request 不起作用

MetastoreConf中定义参数metastore.limit.partition.request",可以限制请求的分区数量，但是在实际测试中不起作用。
houzhizhen·2023-06-23 13:18

hive 设置hive.allow.udf.load.on.demand=true 使 HiveServer 动态从 Metastore 查找函数

当hive.allow.udf.load.on.demand=false时我们连接一台HiveServer，创建一个persistentfunction。hadoopfs-puthive-util-0.1.0.jar/user/hive/hive-util-0.1.0.jar;hive执行createfunctionadd_intas'com.baidu.hive.func.AddInt'usin
houzhizhen·2023-06-23 13:48

解决hive表中文乱码问题

问题背景使用的mysql版本：Serverversion:5.7.31现象描述：字段名称和字段描述等存储进如hivemetastore是中文，查询出来也是???
fct2001140269·2023-06-21 06:00

Hive 库表相关操作

区别：（1）内部表数据由Hive自身管理，外部表数据由HDFS管理；（2）内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）
java资深菜鸟·2023-06-17 12:06

HIVESERVER2 服务启动失败

、Causedby:java.lang.ClassNotFoundException:org.apache.hadoop.hive.ql.metadata.HiveException2、会导致HIVEMETASTORE
cg6·2023-06-17 01:32

CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程

显然不是的，但是其他博文都未提及出现过的问题以及如何处理和排查，特别是当升级完之后hivemetastore无法启动的问题，相信很多人也会
啊 这·2023-06-16 21:07

StarRocks案例5: hive外表报错starrocks [42000][1064] hdfsOpenFile failed

2.5.5现在需要使用hive外表，然后根据官网的的命令创建了hiveresourceCREATEEXTERNALRESOURCE“hive0”PROPERTIES(“type”=“hive”,“hive.metastore.uris
只是甲·2023-06-16 18:15

Hive CLI启动报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

HiveCLI启动报错Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientBackgroundSolutionBackground
江畔独步·2023-06-16 17:59

docker-compose部署hive数仓服务 —— 筑梦之路

hadoop-networkdockernetworkcreatehadoop_network#查看dockernetworkls2.mysql部署#拉取镜像dockerpullmysql:5.7#生成配置mkdir-pconf/data/db/cat>conf/my.cnfhive.metastore.warehouse.dir
筑梦之路·2023-06-15 13:02

hive概念

其实就是存放在metastore中如果不修改配置hive默认使用内置的derby数据库存储元数据。derby是apache开发的基于java的文件型数据库。
101之歌·2023-06-15 11:48

Spark SQL数据源：Hive表

文章目录一、SparkSQL支持读写Hive二、Spark配置hive-site.xml三、准备工作（一）启动Hive的metastore（二）启动SparkShell四、Spark读写Hive数据（一
梁辰兴·2023-06-15 11:51

Apache Hive安装部署

如hive内置Derby，或第三方MySqlMetastore元数据服务。作用管理元数据，对外暴露服务。
Rkun18·2023-06-15 03:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他