metastore

hive-sql学习及笔记

hive笔记hive-site.xml配置文件javax.jdo.option.ConnectionURLjdbc:mysql://hadoop100:3306/metastore?
Firewine·2023-01-07 13:26

flink-sql读写hive-1.16

一是利用了Hive的MetaStore作为持久化的Catalog，用户可通
第一片心意·2023-01-07 13:54

flink-sql读写hive-1.15

一是利用了Hive的MetaStore作为持久化的Catalog，用户可通
第一片心意·2023-01-07 13:24

flink-sql读写hive-1.14

一是利用了Hive的MetaStore作为持久化的Catalog，用户可通
第一片心意·2023-01-07 13:24

Hive数据仓库工具基本架构和入门部署详解

文章目录概述定义本质特点Hive与Hadoop关系Hive与关系型数据库区别优缺点其他说明架构组成部分数据模型(Hive数据组织形式）Metastore(元数据）Compiler(编译器）Optimizer
IT小神·2022-12-20 08:37

Hive：Schema version 1.2.0 does not match metastore‘s schema version 2.1.0 问题

在hive-site.xml里关闭元数据验证机制hive.metastore.schema.verificationfalse
Joseph25·2022-12-15 00:04

【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建

目录一、部署规划二、部署版本三、MySQL安装四、单机Hive安装1、下载解压2、配置环境变量3、修改配置hive-env.sh.template4、配置Metastore5、修改配置文件hive-site.xml6
forest_long·2022-12-12 09:02

【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建

目录一、部署规划二、部署版本三、集群规划四、MySQL安装五、Hive安装1、下载解压2、配置环境变量3、修改配置4、metastore配置5、下载mysql驱动包6、初始化MYSQL7、分发文件8、启动
forest_long·2022-12-12 09:02

Hive元数据初始化容易报的错FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.ha

(前面所有配置全部正确的基础上)那么我想你一定是没有启动metastore服务hive--servicemetastore但或许也有人像我一样，在输入这
秃秃小丸子·2022-12-08 22:43

Hive中删除表数据的几种方式

因为外部表里的数据并不是存放在HiveMetastore中方法二或deletefrom表名where1=1;（delete用于删除特定条件下的行，使用where1=1删除所有行SQL中where1=1的使用
大大大大肉包·2022-12-07 12:29

1. DataGrip 中，查看表注释显示为问号的问题

问题如图所示：解决步骤：1.登录存储Hive元数据的MySQL数据库mysql-uroot-p2.使用存储Hive元数据的数据库usemetastore3.执行如下命令--（1）修改表字段注解和表注解altertableCOLUMNS_V2modifycolumnCOMMENTvarchar
hellooo77·2022-12-04 12:09

大数据单机学习环境搭建(4)设备重启后如何重启Hive和连接DBeaver

专题：大数据单机学习环境搭建和使用一.重启Hadoop1.1关闭hadoop1.2启用hadoop1.3启动验证二.Hive启动2.1开启hiveservice22.2开启metastore2.3beeline
赫加青空·2022-12-01 16:48

spark增量抽取MySQL中的数据存入hive动态分区表

:SparkSession=SparkSession.builder().appName("H_work_fullTostatic").master("local[*]").config("hive.metastore.uris
月亮给我抄代码·2022-11-30 08:54

Flink 使用之连接 Hive metastore

Flink使用介绍相关文档目录Flink使用介绍相关文档目录前言FlinkSQL很大程度上简化了业务的开发工作量。但是Flink默认的配置，维护表的元数据信息仍然有局限性。Flink默认使用GenericInMemoryCatalog。所有的元数据仅在session范围内存活，一旦作业遇到故障恢复或者是停机等（session被kill掉），所有表信息都会丢失，造成很大的不便。我们需要一个稳定独立的
AlienPaul·2022-11-22 09:53

忘记启动metastore服务导致使用hive报错

在/opt/module/hive/conf/hive-site.xml里面添加hive.metastore.uristhrift://hadoop102:9083使用hive报错查看日志发现需要开启服务输入
kujhhgfgkkl·2022-11-22 07:16

Hive启动报错(个人遇到问题&解决方法)

SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Hydra.·2022-11-21 11:48

spark打包jar连接hive数据源完整过程

1：启动hive.metastorenohuphive--servicemetastore&2：启动spark中thriftserver说明：经过测试如果直接启动hive中的hiveserver2然后启动
sunnyboy_4·2022-11-20 09:14

spark写入hive中提示找不到数据库解决办法

WARNmetastore.ObjectStore:Failedtogetdatabaseodsl,returningNoSuchObjectExceptionExceptioninthread“main
JAVA百练成神·2022-11-15 18:21

spark_sql 参数调优

sparkSql参数调优目录前言异常调优spark.sql.hive.convertMetastoreParquetspark.sql.files.ignoreMissingFiles&&spark.sql.files.ignoreCorruptFilesspark.sql.hive.verifyPartitionPathspark.files.ignoreCorruptFiles
weixin_43363407·2022-10-30 19:19

Presto on Alluxio By Alluxio SDS 单节点搭建

Presto的架构如下图所示，client的请求，会递交给Coordinator进行处理，而元数据信息由HiveMetaStore(HMS)进行管理。
·2022-09-27 20:33

教你10分钟内在电脑上配置运行Hive Metastore和Presto

作者：范斌；Alluxio创始成员、开源社区副总裁To初学者：本教程将指导初学者在本地服务器上通过搭建Presto和HiveMetastore来查询S3上的数据。
·2022-09-27 16:15

二、Hive数据仓库技术

Hive数据仓库技术Hive数据仓库技术Hive简介Hive与传统关系型数据库Hive架构设计Hive数据单元数据存储模型安装配置Hive环境Metastore的三种运行模式Metastore配置属性搭建
小石小石摩西摩西·2022-09-25 10:31

Hive Metastore源码新增Thrift API方法

本文基于Hive3.1.2源码结构，社区相关教程：ApacheHiveLanguageManual-HowtoContributetoApacheHive|Docs4dev一、在hive_metastore.thrift
书忆江南·2022-09-25 10:59

Hive DDL操作出现卡住现象源码分析与解决方法

最近遇到对Hive进行altertable时卡住无后续响应的问题，如下图所示：即使重启HiveMetastore也依然无法解决这个问题，但是其他表的ddl操作都是正常的，只有这张表不行，经过排查后基本知道了原因所在
书忆江南·2022-09-25 10:58

Spark SQL连接Hive的一些常见报错

错误一：Unabletolocatehivejarstoconnecttometastore.Pleasesetspark.sql.hive.metastore.jars.解决方案：将JDK11切换为JDK8
wufabao·2022-09-21 13:37

spark整合hive后spark-sql启动报错

通过spark-sql来访问hive的元数据，hive元数据信息存储在mysql但是启动的时候是报如下的错误，检查过配置,metastore已经配置，并且启动，用hive启动可以正常使用，但是spark-sql
yala说·2022-09-21 13:03

Hive数据仓库工具基本架构和入门部署详解

是一个建立在HadoopHDFS架构至上的数仓工具，管理元数据但本身不存储数据，本篇了解hive优缺点，进一步理解其组成部分和数据组织形式和Driver，最后通过部署最新版本3.1.3版本完成内嵌模式、本地metastore
itxiaoshen·2022-09-10 11:00

创建Iceberg表的步骤——《DEEPNOVA开发者社区》

以这里举例的引擎为例，它们都可以将表元数据维护在HiveMetastore中，对引擎来讲，这些表以externaltable的形式存在。在本文中，我们将话题限制在Hive、Spark、
·2022-09-09 16:00

大数据异常处理之蓝屏，断电导致mysql异常

蓝屏，断电导致mysql异常今天上午将近12点时，我的联想小新突然蓝屏重启，断电，当时开启着metastore与hiveserver2。
大数据小理·2022-08-31 21:39

Hive存储格式之ORC File详解，什么是ORC File

ORC文件是以二进制的方式存储的，不可以直接读取，但由于ORC的自描述特性，其读写不依赖于HiveMetastore或任何其他外部元数据。本身存储了文件数据、数据类型及编码信息。
鲁边·2022-08-25 09:00

Hive实践 | Hive MetaStore 在快手遇到的挑战与优化

本文将主要介绍HiveMetaStore服务在快手的挑战与优化，包括：快手SQLonHadoop智能引擎架构HiveMetaStore在快手的挑战HiveMetaStore在快手的优化快手SQLonHado
大数据技术架构·2022-08-13 12:58

Hive MetaStore 在遇到的挑战与优化

本文将主要介绍HiveMetaStore服务在快手的挑战与优化，包括：快手SQLonHadoop智能引擎架构HiveMetaStore在快手的挑战HiveMetaStore在快手的优化快手SQLonHado
浪尖聊大数据-浪尖·2022-08-13 12:57

不同集群的 Hive 迁移方案

1.停止老集群hive集群的hive-metastore和hive-server2停止方法：使用命令systemctlstophive-metastore或者通过ambari操作。
houzhizhen·2022-08-13 12:24

Hive-异常处理Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore is not

在使用Hiveshell的时候突然遇到：#hive#usedefault;hive>usedefault;FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.me
写代码的秋田犬·2022-07-15 09:23

Failed to Create Hive Metastore Database Tables.

当在运行CDH中创建hive服务的时候，点击测试连接成功了，但是在点击继续之后，首次运行报错：FailedtoCreateHiveMetastoreDatabaseTables.如下图所示：下面展示两种可能解决问题的方法
雷雷飘过·2022-07-15 09:22

Hive Schema version 2.3.0 does not match metastore‘s schema version 1.2.0 Metastore is not upgraded

message:HiveSchemaversion2.3.0doesnotmatchmetastore'sschemaversion1.2.0Metastoreisnotupgradedorcorrupt
Rigenyi·2022-07-15 09:52

spark读取hive表异常，处理WARN HiveExternalCatalog: The table schema given by Hive metastore

文章目录1问题概述1.1数据库表状况1.2问题背景2报错场景2.1修改Hive元数据信息2.2报错信息2.3其他现象2.4查看表结构时的发现2.5报错分析2.6尝试MSCKREPAIRTABLE及过程详解（一次不成功的尝试，但也学到了一些知识）2.6.1MSCKREPAIRTABLE命令详解2.5.2MSCKREPAIRTABLE报OOM错误的解决方法3报错分析及修复方法4本例中的修复过程和自动化
暴走的山芋·2022-07-15 09:51

Hive Schema version 2.1.0 does not match metastore(版本不匹配）解决

Causedby:MetaException(message:HiveSchemaversion2.1.0doesnotmatchmetastore’sschemaversion1.2.0Metastoreisnotupgradedorcorrupt
holomain·2022-07-15 09:21

Hive：Schema initialization FAILED Metastore state would be inconsistent

[[email protected]]#schematool-dbTypemysql-initSchemaSLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/opt/hive-2.3.4/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/Static
Joseph25·2022-07-15 09:16

Hive Metastore详解大全

1、介绍Hive所有表和分区的元数据都通过HiveMetastore进行访问。使用JPOXORM解决方案(DataNucleus)持久化元数据，因此它支持的任何数据库都可以被Hive使用。
一个数据小开发·2022-07-15 09:45

Hive新增/变更字段后，Hive metastore与Hive tblproperties缓存的spark schema不一致处理

一、创建测试表CREATETABLE`ittemp`.`zxh_test1`(`col1`VARCHAR(64)COMMENT'测试字段1',`col2`INTCOMMENT'测试字段2',`col3`DECIMAL(16,2)COMMENT'测试字段3')storedasparquetPARTITIONEDBY(`dt`varchar(8)comment'分区')COMMENT'测试表1';二、
ZenPower·2022-07-15 09:15

Apache Iceberg 数据湖从入门到放弃(2) —— 初步入门

其中HiveCatalog将当前表metadata文件路径存储在Metastore，这个表metadata文件是所有读写I
黄瓜炖啤酒鸭·2022-07-13 08:15

漫谈大数据 - Spark on Hive & Hive on Spark

目录Sparkonhive与HiveonSpark的区别Hive查询流程及原理Hive将SQL转成MapReduce执行速度慢HiveOnSpark优化Hive元数据库的功能Hive开启MetaStore
昊昊该干饭了·2022-07-11 13:06

hive参数调优

普通配置--元数据连接超时sethive.metastore.client.socket.timeout=500;--指定MR任务运行队列setmapreduce.job.queuename=bigdata
不会吐丝的蜘蛛侠。·2022-07-07 10:29

Hive Server 运行 SQL 慢排查手册

HiveServer运行SQL慢排查手册1.访问HiveServer运行SQL慢排查手册2.通过HiveServer运行SQL的整体架构3.分析HiveServer运行SQL慢的排查原则4.MYSQL数据库5.Metastore6
houzhizhen·2022-06-14 11:44

SparkSQL（1）：SparkSQL和Hive集成

一、SparkSQL功能SparkSQL需要的是hive表的元数据，如果配置了metastore的服务，直接去服务里面拿，如果没有，那就只能去mysql中间拿二、配置和hive集成1.将hive的hive-site.xml
RayBreslin·2022-05-31 07:13

数据湖（五）：Hudi与Hive集成

配置HiveServer21、在Hive服务端配置hive-site.xml2、在每台Hadoop节点配置core-site.xml,记得发送到所有节点3、重启HDFS，Hive，在Hive服务端启动Metastore
Lansonli·2022-05-31 07:39

Hive异常:报错:org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String；)[C-解决问题同时搭建Hive环境

解决Hive执行HQL异常一、问题分析二、解决问题1、将JDBC驱动拷入到Hive家目录下的lib目录2、在Hive家目录/conf创建一个hive-site.xml文件3、登录到MySQL创建数据库metastore4
Philosophy7·2022-05-12 11:34

24 分布式SQL执行引擎

相当于构建了一个以MetaStore服务为元数据，Spark为执行引擎的数据库服务，像操作数据库那样方便的操作SparkSQL进行分布式的SQL计算
THE ORDER·2022-03-27 13:33

怎么做 HDFS 的原地平滑缩容？

这时JuiceFS成了理想之选，成本下降20倍，同时又提供跟HDFS一样高性能的元数据能力（避免Metastore遍历元数据时雪崩），大量扫描冷数据时也有很高的吞
·2022-03-15 17:30
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他