Metastore

【hive基础】hive常见操作速查

进入hive终端重新加载配置二.执行hivesql三.启动hive一.hive变量操作1.查看当前hive配置信息#查看当前所有配置信息hive>set;#查看某一项配置信息hive>sethive.metastore.uris
roman_日积跬步-终至千里·2023-11-19 00:43

Hive中dearby数据库初始化报错问题

报错如下：MetastoreconnectionURL:jdbc:derby:;databaseName=metastore_db;create=trueMetastoreConnectionDriver
StopM·2023-11-15 20:12

Hive metastore 无法解析分区字段 is not null问题排查

文章目录一、问题描述二、解决方案一、问题描述周中发现一个问题，metastore根据条件获取分区时发生异常，导致扫描所有分区，最终导致gc异常。
疯狂哈丘·2023-11-15 10:28

配置好hivemetastore后使用show databases命令报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.Hi

注意：本篇帖子并不适合初始化未初始化hive的解决方案，在报这个错误之前，我已经配置好了hive的metastore为mysql并正常使用了一段时间。
倾斜的二叉树·2023-11-15 03:12

大数据技术之Hive

这个教程比较详细微信公众号有简洁版笔记）版本：V3.1.3文章目录大数据之Hive学习第1章Hive入门1.1什么是Hive1）Hive简介2）Hive本质1.2Hive架构原理1）用户接口：Client2）元数据：Metastore3
夜玫瑰·2023-11-13 21:05

spark插入动态分区代码报错

SparkSession.builder().config(sparkConf).config("hive.exec.dynamic.partition.mode","nonstrict")//动态分区//.config("hive.metastore.dml.events
cclovezbf·2023-11-12 16:17

Flink之Catalog

GenericInMemoryCatalogJdbcCatalog下载JAR包及使用重启操作创建Catalog查看与使用Catalog自动初始化catalogHiveCatalog下载JAR包及使用重启操作hivemetastore
CodeDevMaster·2023-11-12 05:03

Hive 知识点八股文记录 ——（一）特性

存储文件实时性较差（应用于海量数据）存储、计算能力容易拓展（源于Hadoop）支持这些特性的架构CLI（commandlineinterface）、JDBC/ODBC、ThriftServer、WEBGUI、metastore
JamSlade·2023-11-11 06:37

Hive-入门学习之 hive 简介和安装 (1)

hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表,并提供类似SQL查询.本质是将HiveSQL转化成MapReduce程序或者spark程序.1.2Hive架构原理1.2.1METAstore
算啦粉·2023-11-11 01:37

2023.11-9 hive数据仓库,概念,架构

目录一.HDFS、HBase、Hive的区别二.大数据相关软件三.Hive的优缺点1）优点2）缺点四.Hive和数据库比较1）查询语言2）数据更新3）执行延迟4）数据规模五.hive架构流程六.MetaStore
白白的wj·2023-11-11 01:36

4 Paimon数据湖之Hive Catalog的使用

HiveCatalog：则会把元数据信息存储到Hive的Metastore里面，这样就可以直接在Hive中访问Pa
大数据徐葳·2023-11-10 13:32

云服务器安装Hive

文章目录1.安装Hive(最小化部署)2.MySQL安装3.Hive元数据配置到MySQL4.HiveServer2服务5.Metastore服务运行模式6.编写脚本来管理hive的metastore/
几窗花鸢·2023-11-07 22:19

Hive从入门到大牛【Hive 学习笔记】

文章目录什么是HiveHive的数据存储Hive的系统架构MetastoreHiveVSMysql数据库VS数据仓库Hive安装部署Hive的使用方式命令行方式JDBC方式Set命令的使用Hive的日志配置
小崔的技术博客·2023-11-06 22:25

Error: Duplicate key name 'PCS_STATS_IDX' (state=42000,code=1061) ----Hive schematool -initSchema

/schematool-initSchema-dbTypemysql的时候，会出现以下错误MetastoreconnectionURL:jdbc:mysql://192.168.*./hive?
小小小黄鸡·2023-11-06 04:12

Hive知识点（五） --内/外/分区表

HDFS中创建分区目录的修复2.产看分区表1.内外部表区别Hive里面有两种数据:1.data（表数据）：存储在HDFS2.metadata(元数据)：存储在MySQL内部表（managed）：hive.metastore.warehouse.dir
小维_·2023-11-05 16:08

9.17 hive高级语法01

hive高级语法数据库（Database）表的集合，HDFS中表现为一个文件夹默认在hive.metastore.warehouse.dir属性目录下如果没有指定数据库，默认使用default数据库createdatabaseifnotexistsmyhivebook
伱来打硪啊·2023-11-04 15:43

hive启动报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

报错信息：java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientCausedby
小辉懂编程·2023-11-04 09:02

Hive工作原理和简单查询、筛选数据操作

编译器Compiler根据用户任务去MetaStore中获取需要的Hi
lambda33·2023-11-03 14:31

hive的安装配置笔记

1.上传hive安装包2.解压3.配置Hive(在一台机器上即可)   mvhive-env.sh.templatehive-env.sh4.运行hive发现内置默认的metastore存在问题（1.换执行路径后
小小哭包·2023-11-03 14:59

Flink SQL整合Hive

整合Hive1、将整合需要的jar上传到flink的lib目录flink-sql-connector-hive-1.2.2_2.11-1.11.0.jarhive-exec-1.2.1.jarhive-metastore
小谢不缺女朋友·2023-11-02 00:57

Hive面试题汇总（2021）

主要架构如下：Hive解析成MR的过程：Hive通过给用户提供一系列交互接口，接收到用户的指令(sql语句)，结合元数据(metastore)，经过Driver内的解析器，编译器，优化器，执行器转换成mapred
「已注销」·2023-11-01 21:43

Hive常见面试题汇总

遇到这类问题，可以灵活的去回答，比如可以结合平时使用hive的经验作答，也可以结合下图从数据的读入、解析、元数据的管理，数据的存储等角度回答：1.MetaStoreMetaStore并不存储真实的数据,
weixin_45675924·2023-11-01 21:42

hive复习题、面试题

这里是面试常考题1.hive架构原理用户接口：ClientCLI（hiveshell）、JDBC/ODBC（java访问hive）、WEBUI（浏览器访问hive）元数据：Metastore包括表名、表所属的数据库
梧桐林.·2023-11-01 20:32

MySQL 到 TiDB：vivo 的 Hive Metastore 横向扩展之路

以下文章来源于公众号vivo互联网技术，作者WangZhiwen导读本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。同时分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值。一、背景大数据元数据服务Hiv
TiDB_PingCAP·2023-10-31 19:22

hive中distinct和group by 去重运行效率对比

先来看hive的运行机制：Hive通过用户提供的一系列交互接口，接收到用户的指令（SQL），使用自己的Driver，结合元数据（MetaStore），将这些指令翻译成MapReduce，提交到hadoop
¤睿·2023-10-31 05:38

大数据技术之Hive

目录1.Hive入门1.1什么是Hive1.2Hive的数据存储1.3Hive的系统架构1.4Metastore1.5数据库与数据仓库的区别2.Hive安装部署2.1下载2.2安装MySQL2.3安装hive3
小猫不会去楼兰捉虫·2023-10-28 21:47

sqoop hive mysql报错

Hive现在包含一个用于HiveMetastore架构操控的脱机工具，名为schematool.此工具可用于初始化当前Hive版本的Metastore架构。
HeptaKos·2023-10-28 20:29

CDH-hdfs配置HA后，hive查询报错

解决方法：在CDHWebUI上进入到hive界面，停止hive服务，并运行更新HivemetastoreNameNode
jay1122·2023-10-28 13:25

scala JDBC 方式连接 impala 代码以及pom.xml文件中的依赖

com.clouderaImpalaJDBC412.5.42org.apache.hivehive-jdbc1.2.1org.apache.hivehive-cli1.2.1org.apache.hivehive-metastore1.2.1org.apache.hivehive-common1.2.1org.apache.hadoophadoop-common2.3.0org
jzy3711·2023-10-27 11:09

基于UGI鉴权的Hive Metastore Client 并发访问方式

importorg.apache.commons.lang.StringUtils;importorg.apache.hadoop.hive.conf.HiveConf;importorg.apache.hadoop.hive.metastore.IMetaStoreClient
井地儿·2023-10-26 02:03

<官网学大数据>Hive

定义了简单的sql查询语言HqlHive是SQL解析引擎，将sql语句转换成M/RJob在Hadoop执行Hive的表其实就是HDFS文件和目录Hive的体系结构Hive的元数据hive将元数据存储在数据库中(metastore
kangapp·2023-10-24 16:48

Window 环境连接虚拟机中Hadoop及Spark集群

Window环境连接虚拟机中Hadoop及Spark集群1.Windows安装Hadoop1.1配置环境变量1.2下载相似版本的文件2.idea进行远程连接操作2.1.启动hive元数据服务2.2.hive.metastore.uris
pageniao·2023-10-24 15:15

[jmx]zookeeper/kafka/hive/hadoop/presto/presto等组件的jmx监控汇集

文章目录背景注意事项——本文必读zookeeper的jmx监控配置hadoop的jmx监控kafka的jmx监控hive的jmx监控hiveserver2的jmx监控metastore的jmx监控kylin
王一1995·2023-10-23 20:19

HIVE-17824,删除hdfs分区信息,清理metastore元数据

当手动删除HDFS分区数据时,但是并没有清理Hive中的分区元数据,删除操作无法自动更新hive分区表元数据。也就是从hdfs中删除大量分区数据,并没有执行如下命令:altertabledroppartitioncommad从hive3.0.0开始可以使用MSCK的方法发现新分区或删除丢失的分区;MSCK[REPAIR]TABLEtable_name[ADD/DROP/SYNCPARTITIONS
jiedaodezhuti·2023-10-23 17:33

mysql触发器调用外部脚本

所以只能在这边手动的传参dropTRIGGERtrigger_tbls;createTRIGGERtrigger_tblsAFTERINSERTONhive_metastore.TBLSFOREACHROWBEGINDECLAREscript_shVARCHAR
陆攀·2023-10-22 22:12

Hadoop集群主节点迁移

主要目的是实现异地容灾主要迁移的服务有：•namenode（journalnodezkfc）•resourcemanager•hiveserver2•hivemetastore•hive元数据库mysql
卢说·2023-10-22 01:08

Hive用户中文使用手册系列（三）

RemoteHiveServer2模式建议用于production使用，因为它更安全，不需要为用户授予直接HDFS/metastore访问权限。
日复一日伐树的熊哥·2023-10-21 08:32

Metastore state would be inconsistent !!

报错信息和截图：org.apache.hadoop.hive.metastore.HiveMetaException:SchemainitializationFAILED!
小辉懂编程·2023-10-20 11:00

Hive3.x数仓开发

架构、组件组件五、ApacheHive数据模型DataModel概念Databases数据库Partitions分区Buckets分桶Hive和MySQL对比六、元数据HiveMetadataHiveMetastore
_七七·2023-10-20 01:24

Hive知识梳理(好文)

元数据Hive元数据信息存储在HiveMetaStore中，或者mysql中。
英雄111888·2023-10-19 13:20

hive启动失败：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

问题描述在使用hive时，执行sql语句showdatabases;报错如下Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
marics33·2023-10-17 21:01

Hive Standalone Metastore Docker 镜像构建

一、环境组件版本ApacheHive3.1.3PostgresJDBC42.3.6ApacheHadoop3.3.2ApacheIceberg0.14.0Java1.8.0_111Apachemaven3.8.6二、Docker镜像构建##################################################################################
独行者也·2023-10-17 07:54

大数据技术-Hive学习笔记

目录Hive-安装部署Hive-配置元数据库MetaStore配置MetaStore到MySQL使用元数据服务的方式访问Hive使用JDBC方式访问Hive后台启动Hive-常用SHELL命令Hive常用交互命令
笑一笑、·2023-10-16 06:01

【大数据】Hive入门➕安装（尚硅谷大数据Hive 3.1.3教程）

Hive3.1.3安装1.最小化安装部署（仅适合学习测试）2.安装MySQL3.卸载MySQL4.配置Hive元数据存储到MySQL中5.Hive服务部署5.1.hiveserver2服务（远程访问服务）5.2.metastore
欧叶冲冲冲·2023-10-16 06:27

flink sql kafka写数据到hive

step1:flink连接hive配置首先确保启动hivemetastore远程服务flink安装目录下新建文件夹hive-conf,然后vihive-site.xml，配置hive仓库地址和metastore
闻风-堡·2023-10-16 05:54

carbondata中查询hive java.net.SocketTimeoutException: Read timed out 问题解

hive.metastore.client.socket.timeout=5000&h
不吃饭的猪·2023-10-15 08:55

spark读取hive表字段，区分大小写问题

Inversion2.3andearlier,whenreadingfromaParquetdatasourcetable,SparkalwaysreturnsnullforanycolumnwhosecolumnnamesinHivemetastoreschemaandParquetsch
MrZhangBaby·2023-10-13 14:44

8.Spark Sql

为其提供了一个称为DataFrame的编程抽象，充当分布式sql查询引擎功能集成：可以无缝将Sql查询与Spark程序混合统一数据访问：加载来自各种来源的数据兼容性：SparkSql重用Hive前端和MetaStore
山间浓雾有路灯·2023-10-13 09:46

Flink(1.13) Catalog

元数据也可以是持久化的，例如HiveMetastore中的元数据。Catalog提供了一个统一的API，用于管理元数据，并使其可以从TableAPI和SQL查询语句中来访问。
万事万物·2023-10-12 23:23

hive add columns 后查询不到新字段数据的问题

分区表addcolumns查询不到新增字段数据的问题；5.1元数据管理（1）基本架构Hive的2个重要组件：hiveService2和metastore,一个负责转成MR进行执行，一个负责元数据服务管理
月笼纱lhz·2023-10-11 21:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他