Metastore

数仓工具—Hive内部表和外部表(5)

修饰的为外部表（externaltable）；因为默认情况下我们不加external关键字修饰，所以默认情况下是内部表区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir
不二人生·2024-01-07 07:42

hive源码

command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）CLI：bin/hive启动的客户端JDBC：通过hiveserver2jdbc方式连接的客户端2）元数据：Metastore
Loreeta·2024-01-06 17:55

Hive 源码解析一：Driver

这是hive的架构图从架构图来看，黄颜色属于Hive范畴，蓝颜色属于Hadoop范畴，其中MetaStore可以说是独立Hive核心
小王是个弟弟·2024-01-06 17:25

Hive源码图解

1、hive的核心组件1）用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）2）元数据：Metastore
小泽码丽亚·2024-01-06 17:24

Hive 源码

issueFailedtoexecutegoalcom.github.os72:protoc-jar-maven-plugin:3.5.1.1:run(default)onprojecthive-standalone-metastore
zhixingheyi_tian·2024-01-06 17:54

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:

SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
深度检测·2024-01-06 10:25

Hive实战：分科汇总求月考平均分

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据1、在虚拟机上创建文本文件2、上传文件到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、创建分区的学生成绩表
howard2005·2024-01-06 10:48

【无标题】

ETL项目–自学笔记（补充）1、服务启动cdh虚拟机中服务会自动启动手动启动启动hadoop服务/export/server/hadoop/sbin/start-all.sh启动hive服务metastore
中长跑路上crush·2024-01-05 23:02

docker搭建Dinky —— 筑梦之路

主要功能其主要功能如下：沉浸式FlinkSQL数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等支持FlinkSQL多版本开发及多种执行模式
筑梦之路·2024-01-04 03:40

从零开始了解大数据(六)：数据仓库Hive篇

数据仓库基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)Hadoop与Hive整合(2)Metastore
橘子-青衫·2024-01-04 02:51

大数据技术与应用开发赛项笔记

各种启动命令修改mysql数据库编码：alterdatabaseshtd_resultCHARACTERSETutf8;hadoop:start-all.shhive服务：hive--servicemetastorehive
南城守护·2024-01-01 17:56

解决Hive在DataGrip 中注释乱码问题

注释属于元数据的一部分，同样存储在mysql的metastore库中，如果metastore库的字符集不支持中文，就会导致中文显示乱码。
玖玖1704·2024-01-01 16:05

Hive的Metastore服务和Hiveserver2服务的说明

一、Metastore服务1、什么时候需要开启和使用Metastore服务呢？
小枫@码·2023-12-31 18:27

Hive集群出现报错信息解决办法

HiveExceptionjava.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
马龙强_·2023-12-31 09:47

【大数据】Hudi HMS Catalog 完全使用指南

基本介绍2.在Flink中写入数据3.在FlinkSQL中查看数据4.在Spark中查看数据5.在Hive中查看数据1.HudiHMSCatalog基本介绍功能亮点：当Flink和Spark同时接入HiveMetastore
G皮T·2023-12-28 18:24

Hive实战：统计总分与平均分

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、
howard2005·2023-12-28 10:16

Hive 部署

HiveMetastore（HMS）提供了一个中央元数据存储库，可以轻松地进行分析，以做出明智的数据驱动决策，因此它是许多数据湖架构的关键组件。
有人看我吗·2023-12-27 23:54

Hive实战：词频统计

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、
howard2005·2023-12-27 23:24

hive中metastore服务、hiveserver2服务、hive客户端、beeline客户端连接元数据的方式

2.开启metastore服务的参数hive-site.xml中打开metastore的连接地址。
不爱吃鱼的馋猫·2023-12-27 06:35

一文秒懂Hive的两个组件Hiveserver2和Metastore server访问元数据的关系？及Cli命令行和beeline的关系

一、Hive架构原理1）用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）2）元数据：Metastore
不爱吃鱼的馋猫·2023-12-27 06:34

【大数据HA】HAProxy实现thrift协议HMS服务的高可用-附Chatgpt协助截图

背景之前安装了HMS(Hivemetastoreservice)，独立于hive运行，安装部署过程见我下面列出的另一篇文章，需要为它建立HA高可用功能。防止在访问时出现单点故障问题。
秦拿希·2023-12-27 05:08

hive 配置metastore hiveserver2服务开启

安装mysqlcreatedatabasemetastore;配置hivehive-site.xml:javax.jdo.option.ConnectionURLjdbc:mysql://hadoop102
赤土 炙焱·2023-12-25 12:50

spark 连接 hive 报错 Identifier principalName is unresolved (not a static field)

spark连接hive的mysql元数据库metastore，不能直接访问，需要通过metastoreserver间接访问因此需要开启元数据服务修改hive-site.xml配置    hive.metastore.uris
赤土 炙焱·2023-12-25 12:20

Hive学习笔记（二）—— Hive的安装

2.4MySql安装2.4.1安装包准备2.4.2安装MySql服务器2.4.3安装MySql客户端2.4.4MySql中user表中主机配置2.5Hive元数据配置到MySql2.5.1驱动拷贝2.5.2配置Metastore
Alienware^·2023-12-24 08:53

Hive权限管理

Hive权限管理1、hive授权模型介绍（1）StorageBasedAuthorizationintheMetastoreServer基于存储的授权-可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制
新鲜氧气·2023-12-23 22:26

Hive-high Avaliabl

hive—highAvaliablehive的搭建方式有三种，分别是1、Local/EmbeddedMetastoreDatabase(Derby)2、RemoteMetastoreDatabase3、
新鲜氧气·2023-12-23 12:05

HIVE基本操作

1、启动远程服务端：hive--servicemetastore启动（这里是阻塞式），然后在客户端操作2、HiveDDL（数据库定义语言）--展示所有数据库showdatabases;--切换数据库usedatabase_name
新鲜氧气·2023-12-20 05:56

Presto连接Hive

配置HiveConnectoretc/catalog/hive.propertiesconnector.name=hive-hadoop2hive.metastore.uri=thrift://:9083hive.config.resources
kongxx·2023-12-17 16:46

Sqoop基础理论与常用命令详解（超详细）

文章目录前言一、Sqoop概述1.Sqoop简介2.Sqoop架构(1)SqoopClient(2)SqoopServer(3)Connector(4)Metastore(5)Hadoop/HDFS3.
大数据魔法师·2023-12-16 15:57

spark链接hive时踩的坑

使用spark操作hive，使用metastore连接hive，获取hive的数据库时，当我们在spark中创建数据库的时候，创建成功。
YuPangZa·2023-12-15 18:00

20.Hive中的beeline和jdbc（hive学习3）

不能做增删改操作，只做查询工作beeline查询的时候，如果没开启客户端代理，就连接不上metastore,就查不到东西的，可以在安装了hive元数据的服务器上使用beeline查HiveServer是一种可选服务
文茶君·2023-12-15 14:54

【Flink名称解释一】什么是cataLog

元数据也可以是持久化的，例如HiveMetastore中的元数据。Catalog提供了一个统一的API，用于管理元数据，并使其可以从TableAPI和SQL查询语句中来访问。
周润发的弟弟·2023-12-15 03:18

【Hive】——CLI客户端(bin/beeline，bin/hive)

1HiveServer、HiveServer22bin/hive、bin/beeline区别3bin/hive客户端hive-site.xml配置远程MateStore地址XMLhive.metastore.uristhrift
那时的样子_·2023-12-14 23:26

【Hive】——安装部署

1MetaData（元数据）2MetaStore（元数据服务）3MetaStore配置方式3.1内嵌模式3.2本地模式3.3远程模式4安装前准备hadoop.proxyuser.root.hosts*hadoop.proxyuser.root.groups
那时的样子_·2023-12-14 23:15

Hive的metastore服务的两种运行模式

Hive的metastore服务的作用是为HiveCLI或者Hiveserver2提供元数据访问接口1.metastore运行模式metastore有两种运行模式，分别为嵌入式模式和独立服务模式。
Appreciate(欣赏)·2023-12-06 16:14

头歌—Hive的安装与配置

第1关：Hive的安装与配置在修改conf下面的hive-site.xml文件这里，题目给的信息是错误的，正确的内容如下：hive.metastore.warehouse.dir/opt/hive/warehousehive.exec.scratchdir
Changersh·2023-12-05 06:17

Hudi-集成Spark之spark-sql方式

Hudi集成Spark之spark-sql方式启动spark-sql#启动spark-sql之前需要先启动Hive的Metastorenohuphive--servicemetastore&#针对Spark3.2spark-sql
迷雾总会解·2023-12-04 02:01

spark-sql 指定metastore地址、读取mysql

spark-sql-hivespark-sql--databasesrc--hiveconfhive.metastore.uris=thrift://hdp02:2083-e"select*fromsrc_db2
qzWsong·2023-12-04 02:00

Spark---Spark on Hive

1、SparkOnHive的配置1）、在Spark客户端配置HiveOnSpark在Spark客户端安装包下spark-2.3.1/conf中创建文件hive-site.xml：配置hive的metastore
30岁老阿姨·2023-12-02 10:40

Hdoop学习笔记（HDP）-Part.15 安装HIVE

十五、安装HIVE1.配置MetaStore利用ambari创建的MySQL作为MetaStore，创建用户hive及数据库hivemysql-uroot-pCREATEDATABASEhive;CREATEUSER'hive
这啥命啊·2023-12-02 06:58

本地IDEA、spark程序远程读取hive数据

先说成功步骤，再说配置过程出现的的问题和解决办法步骤确保hive--servicemetastore服务在Linux服务器已开启，在hive-cli可以正常读取数据。
一加六·2023-11-30 02:08

spark-submit 样例

spark-submit--confspark.driver.host=xx\--confhive.metastore.uris=xx\--classcom.mainclass\--num-executors1
旅途心情·2023-11-29 22:03

元数据管理|Hive Hooks和Metastore监听器介绍

本文主要介绍HiveHook和MetaStoreListener，使用这些功能可以进行自动的元数据管理。
大数据技术与数仓·2023-11-29 21:58

【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现

文章目录一.hive高可用原理说明1.HiveMetaStoreHA2.hiveserverHA二.hive高可用实现1.配置2.beeline链接测试3.zookeeper相关操作一.hive高可用原理说明
roman_日积跬步-终至千里·2023-11-29 20:39

【hive-design】hive架构详解：描述了hive架构，hive主要组件的作用、hsql在hive执行过程中的底层细节、hive各组件作用

文章目录一.HiveArchitecture二.Metastore1.MetastoreArchitecture2.MetastoreInterface三.Compiler四.hive架构小结本文主要讨论了描述了
roman_日积跬步-终至千里·2023-11-29 06:42

一次azkaban-exec某个节点不执行任务的问题总结复盘

azkaban-exec部署在prod11、prod12两台机器上，这两台都是物理机，同时还不部署了namenode、resourcemanafer、historyserver、hiverserver、metastore
Java小田·2023-11-28 21:24

SparkSQL与parquet，处理decimal类型数据时遇到的问题及注意事项

SparkSQL为了更好的性能，在读写Hivemetastoreparquet格式的表时，会默认使用自己的ParquetSerDe，而不是采用Hive的SerDe进行序列化和反序列化。
雾岛与鲸·2023-11-28 11:03

Day06 Hive表的管理和SQL基础使用

Hive默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。
Tgmmmmmmmm·2023-11-28 10:04

大数据基础设施搭建 - Hive

文章目录一、上传压缩包二、解压压缩包三、配置环境变量四、初始化元数据库4.1配置MySQL地址4.2拷贝MySQL驱动4.3初始化元数据库4.3.1创建数据库4.3.2初始化元数据库五、启动元数据服务metastore5.1
m0_46218511·2023-11-25 13:15

数据仓库 Hive

、Hive简介2.1、Hive的特点2.2、Hive的优缺点2.3、Hive与Hadoop生态系统中的关系2.4、Hive与传统数据库的对比分析2.5、Hive架构2.5.1.Client5.2.1.Metastore5.2.3
忄凝^·2023-11-25 09:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他