Metastore

Hive介绍、架构、实践以及调优

目录一、什么是Hive1.1介绍1.2特点二、架构2.1架构图2.2用户接口：Client2.3元数据：Metastore2.4驱动器：Driver三、安装配置四、Hive连接方式交互模式命令行模式Hive
菜鸟也学大数据·2022-02-23 12:30

HiveServer2源码分析

本文基于hive-1.2.2源码Metastore模块在service目录下入口文件service/src/java/org/apache/hive/service/server/HiveServer2
david9·2022-02-18 07:24

CDH 使用 Hive schematool

documentation/enterprise/latest/topics/cdh_ig_hive_schema_tool.html版本：5.14.2使用Hive命令行schematool为非托管集群升级或验证HiveMetastore
金刚_30bf·2022-02-18 02:15

大数据常用命令

【markdown代码折叠】点击查看完整代码【Linux搜索指定文件类型的指定内容】grep-rin"9820"--include"*.xml"/export/server/【启动hive的metastore
大数据小陈·2022-02-05 12:56

hive中自定义配置参数

配置格式如下：hive.metastore.warehouse.dir/user/hive/warehouselo
copybug·2022-02-03 07:48

启动hive2

版本：2.3.3首先启动metasotre：hive--servicemetastore&然后启动hiveserver2：hiveserver2&配置：hive客户端连接端口9083：hive.metastore.uristhrift
金刚_30bf·2022-02-03 02:23

Spark读取Hive时schema版本不匹配的解决方法

当使用Spark进行Hive数据操作时，提示如下：HiveSchemaversion2.3.0doesnotmatchmetastore'sschemaversion1.2.0Metastoreisnotupgradedorcorrupt
汤圆毛毛·2021-12-15 11:09

Spark综合学习笔记（二十八）SparkSQL整合Hive-2 SparkSQL代码中整合hive

p=65代码实现（1）pom文件导入spark-hive依赖org.apache.sparkspark-hive_2.122.3.2（2）注意：需要先启动Hive的metastorenohup/export
斯特凡今天也很帅·2021-12-01 17:17

数据测试：Hive 数据库表的基本操作，你怎能不知道？

hive.metastore.warehouse.dir/user/hive/wareho
软件测试情报局·2021-11-26 14:34

hive 高可用搭建

hive的搭建方式有三种，分别是1、Local/EmbeddedMetastoreDatabase(Derby)2、RemoteMetastoreDatabase3、RemoteMetastoreServer
manba_yqq·2021-11-14 18:55

Hive-JDBC操作，Java常用面试题和答案

其中javax.jdo.option.ConnectionURL涉及到一个数据库，最好重新删掉原来的metastore数据库然后重新创建一个并初始化一下。
Java技术开源·2021-10-27 00:03

Hive架构及搭建方式

hive客户端有三种，beeline、使用jdbc链接hiveserver、或使用hiveCLI(这个已经过时，hive官方已经不推荐，推荐beeline)hiveserver本身由hiveserver2和metastore
·2021-10-23 15:24

Flink v1.12 Hive

一是利用了Hive的MetaStore作为持久化的Catalog，用户可通过HiveCatalog将不同会话中的
CarloPan·2021-10-02 14:04

当大数据架构遇上 TiDB

前言一年前，知乎的大数据架构与TiDB首次相遇，那时我们将HiveMetaStore的元数据库迁移到了TiDB，得到了超过单机数据库一个量级的性能提升。
·2021-07-30 14:53

SparkSQL查询iceberg出现大量小task问题

问题描述在测试环境下，使用SparkSQL3.1.1查询存放在hive-metastore和oss之上的iceberg表，会发现存在很多数据量非常小的task。
·2021-07-27 19:14

Hive HA (高可用)搭建

官方文档hive的搭建方式有三种，分别是1、Local/EmbeddedMetastoreDatabase(Derby)2、RemoteMetastoreDatabase3、RemoteMetastoreServer
A6-母婴小店-第6分店·2021-07-04 10:36

Java定时调用.ktr文件的示例代码(解决方案)

1.Maven依赖pentaho-kettlekettle-core7.1.0.0-12pentaho-kettlekettle-engine7.1.0.0-12pentaho-kettlemetastore7.1.0.0
·2021-06-26 13:10

ERROR:"Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient"

报错日志：ERROR:"Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient"解决方法，重新构建
行动家嘘嘘·2021-06-24 07:06

生产beeline事故分析

beeline连不上hive场景截图如下：beeline连接超时企业微信截图_15313905439815.pnghive健康监控失败hive健康监控.png事故分析确定两个事故是由于同一个问题引起的排除metastoreserver
阿甘骑士·2021-06-23 07:44

Hadoop开发--Hive--DDL

一、DDL操作启动服务：hive--servicemetastore&hive--servicehiveserver2&（一）数据库操作1.创建数据库CREATE(DATABASE|SCHEMA)[IFNOTEXISTS
无剑_君·2021-06-22 08:24

大数据学习笔记500条【第二弹】，记得收藏！

505.Metastore（元数据存储）是一个独立的关系型数据库。506.Pig常用于ETL（数据抽取、数据转换、数
yoku酱·2021-06-18 22:05

hive服务启动异常定位记录

环境说明hadoop-2.7.4hive-2.3.2hbase-1.4.2jdk1.8.0_161问题现象原先启动hiveserver2和metastore的两个服务一直运行状况良好，重启这个两个服务后都出现如下异常信息启动命令示例
soycici·2021-06-15 13:58

presto操作kafka和hive，mysql

注意如下事项：connectors.to.add：{'hive':['connector.name=hive-hadoop2','hive.metastore.uri=thrift://knowyou-hdp
会飞的蜗牛66666·2021-06-08 20:40

Hive环境搭建

基于三节点的Hadoop集群搭建Hive安装中前的准备先要搭建好hadoop集群安装中用到的软件：hive-1.1.0-cdh5.14.2.tar.gz，下载地址MySQL5.7安装MySQLhive的元数据Metastore
HideOnStream·2021-06-04 18:46

Apache hive 3.1.2从单机到高可用部署 HiveServer2高可用 Metastore高可用 hive on spark hiveserver2 web UI 高可用集群启动脚本

hive部署下载apachehive3.1.2http://archive.apache.org/dist/hive/注：先看hive编译文档，使用编译好的安装包进行部署官方的hive3.1.4和sprk3.0.0不兼容，需要重新编译。后面配置hiveonspark可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。重新编译，参考本人写的另一篇文章hive3.1.4
薛定谔的猫不吃猫粮·2021-05-21 16:59

hcatalog简介和使用

目前最新release版本是0.5，不过需要Hive0.10支持，由于我们hive集群版本是0.9.0，所以只能降级使用hcatalog0.4，由于hcatalog中所有的底层数据信息都是保存在hivemetastore
本宝宝天然萌·2021-05-21 08:06

impala 概念及其特性

Impala通过使用hadoop生态组件（如HDFS，HBase，Metastore，YARN和Sentry）将传统分析数据库的SQL支持和多用户性能与Ap
起个什么呢称呢·2021-05-17 18:49

hive基础架构

HiveStructureMetastore服务和存储的方式1.内嵌模式2.本地模式3.远程模式建议采取远程模式，这样的模式可以将数据库层完全置于防火墙后，客户就不再需要用户名和密码登录数据库，避免了认证信息的泄漏
留年已忘却·2021-05-16 02:57

impala架构

它有三个主要组件，即Impaladaemon（Impalad），ImpalaStatestore和Impala元数据或metastore。
起个什么呢称呢·2021-05-15 17:05

精选Hive高频面试题11道，附答案详细解析(好文收藏)

区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定
五分钟学大数据·2021-05-13 18:06

Hive搭建之remote分开

Mysql:node1MetaStoreServer:node3Hive:node41在node1上安装mysql-yuminstallmysql-server–y修改mysql的权限GRANTALLPRIVILEGESON
叶落_海布里·2021-05-08 22:39

Spark Hive

配置在hive-site.xml中的参数hive.metastore.warehouse.dir自版本spark2.0.0起废弃了。
金刚_30bf·2021-05-07 15:07

Hive基础知识 01

文章目录Hive基础知识一、Hive与HDFS的数据映射二、Hive转换与MapReduce过程三、元数据：metastore的功能和存储方式四、元数据：metastore共享问题五、元数据：metastore
Xiao Miao·2021-05-03 10:57

Hive入门（二）

hiveserver2配置用户授权关闭HDFS和YARN：修改core-site.xml分发启动HDFS和YARN复制standalone包启动JDBC连接server2Hive启动脚本Hive服务端启动脚本Metastore
杀智勇双全杀·2021-05-02 23:21

Hive入门（一）

Hive入门（一）Hive与HDFS的数据映射集群启动Hive对象数据库表表的数据元数据映射Hive转换MapReduce功能映射执行解析metastore功能三种方式嵌入式数据库本地数据库远程Metastore
杀智勇双全杀·2021-05-02 20:13

15.3 hive与mysql的集成

pnghiveSQL是基于mapreduce和yarn的,所以yarn进程必须启动建表语句说明:rowformatdelimitedfieldsterminatedby'\t'每行的分割标识为'\t'登录mysql,到metastore
6cc89d7ec09f·2021-04-25 10:43

Hive 和Hadoop之间的工作流程

3、GetMetadata编译器发送元数据请求到Metastore（任何数据库）。4SendMetadataMetastore发送元数据，以编译器的响应。5SendPlan编译器检查
BestFei·2021-04-23 20:22

hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2

为了提高hive可用性，提高集群的稳定性。对已经搭建好的hive进行高可用改造。没有搭建好hive的童鞋，请先自行搭建好hive，再来参考本文。HiveServer2高可用修改配置hive-site.xml,增加一下内容hive.server2.support.dynamic.service.discoverytruehive.server2.zookeeper.namespacehiveserv
薛定谔的猫不吃猫粮·2021-04-20 17:46

Hive权限管理调研

一、四种授权模式1.1基于存储的授权（StorageBasedAuthorizationintheMetastoreServer）Hive作为表存储层。
大数据faner·2021-04-19 15:50

解决启动Hive报错Hive Schema version 2.3.0 does not match metastore‘s schema version 1.2.0 Metastore is not

StartingHiveMetastoreServerSLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file
master_hunter·2021-04-18 22:17

Hive、MySQL安装

MySQL初始化MySQL的数据库启动MySQL服务登录MySQL重置MySQL密码增加远程登陆权限Hive内嵌式安装配置环境变量修改配置文件hive-env.shHive元数据配置到MySQL驱动拷贝配置Metastore
Ka-Xin·2021-02-21 11:59

Hive 高可用搭建

2DNZKZKFCJNNRSNMHiveserver2beelinenode1✔️✔️✔️✔️✔️node2✔️✔️✔️✔️✔️✔️✔️✔️node3✔️✔️✔️✔️✔️node4✔️✔️✔️配置文件hive-site.xml(node2)hive.metastore.w
小而困难·2021-02-01 20:24

Hive源码本地IDEA调试的正确姿势

Hive源码本地IDEA调试的正确姿势背景环境准备初始化配置修改配置初始化元数据库编译代码启动HiveMetaStore启动Hivesql客户端ClientDriver模式HiveServer2模式启动
喜剧之皇·2021-01-11 11:58

hive学习笔记

文章目录前言推荐文章库方面创建库修改库删除库描述库表方面前言创建表插入表描述表删除表删除外部表变更表表本身属性层面表字段层面分区操作查询表报错汇总Mysql方面hive的元数据metastore函数方面
R&Y·2021-01-04 01:18

通过HiveServer2访问Hive

metastore：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce，提交到hdfs中。hiveserver2：hive服务端。提供hive服务。
不负此生·2020-12-24 23:10

通过HiveServer2访问Hive

metastore：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce，提交到hdfs中。hiveserver2：hive服务端。提供hive服务。
不负此生·2020-12-21 11:19

三十、Hive的数据类型以及常用的属性配置

上篇文章我们在服务器上部署了Hive并将它的Metastore存储在了MySQL上，本文介绍一下Hive的数据类型以及常用的一些属性配置。
象在舞·2020-12-13 10:42

二十九、Linux安装Hive并更改Metastore依赖库

本文主要介绍如何在Linux上安装部署Hive，以及存储HiveMetastore的依赖库MySQL的安装。
象在舞·2020-12-10 15:14

Hadoop07---Hive基础

启动hive初始化：只执行一次，执行过后，后面再次启动时不需要执行在bin目录下执行：schematool-initSchema-dbTypemysql开启元数据服务前台启动：hive--servicemetastore
阿宾571·2020-11-29 20:36

Hadoop之Hive基本使用

一.Hive存储模式Hive中建立的表都叫metastore表。这些表并不真实的存储数据，而是定义真实数据跟hive之间的映射，就像传统数据库中表的meta信息，所以叫做metastore。
樱井咲夜·2020-11-24 08:09
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他