metastore

hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2

为了提高hive可用性，提高集群的稳定性。对已经搭建好的hive进行高可用改造。没有搭建好hive的童鞋，请先自行搭建好hive，再来参考本文。HiveServer2高可用修改配置hive-site.xml,增加一下内容hive.server2.support.dynamic.service.discoverytruehive.server2.zookeeper.namespacehiveserv
薛定谔的猫不吃猫粮·2021-04-20 17:46

Hive权限管理调研

一、四种授权模式1.1基于存储的授权（StorageBasedAuthorizationintheMetastoreServer）Hive作为表存储层。
大数据faner·2021-04-19 15:50

解决启动Hive报错Hive Schema version 2.3.0 does not match metastore‘s schema version 1.2.0 Metastore is not

StartingHiveMetastoreServerSLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file
master_hunter·2021-04-18 22:17

Hive、MySQL安装

MySQL初始化MySQL的数据库启动MySQL服务登录MySQL重置MySQL密码增加远程登陆权限Hive内嵌式安装配置环境变量修改配置文件hive-env.shHive元数据配置到MySQL驱动拷贝配置Metastore
Ka-Xin·2021-02-21 11:59

Hive 高可用搭建

2DNZKZKFCJNNRSNMHiveserver2beelinenode1✔️✔️✔️✔️✔️node2✔️✔️✔️✔️✔️✔️✔️✔️node3✔️✔️✔️✔️✔️node4✔️✔️✔️配置文件hive-site.xml(node2)hive.metastore.w
小而困难·2021-02-01 20:24

Hive源码本地IDEA调试的正确姿势

Hive源码本地IDEA调试的正确姿势背景环境准备初始化配置修改配置初始化元数据库编译代码启动HiveMetaStore启动Hivesql客户端ClientDriver模式HiveServer2模式启动
喜剧之皇·2021-01-11 11:58

hive学习笔记

文章目录前言推荐文章库方面创建库修改库删除库描述库表方面前言创建表插入表描述表删除表删除外部表变更表表本身属性层面表字段层面分区操作查询表报错汇总Mysql方面hive的元数据metastore函数方面
R&Y·2021-01-04 01:18

通过HiveServer2访问Hive

metastore：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce，提交到hdfs中。hiveserver2：hive服务端。提供hive服务。
不负此生·2020-12-24 23:10

通过HiveServer2访问Hive

metastore：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce，提交到hdfs中。hiveserver2：hive服务端。提供hive服务。
不负此生·2020-12-21 11:19

三十、Hive的数据类型以及常用的属性配置

上篇文章我们在服务器上部署了Hive并将它的Metastore存储在了MySQL上，本文介绍一下Hive的数据类型以及常用的一些属性配置。
象在舞·2020-12-13 10:42

二十九、Linux安装Hive并更改Metastore依赖库

本文主要介绍如何在Linux上安装部署Hive，以及存储HiveMetastore的依赖库MySQL的安装。
象在舞·2020-12-10 15:14

Hadoop07---Hive基础

启动hive初始化：只执行一次，执行过后，后面再次启动时不需要执行在bin目录下执行：schematool-initSchema-dbTypemysql开启元数据服务前台启动：hive--servicemetastore
阿宾571·2020-11-29 20:36

Hadoop之Hive基本使用

一.Hive存储模式Hive中建立的表都叫metastore表。这些表并不真实的存储数据，而是定义真实数据跟hive之间的映射，就像传统数据库中表的meta信息，所以叫做metastore。
樱井咲夜·2020-11-24 08:09

Hive 高可用HA搭建

1、使用HiveServer2提供HA的好处1.在应用端不用部署Hadoop和Hive客户端；2.相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户；3.有安全认证机制
狂奔的乌牛·2020-11-12 16:53

Hive的内部表和外部表

内部表未被external修饰表数据由hive管理（内部表数据存储的位置是hive.metastore.warehouse.dir）删除内部表会直接删除元数据（metadata）及存储数据（仅限于location
行走江湖不带刀·2020-10-10 16:24

配置hive元数据到Mysql中的全过程记录

hive-site.xml文件根据官方文档配置参数，拷贝数据到hive-site.xml文件中https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin
·2020-10-04 11:03

配置hive的元数据到Mysql中

hive-site.xml文件根据官方文档配置参数，拷贝数据到hive-site.xml文件中https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin
·2020-09-30 21:00

Hive：安装Hive遇到的一些问题 （Remote Server Mode模式）

1.StartingHiveMetastoreServer出现com.mysql.cj.core.exceptions.CJCommunicationsException:Communicationslinkfailure1
小小小黄鸡·2020-09-17 12:43

【Hadoop】hive相关报错处理${system:java.io.tmpdir}等

在执行hive–servicemetastore后，使用hive登录进去处理bash以后，报错如下信息hive>showtables;OKFailedwithexceptionjava.io.IOException
乐扣老师lekkoliu·2020-09-17 10:26

hive 配置 mysql时的问题（Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

这篇文章解决了问题，转载自:http://blog.csdn.net/lanchunhui/article/details/50858092因为Hive的映射工具——metastore，默认存放在derby
mustbesomebody·2020-09-17 10:45

hive的数据模型及数据类型

Hive中的数据库包含一系列的数据库，每个数据库都对应于HDFS上的一个目录，默认的数据库为default，对应于HDFS目录是/user/hadoop/hive/warehouse，可以通过hive.metastore.wa
杰灬杰·2020-09-16 19:55

hive报错Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE)

业务发现跑hive任务总是一次成功，第二次无法找到库，需要重新进行hive，查看HiveMetaStore日志报错：2016-05-1111:30:32,912ERROR[pool-3-thread-178
levy_cui·2020-09-16 18:06

hive的四种表

warehouse是在hive-site.xml中由${hive.metastore.warehouse.
冷峰的思考·2020-09-16 17:13

hive 的数据模型中四种表：

Hive中的表和关系型数据库中的表在概念上很类似，每个表在HDFS中都有相应的目录用来存储表的数据，这个目录可以通过${HIVE_HOME}/conf/hive-site.xml配置文件中的hive.metastore.warehouse.dir
李景山-编程者·2020-09-16 17:00

sqoop-job常用命令

详细信息sqoopjob--showjobname执行jobsqoopjob--execjobname删除jobsqoopjob--deletejobname6.解决sqoop需要输入密码的问题sqoop.metastore.clien
果不其燃·2020-09-16 13:28

Hive基本操作，使用API通过JDBC连接访问

1.1建库：createdatabasemydb;在上一篇的介绍中，我们将Hive使用了远程Mysql来存放元数据metastore信息。元数据存储中存储了如表的模式和分区（后面我们接着讨论分区
xiaoyaGrace·2020-09-16 04:19

Hive之MySQL安装

安装Hive前，首先装好MySQL，MySQL数据库可以支持多个用户同时使用Hive连接MySQL数据库，共享使用metastore中的内容访问Hive，并且MySQL本身具有成熟的分布式特性，可以采用多台
BD_ZYJ·2020-09-16 01:15

hive配置

javax.jdo.option.ConnectionURLjdbc:mysql://CXGHDSJFXJM-10-242-24-3.domain.localdomain:3306/metastore?
≯stephen·2020-09-15 23:19

java连接hive（jdbc）

mysql，hive服务器，hiveserver2前提创建java项目导入本地驱动包jdbc的代码hive客户端操作Beeline客户端操作前提#node4nohupbin/hive--servicemetastore
Pioneer_1·2020-09-15 19:18

hive metastore 和 hiveServer2 遇到的问题

1.hivemetastroe的问题这个问题最早的时候是在启动hive的时候遇到的，当时报错是：我把hive-site.xml中的这部分配置注释掉之后就不再报错了，但是会在启动hive的时候有警告，当时把这个问题直接忽略过去了，因为已经可以hive已经可以正常运行了（被注释掉的代码）（启动hive时的警告）后来在尝试sparkonhive的时候，报了一个这个错误：通过查资料，发现是需要启动serv
stable_阿甘·2020-09-15 15:33

7. Flink on yarn模式部署以及flink和hive的集成

[Hive为什么要启用Metastore](https://blog.csdn.net/qq_35440040
越奋斗，越幸运·2020-09-15 12:55

【sqoop】sqoop1使用metastore保存job

配置#node3#$SQOOP_HOME/conf/sqoop-site.xmlsqoop.metastore.server.location/usr/local/sqoop/tmp/sqoop-metastore
yang63515074·2020-09-15 09:15

大数据相关英文名称解释

hive命令全称作用MSCKmetastoreconsistencycheckHive表分区连贯性检查
断剑走江湖·2020-09-15 07:12

Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:FordirectMetaStoreDBconnections
weixin_34000916·2020-09-15 01:54

Hive 读书笔记1：Getting Started

/hive--serviceserviceNameServiceList:clihelphiveserverhwijarlineagemetastorercfilecat（Hive支持的service）
波特王子·2020-09-14 20:54

sqoop 增量导入数据

hsql来存储job信息，开启metastorservice将job信息共享，所有node上的sqoop都可以运行同一个job一、sqoop的配置文件在sqoop.site.xml中：1、sqoop.metastore.server.location
蜗牛.~·2020-09-14 05:51

Impala的invalidate metadata与refresh 区别

一、ImpalaonHive介绍我们一般会采用传统的MySQL或PostgreSQL数据库作为Hive的Metastore（元数据存储）组件。
清平の乐·2020-09-14 03:38

Impala中的invalidate metadata 和refrsh

Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。
MrZhangBaby·2020-09-14 03:44

Java调用Kettle工具方法

pentaho-kettlekettle-core7.1.0.0-12pentaho-kettlekettle-dbdialog7.1.0.0-12pentaho-kettlekettle-engine7.1.0.0-12pentaho-kettlemetastore7.1.0.0
不如一默·2020-09-13 23:24

Hive修改与字段名后Spark读取不到字段

altertableadd…来实现原来的表：ALTERTABLEtestADDCOLUMNS(weightSTRING)CASCADE1加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore
灵佑666·2020-09-13 19:27

Hive安装

Hive是一个客户端工具，需要在哪台机器上运行就在哪台机器上安装，根据metastore的位置可以将hive的安装模式分为3种：内嵌模式，本地模式，远程模式。
iteye_4653·2020-09-13 19:11

spark-sql读取不到parquet格式的hive表

当向Hivemetastore中读写Parquet表时，SparkSQL将使用SparkSQL自带的ParquetSerDe（SerDe：Serialize/Deserilize的简称,目的是用于序列化和反序列化
x950913·2020-09-13 10:10

hive 跨集群迁移

hive跨集群迁移数据工作中相对比较常见的事情,其中涉及到数据迁移,metastore迁移,hive版本升级等.1.迁移hdfs数据至新集群hadoopdistcp-skipcrccheck-updatehdfs
然月枕流君·2020-09-12 09:26

flume收集日志到hive遇到问题总结

异常如下：19/01/1802:12:51WARNhive.HiveSink:k1:FailedconnectingtoEndPoint{metaStoreUri='thrift://wangfutai
wangfutai91·2020-09-12 09:56

6-大数据-hql执行流程

通过命令行或者客户端提交，经过compiler编译器，运用MetaStore中的元数据进行类型检测和语法分析，生成一个逻辑方案，通过优化处理，产生一个MapReduce任务所有的命令和查询都会进入到driver
大富的大数据之路·2020-09-12 08:04

Hive Fetch Task

>>>show tables; metastore->>mysql; select * from bi.dpods_dp_unsubscribe where hp_statdate = '2015-03
weixin_33795806·2020-09-12 07:30

hive编程指南——读书笔记（无知拾遗）

sethive.metastore.warehouse.dir=/user/myname/hive/warehouse;用户设定自己的数据仓库目录。不影响其他用户。
weixin_30881367·2020-09-12 07:21

Hive on Mapreduce、Hive on Spark、SparkSQL、Spark on Hive

executeQuery接口，发送HQL查询语句给DriverStep2：Driver为查询语句创建会话句柄，并将查询语句发送给Compiler，等待其进行语句解析并生成执行计划Step3and4：Compiler从metastore
L13763338360·2020-09-12 02:55

hive中数据仓库位置的配置

1.数据库的默认配置路径为：/user/hive/warehouse2.修改数据仓库的原始位置只需在hive-site.xml文件中配置如下信息即可：hive.metastore.warehouse.dir
学习中....·2020-09-11 22:50

Hive简介及核心概念（未完）

文章目录一、简介二、Hive的体系架构2.1command-lineshell&thrift/jdbc2.2Metastore2.3HQL的执行流程三、数据类型3.1基本数据类型一、简介Hive是一个构建在
进击的Z同学·2020-09-11 19:56
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他