Metastore

Hive数据模型的几种表 和 窗口函数 和 排序方法

Hive默认情况下回将这些表的数据存储在由配置项hive.metastore.warehouse.dir所定义的目录（比如/user/hive/warehouse）的子目录下。
CWS_chen·2020-08-22 11:26

Flink 1.10 SQL、HiveCatalog与事件时间整合示例

本文用根据埋点日志计算PV、UV的简单示例来体验Flink1.10的两个重要新特性，一是SQLDDL对事件时间的支持，二是HiveMetastore作为Flink的元数据存储（即HiveCatalog）
LittleMagic·2020-08-21 17:42

SparkSQL thrift server 搭建

去连接是需要对外提供服务的，因此可以配置线程池最大连接数sparksql的源数据还是依赖hive的一．前提条件启动hdfs集群start-all.sh192.168.4.31:50070启动hive的metastore
scandly·2020-08-21 09:33

hive2.*安装部署常见错误总结(连载)

java.lang.RuntimeExceptionExceptioninthread"main"java.lang.RuntimeException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientatorg.apache
weixin_30925411·2020-08-21 06:00

mysql作为hive元数据库读取时提示communication failure

但是hive命令行进入后，showtables提示·metastore无法读取，查了很久的原因，都查不到，mysql登陆也正常，同事突然说在hivecli中setjavax.jdo.option.ConnectionURL
sanms·2020-08-21 05:18

Column name pattern can not be NULL or empty.

1.美图2.背景19/02/1315:34:53WARNQuery:Queryforcandidatesoforg.apache.hadoop.hive.metastore.model.MDatabaseandsubclassesresultedinnopossiblecandidatesExceptionthrownobtainingschemacolumninformationfromdata
九师兄·2020-08-21 04:33

hive-2.1.1报错Failed to start database 'metastore_db' with class loader sun.misc.Launcher$AppClassLoad

求帮忙,帮忙看看问题出在哪里：hive-2.1.1安装报错如下：org.apache.hadoop.hive.metastore.HiveMetaException:Failedtogetschemaversion
RiverCode·2020-08-20 22:09

Caused by: java.sql.SQLException: Failed to start database 'metastore_db' with class loader sun.misc

Causedby:java.sql.SQLException:Failedtostartdatabase'metastore_db'withclassloadersun.misc.Launcher$AppClassLoader
哪有天生的学霸，一切都是厚积薄发·2020-08-20 21:44

Sqoop 导入数据到hdfs和hive总结

Sqoophelpimport查看import命令的帮助Eg:sqoop导入到HDFS的一个简单示例:sqoopimport       --connectjdbc:mysql://192.168.56.121:3306/metastore
天涯蓝药师·2020-08-20 20:07

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

HiveMetastore是Hive的元信息管理工具，它提供了操作元数据的一系列接口，其后端存储一般选用关系型数据库如Derby、MySQL等。现在很多除了Hive之外计算框架
PingCAP·2020-08-20 17:26

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

HiveMetastore是Hive的元信息管理工具，它提供了操作元数据的一系列接口，其后端存储一般选用关系型数据库如Derby、MySQL等。现在很多除了Hive之外计算框架
PingCAP·2020-08-20 17:25

大数据学习笔记——用dbeaver6.2.4连接hive1.2

数据库，hive的元数据存储在mysql中2、cd/export/servers/apache-hive-1.2.1-bin/bin进入hive安装的bin目录3、nohuphive--servicemetastore-p9083
新宿一次狼·2020-08-20 05:40

sqoop使用hcatalog抽取数据异常

脚本执行任务失败，错误日志如下:Jobcommitfailed:org.apache.hive.hcatalog.common.HCatException:2006:Erroraddingpartitiontometastore.Cause
kevin_wf·2020-08-19 22:12

Hive获取最大分区

我们知道hive中有HiveMetaStoreClientapi可以直接获
zhengqiangtan·2020-08-19 20:46

使用 Cloudera Hive Jdbc 查询 Hive 数据

引入工具包示例将需要的jar包引入，此处使用mavenlocalhive_metastore0.0system${basedir}/lib/cloudera-hive-jdbc/hive_metastore.ja
sunknew·2020-08-19 20:07

数据库迁移问题

MapReduce程序把Oracle数据导入到Hive中的所以我们应该使用hive的引擎去读这些表，需要在Spark代码中添加配置hiveContext.setConf("spark.sql.hive.convertMetastoreParquet
lhxsir·2020-08-19 18:56

Zeppelin带有Kerberos认证的Hive解释器的配置

Hive安装配置zeppelin版本0.8.2，hive版本：3.0.02.1.安装启动hive3略2.1.配置hiveserver2如果需要配置zeppelin与hive的集成，我们需要启动hive的metastore
大跃ET·2020-08-19 10:24

Hive 学习笔记①

未被external修饰的是内部表[managedtable],被external修饰的是外部表[externaltable]；②内部表由hive管理,外部表由hdfs管理；③内部表数据存储在hive.metastore.warehose.dir
LL_QQ63·2020-08-18 13:39

spark on hive (spark 使用hive元数据)

以Python为例子：spark=SparkSession.builder.config("hive.metastore.uris","thrift://10.1.1.18:9083").appName
张晓辉☝✔♫·2020-08-18 12:30

sparksql读取hive数据源配置

1、将hive-site.xml内容添加到sparkconf配置文件中，内容仅需要元数据连接信息即可hive.metastore.uristhrift://master-centos:9083ThriftURIfortheremotemetastore.Usedbymetastoreclienttoconnecttoremotemetastore
jimmyxyalj·2020-08-18 12:19

【已解决】Hive启动后报错：FAILED: LockException [Error 10280]: Error communicating with the metastore

centos7+hadoop2.6.5+hive1.2.2+mysql5.7.26记录采坑过程！~[root@mastermaster]#hiveLogginginitializedusingconfigurationinjar:file:/opt/bigdata/apache-hive-1.2.2-bin/lib/hive-common-1.2.2.jar!/hive-log4j.propert
神是念着倒·2020-08-18 12:16

hive安装和基本操作(一)

Hive安装环境准备Hive安装部署将本地文件导入Hive案例MySql安装安装包准备安装MySql服务器安装MySql客户端MySql中user表中主机配置Hive元数据配置到MySql驱动拷贝配置Metastore
靛蓝忆·2020-08-18 12:13

hive元数据异常解决方案

metastore服务启动报错（启动命令：hive--servicemetastore&）Causedby:MetaException(message:HiveSchemaversion2.3.0doesnot
东北溜达滑·2020-08-18 11:50

Hive: TApplicationException: Internal error processing get_partition_names 错误的解决方法

有时候，某些非常规的操作会导致将要建立数据库/表与保存在metastore里的数据库/表的信息发生冲突，导致无法建立相应的数据库/表。
bluishglc·2020-08-18 10:44

Hive常用命令

jar包用:分割)hive--servicehelpServiceList:beelineclihelphiveburninclienthiveserver2hiveserverhwijarlineagemetastoremetatoolorcfiledumprc
believe2017slwx·2020-08-18 10:12

【Spark篇】---SparkSQL on Hive的配置和使用

二、具体配置1、在Spark客户端配置HiveOnSpark在Spark客户端安装包下spark-1.6.0/conf中创建文件hive-site.xml：配置hive的metastore路径hive.metastore.uristhrift
L先生AI课堂·2020-08-18 10:06

HIve报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:Unable to instantia

SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
北海道恋人·2020-08-18 05:49

hive metastore ha 配置

1.需要在两台或多台机器上启动hivemetastore服务，这台机器上hive配置如下javax.jdo.option.ConnectionURLjdbc:mysql://10.140.60.53:3306
刘光华_zhou·2020-08-14 22:48

HiveMetaStore高可用性(HA)配置

软件环境Hadoop2.6.0-cdh5.9.0Hive1.1.0-cdh5.9.0Zookeeper3.4.5-cdh5.9.0工作原理常规连接MetaStoreHA前置条件Hadoop、Zookeeper
RotKang·2020-08-14 22:38

Hive metastore（元数据）配置到 MySql

驱动拷贝解压驱动包在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包[root@hadoop101mysql-libs]#ll总用量76048-rwxr--r--.1rootroot185099603月262015MySQL-client-5.6.24-1.el6.x86_64.rpm-rwxr--r--.1roo
yljphp·2020-08-14 22:49

17-大数据-hive三种模式

hive-env.sh情况下，并且拷贝了一份hive-site.xml，什么都不改内嵌模式参数javax.jdo.option.ConnectionURLjdbc:derby:;databaseName=metastore_db
大富的大数据之路·2020-08-14 22:02

hive中metastore三种存储方式

hive中metastore存储方式：嵌套方式：使用内置derby数据库，同一时间仅限一个hivecli环境登录本地mysql存储方式：采取外部mysql数据库服务器，支持多用户连接模式，通过设置hive.metastore.local
jimmyxyalj·2020-08-14 22:00

Hive 内嵌模式安装指导

Hive内嵌模式说明：在内嵌模式下（通过hive命令启动），CLI、Driver、metastore以及derby服务都运行在一个RunJar进程内。
汀桦坞·2020-08-14 21:23

Hive知识点总结

hive与mysqlmetastore是hive元数据的集中存放地metastore默认使用内嵌的derby数据库作为存储引擎Derby引擎的缺点：一次只能打开一个会话使用Mysql作为外置存储引擎，多用户同时访问
LaZY_apple·2020-08-14 21:53

hive-metastore结构

HiveMetaStore数据库表结构图整体概括DBSColumns:DB_ID、DESC、DB_LOCATION_URI、NAME、OWNER_NAME、OWNER_TYPEDBS表记录基本的db信息
花泽啸·2020-08-14 21:44

Hive学习总结（三）之元数据Metastore

元数据Metastore1、元数据2、MySQL中Hive数据库相关的元数据表2.1、DBS表3、Hive表和视图相关的元数据表3.1、TBLS表4、Hive文件存储信息相关的元数据表4.1、SDS表4.2
風の住む街~·2020-08-14 21:49

Hive metastore整体代码分析及详解

从上一篇对Hivemetastore表结构的简要分析中，我再根据数据设计的实体对象，再进行整个代码结构的总结。
weixin_34217711·2020-08-14 21:58

hive中的几个参数：元数据配置、仓库位置、打印表字段相关参数

hive仓库位置由以下参数决定，默认位置/user/hive/warehouse：hive.metastore.warehouse.dir/user/hive/warehousehive中元数据配置：javax.jdo.option.ConnectionURLjdbc
weixin_34137799·2020-08-14 20:18

hive开启metastore服务

我们必须在hive服务端才能开启hivemetastore服务第一种方式hive--servicemetastore-p9083&第二种方式如果你在hive-site.xml里指定了hive.metastore.uris
weixin_34088583·2020-08-14 20:13

Hive系列（一）metastore的认证和授权

2019独角兽企业重金招聘Python工程师标准>>>1Hive系列目录Metastore认证和验权HiveServer2认证和验权sentry的权限设计HiveServer2接入sentry后的认证和验权
Linux????? Mr.Liyz·2020-08-14 20:28

Hive metastore表结构设计分析

今天总结下，Hivemetastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。
??yy·2020-08-14 20:10

Hive MetaStore 源码分析

1.启动脚本$HIVE_HOME/bin/hive--servicehivemetastore-->$HIVE_HOME/bin/ext/metastore.sh-->可以看到入口类org.apache.hadoop.hive.metastore.HiveMetaStore2
wangwenting2016·2020-08-14 20:51

第九记·Hive安装配置 metastore的三种配置方式详解

XY个人笔记Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reduc
一尺月光寒·2020-08-14 20:42

关于Hive本地模式和远程模式

（基本概念：metastore包括两部分，服务进程和数据的存储。）《hadoop权威指南第二版》
Gandalf_lee·2020-08-14 20:43

Hive 三种运行方式之 本地 derby

这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可javax.jdo.option.ConnectionURLjdbc:derby:;databaseName=metastore_db
_自由之子_·2020-08-14 19:25

Hive教程之metastore的三种模式

Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方式这个是Hive默认的启动模式，一般用于单元测试，这种存储方式有一个缺点：在同一时间只能有一个进程连接使用数据库
snowwolf1015·2020-08-14 19:22

Hive安装配置指北（含Hive Metastore详解）

本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。
舒琪·2020-08-14 19:23

Hive metastore三种配置方式

Hive官方wiki详细介绍了这三种方式，链接为：HiveMetastore。
reesun·2020-08-14 19:47

详解：Hive的MetaStore和三种配置方式

二：Metastore作用：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。
亮大兵·2020-08-14 19:07

Hive的Metastore三种配置方式分析

而metastore是Hive元数据的集中存放地。metastore元数据存储主要体现在两个方面：服务和后台数据的存储。关于Metastore的三种配置：内嵌配置，本地配置，远程配置。
涤生手记·2020-08-14 18:22
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他