HiveMetaStore

sparksql与hive整合

//master:9083 Thrifturifortheremotemetastore.Usedbymetastoreclienttoconnecttoremotemetastore.12345启动hivemetastore
iteye_6622·2020-08-07 14:00

Hive操作——删除表(drop、truncate)

因为外部表里的数据并不是存放在HiveMetastore中。创建表的时候指定了EXTERNAL，外部
独孤风·2020-08-07 14:00

Drill下配置Hive存储插件

安装好Drill、Hive、Hadoop，且Hive以MySQL作为元数据库启动hivemetastore必须先启动hivemetastore，否则无法添加存储插件a@DataServer:~$hive
qq_42797457·2020-08-04 17:10

Hive Metastore 代码简析

1.hivemetastore内部结构1.1包结构从package结构来看，主要的5个package，让我们来看看这几个package的内容(1)metastorepackage是metastore模块的入口
godfrey90·2020-08-03 17:18

Spark SQL｜Spark，从入门到精通

SparkSQL在Hive兼容层面仅依赖HQLparser、HiveMetastore和HiveSerDe。也就是说，从HQL被解析成抽象语法树(AST)起，就全部由SparkSQL接管了。
yiyidsj·2020-08-03 09:48

如何优雅的关闭HiveMetaStore服务进程

最近在自己电脑配置了spark与hive的集成避免不了用到hivemetastore服务但是这个鬼东西开启容易关闭难索性写了个脚本可以一键关闭思路是从kafka关闭脚本获取到的1.在hive的安装目录下的
佩奇配骑·2020-07-30 17:51

什么是 Apache Sentry , Apache Sentry 介绍

Sentry开箱即用的支持Hive，HiveMetastore/HCatalog，Solr，Impala，HDFS(仅限Hive表数据)，Kafka和Kudu(通过Impala)。
jast_zsh·2020-07-29 02:48

Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

/hive成功进入hive数据库在这里简单介绍一下hive的metastore1.概述通过hivemetastore能访问hive的元数据，hive的元数据使用DataNucl
斯维特哈特·2020-07-16 05:48

SQL操作Spark SQL--CatalogApiTest

valspark=SparkSession.builder().appName("CatalogApiTest").getOrCreate()//查看sparksql应用用的是哪一种catalog//目前支持hivemetastore
aohuang8877·2020-07-15 20:19

hiveContext演示

的配置文件hive-site.xml已经存在conf目录中前者可以查看lib目录下是否存在以datanucleus开头的3个JAR来确定,后者注意是否在hive-site.xml里配置了uris来访问HiveMetastore
岸芷汀兰whu·2020-07-12 02:30

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

HiveMetastore是Hive的元信息管理工具，它提供了操作元数据的一系列接口，其后端存储一般选用关系型数据库如Derby、MySQL等。现在很多除了Hive之外计算框架
PingCAP·2020-07-11 13:25

在 Kudu 中集成 Hive Metastore

在启用与HiveMetastore集成之前应升级现有Kudu表。准备升级在升级过程中，Kudu群集仍然可用。Kudu和HiveMetastore中的表可能会更改或重命名。
storm_fury·2020-07-08 21:27

解决 Failed to get schema version when starting Hive Metastore Service

1.启动HiveMetastore时，报错信息如下resource_management.core.exceptions.Fail:Executionof'exportHIVE_CONF_DIR=/usr
sh0308·2020-07-05 11:00

hiveMetastore元数据库初始化失败：java.io.IOException: Schema script failed, errorcode 2

Traceback(mostrecentcalllast):File"/var/lib/ambari-agent/cache/common-services/HIVE/0.12.0.2.0/package/scripts/hive_metastore.py",line259,inHiveMetastore().execute()File"/usr/lib/python2.6/site-packag
liaoyanyunde·2020-07-04 21:29

Hive UDF使用资源文件及动态更新方案

Hive0.13版本开始支持自定义永久函数（PermanentFunction）,可以将函数注册到HiveMetastore，通过Hive/Beeline/SparkSQL可以直接引用，不需要类似
demigelemiao·2020-07-04 09:48

Presto 配置 Hive & Hive的权限

此元数据存储在数据库（例如MySQL）中，并可通过HiveMetastore服务
张伯毅·2020-06-30 14:32

Flink使用Hive Metastore管理元数据

Hive作为大数据离线数仓的事实标准，有完善的元数据中心HiveMetastore。
zhdan~·2020-06-30 13:43

hive的启动和停止

[hadoop~]#nohuphive--servicemetastore>>~/metastore.log2>&1&##hivemetastore[hadoop~]#nohuphive--servicehiveserver2
zh_s_z·2020-06-30 13:21

spoolingdir-kafka-hive典型日志收集flume配置

1,准备工作hive添加分区信息,orc表,分区,分桶,字段小写ALTERTABLEhttpaddPARTITION(day=20181228,hour=18);hivemetastore服务开启hive
liang家之言·2020-06-30 01:20

Hive metastore三种配置方式

hive官方wiki详细介绍了这三种方式，链接为：HiveMetastore。
湘西刀疤客·2020-06-30 00:08

Flink 1.10 和 Hive 3.0 性能对比（附 Demo 演示 PPT）

如今的大数据批计算，随着Hive数仓的成熟，普遍的模式是Hivemetastore+计算引擎。
Ververica·2020-06-29 14:47

伪分布式环境配置Hive

1.相关概念HiveMetastore有三种配置方式（根据元数据划分，元数据一般存储在关系型数据库里面），分别是：EmbeddedMetastoreDatabase(Derby)内嵌模式把元数据存在内嵌的
simon000·2020-06-28 12:02

HIVE参数

其中默认的配置都在hive-default.xml.templatemetastore配置文件：hivemetastore-site.xmlhiveserver2配置文件：
Carltmf·2020-06-25 11:00

HIve修改字段或者增加字段后，Spark访问不生效问题

我习惯使用了altertableadd…来实现原来的表：ALTERTABLEtestADDCOLUMNS(weightSTRING)CASCADE加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore
BackToMeNow·2020-06-25 11:08

Flink 1.10 SQL、HiveCatalog与事件时间整合示例

本文用根据埋点日志计算PV、UV的简单示例来体验Flink1.10的两个重要新特性，一是SQLDDL对事件时间的支持，二是HiveMetastore作为Flink的元数据存储（即HiveCatalog）
LittleMagics·2020-06-24 16:04

StreamSets MySQL增量导入带有Kerberos认证的Hbase、Hive和kafka 自定义节点 任务调度

binlog1.mysql导入hbase配置JDBCQueryConsumer配置HBase2.mysql导入hive配置JDBCQueryConsumer配置HiveMetadata配置HadoopFS配置HiveMetastore
aXFD_YY·2020-06-22 11:31

spark读取hive问题汇总

hive.metastore.uristhrift://hadoop102:9083然后启动hivemetastore服务：bin/hive--servicemetastore。然后启
慕容馨磊·2020-06-22 11:01

文章收录1

3.HiveMetastore代码简析4.受限的玻尔兹曼机5.以公司实际应用讲解OpenStack到底是什么6.Ubuntu12.04安装hadoop7.vpsmate安装完再重启服务器，vpsmate
qq_33974741·2020-06-21 05:48

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

本文用根据埋点日志计算PV、UV的简单示例来体验Flink1.10的两个重要新特性：一是SQLDDL对事件时间的支持；二是HiveMetastore作为Flink的元数据存储（即HiveCatalog）
ApacheFlink·2020-06-04 01:34

Hive UDF使用资源文件及动态更新方案

Hive0.13版本开始支持自定义永久函数（PermanentFunction）,可以将函数注册到HiveMetastore，通过Hive/Beeline/SparkSQL可以直接引用，不需要类似于临
demigelemiao·2020-05-26 13:00

CDH Hive 元数据库模式

www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hive_metastore_configure.html版本：5.14.2HiveMetastore
金刚_30bf·2020-04-11 16:30

Spark Multi Tenancy系列 - 4 异常处理：初始化HiveSessionState失败

异常说明SparkSession初始化一个lazy的HiveClient用于HiveMetaStore连接，一旦使用其内部就会实例化一个org.apache.spark.sql.hive.HiveSessionState
Kent_Yao·2020-02-28 08:47

Flink 1.10 和 Hive 3.0 性能对比（附 Demo 演示 PPT）

作者：李劲松（之信）如今的大数据批计算，随着Hive数仓的成熟，普遍的模式是Hivemetastore+计算引擎。
ApacheFlink·2020-02-21 22:44

Spark-1.6.1 SQL与Apache Hive SQL的兼容性

与ApacheHive的兼容性#SparkSQL被设计成与HiveMetastore(元数据),SerDes和UDFs兼容.目前SparkSQL里的HiveSerDes和UDFs是基于Hive1.2.1
日月明心·2020-02-15 08:34

hive学习

1HiveMetastore1.1相关概念HiveMetastore有三种配置方式，分别是：EmbeddedMetastoreDatabase(Derby)内嵌模式LocalMetastoreServer
hexg1016·2020-02-14 03:56

Hive的安装

我们使用mysql来存储hive的元数据(metadata)，这里关于元数据以及元数据的存储方式摘录了这篇文章里的部分内容Hive安装配置指北（含HiveMetastore详解）1.1Metadata、
Davidham3·2020-01-08 10:22

Java提交sparksql任务及问题分析

SparkSessionspark=SparkSession.builder().enableHiveSupport()//这个必须加，是获取hivemetastore.getOrCreate();spark.sql
xhh199090·2019-11-30 22:25

Ambari Issue Highlights

不定期更新收录各种奇葩问题ambari安装之后，启动hiveMetaStore时报错File"/usr/lib/python2.6/site-packages/resource_management/core
Pleb_King·2019-11-08 03:37

Hive metastore整体代码分析及详解

这就几天在排查hivemetastore告警问题，由于hivemetastore采用的是thrift结构，对thrift进行了了解，而本告警日志中timedoutwaitrequestforid11202249
javastart·2019-08-19 16:26

Spark对HiveMetastore客户端的多版本管理、兼容性探究以及栅栏实现

文章目录前言详述对Hive的基本调研对HiveInSpark的兼容性探究的起因升级以后的Spark能否正常工作？通过Shims来增量支持高版本的Hive的接口变化Spark对Hive版本支持的灵活配置以loadDynamicPartitioins方法来了解ShimsSpark用户的正确使用姿势：通过自定义ClassLoader实现多版本的hiveclient共存结论前言我们在对Hive进行升级的时
小昌昌的博客·2019-07-14 16:52

cdh启用sentry的步骤

主要参照官方文档：https://www.cloudera.com/documentation/enterprise/5-14-x/topics/sentry.html一.部署sentry服务1.配置：官方建议将hivemetastore
choulanlan·2019-04-15 17:30

ROLAP场景下的交互式计算引擎Impala和Presto

应用于ROLAP场景下的交互式计算引擎Impala和Presto具有以下特点：1、跟Hadoop生态系统完好结合，可与HiveMetastore对接，处理hive中的表，可直接处理存储在HDFS和Hbase
凹谷·2018-11-22 17:59

Metastore源码分析

本文基于hive-1.2.2源码Metastore模块在metastore目录下入口文件metastore/src/java/org/apache/hadoop/hive/metastore/HiveMetaStore.java
david9·2018-10-31 09:47

Spark学习笔记（一）——Spark编程

、内存缓存计算Spark软件栈SparkCore：任务调度、内存管理、错误恢复、与存储系统交互，弹性分布式数据集（resilientdistributeddataset,RDD）SparkSQL：可与HiveMetastore
Shingle_·2018-08-24 20:14

A Brief Introduction of Kyuubi Architecture

ODBCServer.ItismainlydesignedfordirectlyrunningSQLtowardsaclusterwithallcomponentsincludingHDFS,YARN,HiveMetaStore
Kent_Yao·2018-05-10 14:20

HCatalog快速入门

它将HiveMetastore的表格数据公开给其他Hadoop应用程序。使得具有不同数据处理工具（Pig，MapReduce）的用户能够轻松将数据写入网格。
Ancony_·2018-04-11 21:31

spark 读取 hdfs 数据分区规则

下文以读取parquet文件/parquethivetable为例：hivemetastore和parquet转化的方式通过spark.sql.hive.convertMetastoreParquet控制
breeze_lsw·2018-04-03 10:16

修改 Hive Metastore 里记录的 InputFormat、OutputFormat

解决方案写在前面：altertablexxxxsetfileformatparquet因为同事升级Spark时出的bug，误以为需要修改HiveMetastore的记录。
Clockworkai·2018-03-29 14:36

Ambari—Hive配置HA（四）

HiveMetastore客户端始终使用第一个URI连接Metastore服务器。如果Metastore服务器
源神·2018-03-06 09:11

Hive组件高可用

HiveMetastore高可用此文档是为了系统管理员准备的，他们需要配置HiveMetastore高可用服务。
Free World·2018-01-03 15:09
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他