E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive0.13
Hive ACID和事务表支持详解
在
Hive0.13
之前,Hive支持分区级别上原子性、一致性、持久性,隔离性可以通
疯狂的哈丘
·
2024-01-26 06:36
hive 开启事务和DML
从
Hive0.13
开始,加入了ACID的新feature,但是0.13的时候还不支持insert、update和delete操作,我也并没有欣然的当小白鼠。目前我们平台使用hive1.2.1的
Data & safety
·
2020-08-17 09:28
Hadoop
Hive0.13
到Hive2.1跨版本升级全姿势
转自:http://www.sohu.com/a/205768188_680863Hive0.13到Hive2.1跨版本升级全姿势Hive是业界大数据平台使用最广泛的SQL引擎,提供了一层SQL抽象接口和一套元数据规范,将SQL查询翻译为分布式的计算作业,支持MapReduce/Spark/Tez等多种计算引擎。同时Hive定义的元数据标准已经成为了一种事实标准,业界流行的大数据SQL引擎均对Hi
weixin_34391854
·
2020-07-28 19:03
Hive的元数据表结构详解(转自lxw1234)
本文介绍一下Hive元数据中重要的一些表结构及用途,以
Hive0.13
为例。文章最后面,会以一个示例来全面了解一下,Hive的元数据是怎么生成和存储的。
wangshuxing
·
2020-07-12 05:57
Hive
Hadoop
大数据技术
jdbc连接hive0.14
Jdbc连接hive0.14版本目前官网最新版本是
hive0.13
,要想下载最新的hive得去git上去clone一个。Hive0.14最大特点是支持直接插入。
千岛飞鱼
·
2020-07-06 10:54
hive
Hive UDF使用资源文件及动态更新方案
Hive0.13
版本开始支持自定义永久函数(PermanentFunction),可以将函数注册到HiveMetastore,通过Hive/Beeline/SparkSQL可以直接引用,不需要类似
demigelemiao
·
2020-07-04 09:48
Hive
Hive UDF使用资源文件及动态更新方案
Hive0.13
版本开始支持自定义永久函数(PermanentFunction),可以将函数注册到HiveMetastore,通过Hive/Beeline/SparkSQL可以直接引用,不需要类似于临
demigelemiao
·
2020-05-26 13:00
Hive笔记6-hive元数据表结构详解
本文介绍一下Hive元数据中重要的一些表结构及用途,以
Hive0.13
为例。
raincoffee
·
2020-03-09 05:19
hive表存储为parquet格式
Hive0.13
以后的版本创建存储格式为parquet的hive表:CREATETABLEparquet_test(idint,strstring,mpMAP,lstARRAY,strctSTRUCT)
AlferWei
·
2018-09-04 11:00
数据仓库
hive 常见错误
从
Hive0.13
开始,加入了ACID的新feature,但是0.13的时候还不支持insert、update和delete操作,我也并没有欣然的当小白鼠。目前我们平台使用hive1.2.1的
宁静妍
·
2018-08-07 22:32
大数据
hive select 语句
hive查询操作:1、列匹配正则表达式select查询列使用正则表达式匹配列,
hive0.13
版本之前直接用。
jslijb
·
2018-02-01 11:42
hive
spark学习笔记-
hive0.13
搭建(4)
安装hive包1、将apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。2、解压缩hive安装包:tar-zxvfapache-hive-0.13.1-bin.tar.gz。3、重命名hive目录:mvapache-hive-0.13.1-binhive4、配置hive相关的环境变量vi.bashrcexportHIVE_HOM
aams46841
·
2017-04-17 00:00
运维
java
大数据
hive acid
hive0.13
以后新的版本不支持bggin支持单挑语句acid要求如下orcfilebucked不兼容以前的新语法insertinfotb1values()updaetb1set(s=5...)where
zhaomengsen
·
2017-01-04 23:00
Go
hive
acid
acid
hive列转行 (collect_all()/collect_list() 不去重)
collect_all()hive0.12collect_list()
hive0.13
一、问题hive如何将ab1ab2ab2cd1cd1dd2变为:a["b1","b2","b2"]c["d1","d1
赶路人儿
·
2016-11-17 20:51
hive
TEZ的安装以及测试
TEZ0.5以后得版本和
hive0.13
不兼容1、先解压编译好的tez包tar-xvftez-0.7.0.tar.gz-C/home/hadoop/tez2、在hdfs上面创建一个目录,并且将tez包上传到
Xlucas
·
2016-08-16 00:11
tez
SQL
on
hadoop
hive 1.2.1的常量大坑bug
同事发现在hive1.2.1和
hive0.13
版本里面赋值常量,同样的SQL,得到结果是不同的,SQL如下:insertoverwritetabletestselectmonth_id,client_version
龙明倩
·
2016-07-07 17:04
Hive
hadoop
hive0.13
的udtf使用例子
hive0.13
的自定义UDTF函数的应用 代码的编写 /** *LicensedtotheApacheSoftwareFoundation(ASF)underone *ormorecontributorlicenseagreements.SeetheNOTICEfile
dextersmake
·
2016-02-04 21:08
hive;udtf
安装的Hive
安装的Hive是Hive最新版本中的稳定版本,是基于Hadoop2.2.0,以前有写过,如何在hadoop1.x下面安装Hive0.8,本次Hive的版本是
Hive0.13
,可以直接在Hive官网上下载二进制包
weitao1026
·
2016-01-17 02:00
hive
Hbase0.98版本的安装部署配置管理(Hadoop2.3、Hbase0.98、
Hive0.13
整合)
文章来源:http://blog.csdn.net/javastart/article/details/44859897Hbase0.98版本的安装部署配置管理(Hadoop2.3、Hbase0.98、
Hive0.13
buster2014
·
2015-11-19 20:00
hive0.13
网络接口安装
安装好hive 0.13以后,在./lib下找不到hive-hwi-0.13.1.war ,那该怎么办? 1、下载hive-0.12.0版本,把这一版里面的hive-hwi-0.12.0.war重命名为hive-hwi-0.13.1.war,粘到hive 0.13版的./lib下(这招太毒) 2.修改配置文件hive-site.xml <property>
·
2015-11-07 13:26
hive
hive on tez遇到问题
一、环境
hive0.13
,tez0.5.0二、运行异常如下:returncode-101fromorg.apache.hadoop.hive.ql.exec.tez.TezTask.org.apache.tez.mapreduce.hadoop.MRHelpers.getBaseMRConfiguration
谷雨hadoop
·
2015-07-14 14:39
hadoop
[一起学Hive]之十四-Hive的元数据表结构详解
本文介绍一下Hive元数据中重要的一些表结构及用途,以
Hive0.13
为例。文章最后面,会以一个示例来全面了解一下,Hive的元数据是怎么生成和存储的。1
superlxw1234
·
2015-07-08 12:00
hive
hive元数据结构
[一起学Hive]之十四-Hive的元数据表结构详解
本文介绍一下Hive元数据中重要的一些表结构及用途,以
Hive0.13
为例。文章最后面,会以一个示例来全面了解一下,Hive的元数据是怎么生成和存储的。1
superlxw1234
·
2015-07-08 12:00
hive
hive元数据结构
[一起学Hive]之十四-Hive的元数据表结构详解
本文介绍一下Hive元数据中重要的一些表结构及用途,以
Hive0.13
为例。 文章最后面,会以一个示例来全面了解一下,
superlxw1234
·
2015-07-08 12:00
hive
hive元数据结构
[一起学Hive]之十四-Hive的元数据表结构详解
本文介绍一下Hive元数据中重要的一些表结构及用途,以
Hive0.13
为例。 文章最后面,会以一个示例来全面了解一下,
superlxw1234
·
2015-07-08 12:00
hive
hive元数据结构
为hive permanent function添加默认database特性
前言
hive0.13
开始增加了permanentfunction;允许用户自定义的function无需往.hiverc文件中添加createtemporaryfunction,提高hive的启动时间(无需预先执行创建临时函数命令
麻吉magi
·
2015-05-10 17:20
数据库
database
create
为hive permanent function添加默认database特性
前言
hive0.13
开始增加了permanentfunction;允许用户自定义的function无需往.hiverc文件中添加createtemporaryfunction,提高hive的启动时间(无需预先执行创建临时函数命令
麻吉magi
·
2015-05-10 17:20
数据库
database
create
hive
SQL Standard Based Hive Authorization(基于SQL标准的Hive授权)
Hive0.13
版本之前的授权现状Hive默认授权(DefaultHi
demigelemiao
·
2015-04-20 15:00
Hbase0.98版本的安装部署配置管理(Hadoop2.3、Hbase0.98、
Hive0.13
整合)
简介:HStore存储是HBase存储的核心了,其中由两部分组成,一部分是MemStore,一部分是StoreFiles。MemStore是SortedMemoryBuffer,用户写入的数据首先会放入MemStore,当MemStore满了以后会Flush成一个StoreFile(底层实现是HFile),当StoreFile文件数量增长到一定阈值,会触发Compact合并操作,将多个StoreF
javastart
·
2015-04-03 21:00
hive0.13
mapjoin hashtable找不到的bug
线上job报错:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.FileNotFoundException: /home/vipshop/hard_disk/1/yarn/local/usercache/hdfs/appcache/application_142
菜菜光
·
2015-02-07 11:38
bug
Hashtable
mapjoin
hive0.13
mapjoin hashtable找不到的bug
线上job报错:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.FileNotFoundException: /home/vipshop/hard_disk/1/yarn/local/usercache/hdfs/appcache/application_142
菜菜光
·
2015-02-07 11:38
bug
Hashtable
mapjoin
hive0.13
mapjoin hashtable找不到的bug
线上job报错:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.FileNotFoundException: /home/vipshop/hard_disk/1/yarn/local/usercache/hdfs/appcache/application_142
菜菜光
·
2015-02-07 11:38
bug
mapjoin
hashtable
hive
Hbase0.98版本的安装部署配置管理(Hadoop2.3、Hbase0.98、
Hive0.13
整合)
简介:HStore存储是HBase存储的核心了,其中由两部分组成,一部分是MemStore,一部分是StoreFiles。MemStore是SortedMemoryBuffer,用户写入的数据首先会放入MemStore,当MemStore满了以后会Flush成一个StoreFile(底层实现是HFile),当StoreFile文件数量增长到一定阈值,会触发Compact合并操作,将多个StoreF
mchdba
·
2015-01-13 17:00
Hadoop2.3、 Hbase0.98、
Hive0.13
架构中Hive的安装部署配置以及数据测试
简介:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 1, 适用场景Hive 构建在基于静态批处理的Hadoop 之上,Hadoo
mchdba
·
2015-01-13 15:00
最新版本的Hive 0.13发布,增加ACID特性
最新版本的
Hive0.13
发布,增加ACID特性存储,学习,共享发表于2014-04-2308:16| 3735次阅读|来源Cwiki| 2 条评论|作者AlanGates大数据ACIDHiveHadoop
wulantian
·
2014-11-06 09:00
hadoop2升级的那点事情(详解)
记录下升级的步骤和遇到的问题,和大家分享,希望别人可以少走一些弯路技术选型 当前使用版本: apachehadoop1.0.2 hive0.10 升级目标版本 Apachehadoop2.4.1
Hive0.13
houzhizhen
·
2014-11-04 13:00
hadoop
hive0.13
数据库锁问题fix
之前同事处理的一个case,记录下hive升级到0.13之后,在创建表时,发现报锁竞争的问题,信息如下:conflicting lock present for vipdw mode EXCLUSIVEhive中有锁是没有问题,但是这里的锁却是数据库层面的锁!而且是排他锁!这个锁的粒度就太大了,这个锁会导致所有的关于这个库的hive操作都要等待这个锁的释放.这个应该是去拿表的锁啊。。怎么可以拿库的
菜菜光
·
2014-09-17 22:07
数据库锁
hive0.13
hive0.13
数据库锁问题fix
之前同事处理的一个case,记录下hive升级到0.13之后,在创建表时,发现报锁竞争的问题,信息如下:conflicting lock present for vipdw mode EXCLUSIVEhive中有锁是没有问题,但是这里的锁却是数据库层面的锁!而且是排他锁!这个锁的粒度就太大了,这个锁会导致所有的关于这个库的hive操作都要等待这个锁的释放.这个应该是去拿表的锁啊。。怎么可以拿库的
菜菜光
·
2014-09-17 22:07
hive0.13
数据库锁
hive
hive0.13
cli启动缓慢问题
hive由0.11升级至0.13之后,cli的启动时间由5s增加为10s,影响了部分etljob的运行时间,经过debug,发现时间主要消耗在下面3个地方:1.hadoopjar的时候要把相关的jar包上传到hdfs中(这里大概消耗5s,hive0.11一样,这个地方不太好优化)2.在每次hivecli启动的时候,初始化HiveMetaStore时,在init时,会调用下面3个方法,创建defa
菜菜光
·
2014-08-18 21:06
hive0.13
启动慢
hive0.13
cli启动缓慢问题
hive由0.11升级至0.13之后,cli的启动时间由5s增加为10s,影响了部分etljob的运行时间,经过debug,发现时间主要消耗在下面3个地方:1.hadoopjar的时候要把相关的jar包上传到hdfs中(这里大概消耗5s,hive0.11一样,这个地方不太好优化)2.在每次hivecli启动的时候,初始化HiveMetaStore时,在init时,会调用下面3个方法,创建defau
菜菜光
·
2014-08-18 21:06
hive0.13
启动慢
hive
hive0.13
与hbase 0.98整合
1、首先安装hive,远程mysql tar zxf apache-hive-0.13.1-bin.tar.gz -C /home/hadoop 默认没有mapred-site.xml文件,vi hive-site.xml <configuration> <property&g
顶戴枯花样百出
·
2014-08-10 15:00
hbase
Eclipse+JDBC远程操作
Hive0.13
在前几篇的博客里,散仙已经写了如何在Liunx上安装Hive以及如何与Hadoop集成和将Hive的元数据存储到MySQL里,今天散仙就来看下,如何在Eclipse里通过JDBC的方式操作Hive.我们都知道Hive是一个类SQL的框架,支持HSQL语法操作Hive,而Hive内部,会转成一个个MapReduce作业来完成具体的数据统计,虽然我们可以直接在Hive的shell里,向Hive发起命令
qindongliang1922
·
2014-08-04 20:00
eclipse
mapreduce
jdbc
hive
Eclipse+JDBC远程操作
Hive0.13
在前几篇的博客里,散仙已经写了如何在Liunx上安装Hive以及如何与Hadoop集成和将Hive的元数据存储到MySQL里,今天散仙就来看下,如何在Eclipse里通过JDBC的方式操作Hive.我们都知道Hive是一个类SQL的框架,支持HSQL语法操作Hive,而Hive内部,会转成一个个MapReduce作业来完成具体的数据统计,虽然我们可以直接在Hive的shell里,向Hive发起命令
qindongliang1922
·
2014-08-04 20:00
eclipse
mapreduce
hive
jdbc
Eclipse+JDBC远程操作
Hive0.13
在前几篇的博客里,散仙已经写了如何在Liunx上安装Hive以及如何与Hadoop集成和将Hive的元数据存储到MySQL里,今天散仙就来看下,如何在Eclipse里通过JDBC的方式操作Hive.我们都知道Hive是一个类SQL的框架,支持HSQL语法操作Hive,而Hive内部,会转成一个个MapReduce作业来完成具体的数据统计,虽然我们可以直接在Hive的shell里,向Hive发起命令
qindongliang1922
·
2014-08-04 20:00
eclipse
mapreduce
jdbc
hive
Eclipse+JDBC远程操作
Hive0.13
在前几篇的博客里,散仙已经写了如何在Liunx上安装Hive以及如何与Hadoop集成和将Hive的元数据存储到MySQL里,今天散仙就来看下,如何在Eclipse里通过JDBC的方式操作Hive.我们都知道Hive是一个类SQL的框架,支持HSQL语法操作Hive,而Hive内部,会转成一个个MapReduce作业来完成具体的数据统计,虽然我们可以直接在Hive的shell里,向Hive发起命令
qindongliang1922
·
2014-08-04 20:00
eclipse
mapreduce
jdbc
hive
Eclipse+JDBC远程操作
Hive0.13
在前几篇的博客里,散仙已经写了如何在Liunx上安装Hive以及如何与Hadoop集成和将Hive的元数据存储到MySQL里,今天散仙就来看下,如何在Eclipse里通过JDBC的方式操作Hive.我们都知道Hive是一个类SQL的框架,支持HSQL语法操作Hive,而Hive内部,会转成一个个MapReduce作业来完成具体的数据统计,虽然我们可以直接在Hive的shell里,向Hive发起命令
qindongliang1922
·
2014-08-04 20:00
eclipse
mapreduce
jdbc
hive
Eclipse+JDBC远程操作
Hive0.13
在前几篇的博客里,散仙已经写了如何在Liunx上安装Hive以及如何与Hadoop集成和将Hive的元数据存储到MySQL里,今天散仙就来看下,如何在Eclipse里通过JDBC的方式操作Hive.我们都知道Hive是一个类SQL的框架,支持HSQL语法操作Hive,而Hive内部,会转成一个个MapReduce作业来完成具体的数据统计,虽然我们可以直接在Hive的shell里,向Hive发起命令
qindongliang1922
·
2014-08-04 20:00
eclipse
mapreduce
hive
jdbc
Eclipse+JDBC远程操作
Hive0.13
在前几篇的博客里,散仙已经写了如何在Liunx上安装Hive以及如何与Hadoop集成和将Hive的元数据存储到MySQL里,今天散仙就来看下,如何在Eclipse里通过JDBC的方式操作Hive.我们都知道Hive是一个类SQL的框架,支持HSQL语法操作Hive,而Hive内部,会转成一个个MapReduce作业来完成具体的数据统计,虽然我们可以直接在Hive的shell里,向Hive发起命令
qindongliang1922
·
2014-08-04 20:00
eclipse
mapreduce
jdbc
hive
Hive0.13
安装问题总结
继上篇文章Hive安装之后,本篇散仙就来总结下安装Hive过程中,出现的一些问题,以及解决方法。问题列表如下:序号问题1为何我配置的是MySQL存储hive元数据,但总是存储到它自带的Derby数据库里?2为何我的Hive总是以Local模式启动,而不能将作业提交到Hadoop集群上?3为何Hive在执行过程中,会报异常Container[pid=1436,containerID=containe
qindongliang1922
·
2014-07-29 21:00
hadoop
hive异常总结
Hive0.13
安装问题总结
继上篇文章Hive安装之后,本篇散仙就来总结下安装Hive过程中,出现的一些问题,以及解决方法。问题列表如下:序号问题1为何我配置的是MySQL存储hive元数据,但总是存储到它自带的Derby数据库里?2为何我的Hive总是以Local模式启动,而不能将作业提交到Hadoop集群上?3为何Hive在执行过程中,会报异常Container[pid=1436,containerID=containe
qindongliang1922
·
2014-07-29 21:00
hadoop
hive异常总结
上一页
1
2
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他