E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hiveql
Hive ACID 测试
在Hive0.14之前,
HiveQL
一直不支持insert、update、delete操作,这显然很不方便,尤其是在构建数据仓库的过程中,一个比较常见的例子是维度表经常需要更新某列,在Hive中需要更新历史所有数据
jiacai2050
·
2016-04-02 00:00
hadoop
hive
Hive学习之HiveServer2服务端配置与启动
在之前的学习和实践Hive中,使用的都是CLI或者hive–e的方式,该方式仅允许使用
HiveQL
执行查询、更新等操作,并且该方式比较笨拙单一。
vfgbv
·
2016-03-30 11:00
Spark生态系统项目
2、SparkSQL:可以执行SQL查询,包括基本的SQL语法和
HiveQL
语法。读取的
Wei-L
·
2016-03-20 21:52
Big
Data
Spark生态系统项目
2、SparkSQL:可以执行SQL查询,包括基本的SQL语法和
HiveQL
语法
LW_GHY
·
2016-03-20 21:00
spark
四 、Hive逻辑优化
4.1逻辑优化类型Hive逻辑优化包括以下几点:1)谓词下推谓词下推指的是将外层
HiveQL
的过滤表达式提前到内层
HiveQL
,以达到提前过滤,减少数据的处理量。如语句:selecta.*,b.
jiayuanv_127
·
2016-03-20 15:53
hive
三、 Hive 逻辑算子及其生成(上)
前一章本文介绍了Hive如何将
HiveQL
语言转换成抽象语法树(AST),本章将介绍Hive逻辑算子以及如何将AST转换成逻辑算子DAG图。
jiayuanv_127
·
2016-03-20 14:02
hive
二、 Hive语法树的生成
HiveQL
是一个非标准的sql语言,实现了sql的大部分规范,同时添加了一些hive独有的特性。Hive使用antlr3定义
HiveQL
语言。
jiayuanv_127
·
2016-03-17 09:30
hive
一、Hive介绍
Hive是一个构建在Hadoop之上的数据仓库,提供类似sql的查询语句
HiveQL
对数据进行分析处理。Hive将
HiveQL
语句转换一系列成MapReduce作业并执行。
jiayuanv_127
·
2016-03-16 09:41
hive
HiveQL
数据定义
Hive中的数据库 Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间。然而,对于具有很多组和用户的大集群来说,这时非常有用的,因为这样可以避免表命名冲突。通常会使用数据库来将生产表组织成逻辑组。 如果用户没有显式指定数据库,那么将会使用默认的数据库default。 下面这个例子就展示了如何创建一个数据库:hive>CREATEDATABASEfinancials; 如果数据库fi
universe_ant
·
2016-03-14 00:00
数据库
hive
数据
Hive--
HiveQL
:查询
4查询4.1select...from语句4.1.1基本操作select是SQL的射影算子,from子句标识了从哪个表、视图或嵌套查询中选择记录。回顾之前创建的employees表:hive(mydb)>createtableemployees(>namestring,>salaryfloat,>subordinatesarray,>deductionsmap,>addressstruct)>pa
Wang_AI
·
2016-03-11 09:14
Hive
Hive--
HiveQL
:查询
4 查询4.1 select...from语句4.1.1 基本操作 select是SQL的射影算子,from子句标识了从哪个表、视图或嵌套查询中选择记录。回顾之前创建的employees表:hive(mydb)>createtableemployees( >namestring, >salaryfloat, >subordinatesarray, >deductionsmap, >addres
Xw_Classmate
·
2016-03-11 09:00
hiveQL
Hive查询
Hive--
HiveQL
:数据定义、数据操作
2 数据定义2.1 Hive中的数据库(database) Hive中的数据库的概念本质上仅仅是表的一个目录或者命名空间。2.1.1查看所有数据库:showdatabases;hive(default)>showdatabases; 创建数据库:create database[ifnotexists];hive(default)>createdatabaseifnotexistsfinanc
Xw_Classmate
·
2016-03-11 09:00
hiveQL
Hive数据定义
Hive数据操作
Hive join操作小结
本篇对
HiveQL
中join、leftouterjoin、leftsemijoin和fullouterjoin等表连结操作作一简要总结。
ljp812184246
·
2016-03-01 15:00
sql
HQL
hive
Hive - hive.groupby.skewindata环境变量与负载均衡
HiveQL
去重操作和SQL一样,
HiveQL
中同样支持DISTINCT操作,如下示例:(1)SELECT count(DISTINCTuid)FROMlog(2)SELECTip,count(DISTINCTuid
·
2016-02-17 17:00
HQL
hive
负载均衡
Hive Learn Part01
Hive简介Hive提供了一个Hive查询语言
HiveQL
,查询转换为MapReducejob
blair
·
2016-02-15 00:00
hive
hadoop
《Hadoop:The Definitive Guide 4th Edition》Chapter 17 Hive——A部分
用户使用
HiveQL
(SQL语言的变种)语言与Hive框架进行互操作,Hive框架能够将你的
HiveQL
查询转换
DSLZTX
·
2016-02-01 23:00
java
mapreduce
hadoop
hive
文件系统
Hive-2.
HiveQL
查询中where和group by语句
1.WHERE语句查询英语成绩大于等于70的列表:selectname,ceil(salary)assalary,agefromemployeeswherescore['English']>=70;输出结果:namesalaryagewangwu1550020wangwu3840020wangwu4840020通过like语句可以模糊查看列表信息selectname,ceil(salary)ass
沈福利
·
2016-01-27 11:28
hive&Impala
Hive UDF教程(一)
HiveUDF教程(一)HiveUDF教程(二)HiveUDF教程(三)1.HiveUDF简介在Hive中,用户可以自定义一些函数,用于扩展
HiveQL
的功能,而这类函数叫做UDF(用户自定义函数)。
u010376788
·
2016-01-17 16:00
hive
udf
GenericUDF
ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n
阅读更多今天使用flume采集apacheaccesslog到hive表中,然后使用
hiveQL
进行日志分析,出现错误:需要修改1,HIVE_HOME/conf/hive-env.sh加上HADOOP_HOME
sungang_1120
·
2015-12-08 13:00
hadoop
hive
ClassNotFoundException: Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe n
今天使用flume采集apacheaccesslog到hive表中,然后使用
hiveQL
进行日志分析,出现错误: 需要修改1,HIVE_HOME/conf/hive-env.sh加上HADOOP_HOME
sungang_1120
·
2015-12-08 13:00
hadoop
hive
Hive_5. Hive QL -- Hive 查询优化
HiveQL
查询_1(翻译于《ProgramingHive》):http://flyingdutchman.iteye.com/blog/1869472
HiveQL
查询_2(翻译于《ProgramingHive
Mike_H
·
2015-12-03 15:45
Hive
hive load from hdfs出错
使用hive load从hdfs中load data的时候,
hiveql
如下: load data inpath 'hdfs://192.168.0.131:9000/hive/test.log
·
2015-11-13 16:56
hive
HiveQL
:对数据定义的学习
1.Hive中的数据库: 它是表的一个目录或者命名空间,用来避免表命名冲突,我们通常使用数据库来将生产表组织成逻辑组。 基本命令: (1)创建一个数据库(如果不存在该数据库): create database if not exists time; (2)查看Hive中所包含的所有数据库: show databases; 注:Hive会为每个数据库创建一个目录
·
2015-11-12 15:03
hive
Hive
Hive可以在HDFS上构建数据仓库来存储结构化数据,提供类似SQL的
HiveQL
,通过解析,
HiveQL
在底层被转换为相应的MapReduce操作。
·
2015-11-12 09:33
hive
Hive[5]
HiveQL
数据操作
5.1 向管理表中装载数据 Hive 没有行级别的数据插入更新和删除操作,那么往表中装载数据的唯一途径就是使用一种“大量”的数据装载操作,或者通过其他方式仅仅将文件写入到正确的目录下; LOAD DATA LOCAL INPATH '${env:HOME}/califonia-employees' OVERWRITE INOT TABLE em
·
2015-11-12 08:27
hive
Hive[4] 数据定义
HiveQL
HiveQL
是 Hive 查询语言,它不完全遵守任一种 ANSI SQL 标准的修订版,但它与 MySQL 最接近,但还有显著的差异,Hive 不支持行级插入,更新和删除的操作,也不支持事务,但 Hive
·
2015-11-12 08:26
hive
Spark SQL
它可以从原有的RDD创建,也可以是Parquet文件,最重要的是它可以支持用
HiveQL
从hive里面读取数据。 下面是一些案例,可以在Spark sh
·
2015-11-11 19:24
spark
Hadoop之hive安装过程以及运行常见问题
Hive简介 1、数据仓库工具 2、支持一种与Sql类似的语言
HiveQL
3、可以看成是从Sql到MapReduce的映射器 4、提供shall、Jdbc/odbc、Thrift、Web等接口
·
2015-11-11 17:19
hadoop
HiveQL
与SQL区别
转自:http://www.aboutyun.com/thread-7327-1-1.html 1、Hive不支持等值连接 SQL中对两表内联可以写成:select * from dual a,dual b where a.key = b.key; Hive中应为:select * from dual a join dual b on a.key =
·
2015-11-11 16:17
hive
Hive[6]
HiveQL
查询
6.1 SELECT ... FROM 语句 hive> SELECT name,salary FROM employees; --普通查询 hive>SELECT e.name, e.salary FROM employees e; --也支持别名查询
·
2015-11-11 09:44
hive
sparkSQL学习
参考:spark官方中文文档1、综述1.1版本 SparkSQL允许在Spark中执行使用SQL,
HiveQL
或Scala表示的关系型查询。核心组件为一个新类型的RDD--SchemaRDD。
wangqiaowqo
·
2015-11-09 15:00
hadoop 基础视频1
大数据存储实战4,Map-Reduce 体系架构5,Map-Reduce 数据分析之一 API 实战6,HBase 体系架构与安装7.HBase数据分析与建模,实战案例剖析8.Hive体系架构安装与
HiveQL
·
2015-11-08 10:26
hadoop
hive的基本原理
驱动(Driver )- 控制
HiveQL
生命周期的组件,当
HiveQL
查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。 查询编译器(Query Compile
·
2015-11-07 13:49
hive
HiveQL
使用和数据加载的一点总结
Hive 是facebook开源的一个基于hadoop框架的查询工具,也就是说,需要用hive的话,就要先安装hadoop。这次是小结一下最近用hive的心得,经验分享。hadoop和hive,pig,hbase的安装配置以后专门另开个连载说比较好。 所以,我假设你已经有hive了。 1.字段的数据类型。 hive实际上为了数据挖掘的需要,对hive表
·
2015-10-31 15:08
hive
移动分发端 基础统计指标经典业务代码节选--二次激活用户
二次激活的俩种定义:(以下的实现主要是
hiveQL
实现)第一种定义--二次激活 在首次登陆日期后的30天内有登陆的用户 from log_db.login_etl insert overwrite table
osenlin
·
2015-10-29 11:00
Hadoop相关基础知识
我们可以通过外壳环境与Hive进行交互,向它发送
HiveQL
(SQL的一种方言)命令。Hive把
HiveQL
转换为一系列在Hadoop集群上运行的MR作业。
·
2015-10-28 08:56
hadoop
HiveQL
详解
HiveQL
是一种类似SQL的语言, 它与大部分的SQL语法兼容, 但是并不完全支持SQL标准, 如
HiveQL
不支持更新操作, 也不支持索引和事务, 它的子查询和join操作也很局限, 这是因其底层依赖于
·
2015-10-23 08:57
hive
HiveQL
学习
1.当hive执行join内存溢出时,可以修改hive的配置文件hive-site.xml,增大内存,如下: < property > < name >mapred.child.java.opts< /name > < value >-Xmx 1024m < /value > < /property >
·
2015-10-23 08:04
hive
Programming Hive笔记
0.
HiveQL
不完全兼容PL-SQL,T-SQL,ANSI-SQL,既有大多数ANSI-SQL语法特征,也有类似T-SQL的case-when-then用法.差异之处部分如存在ANSI-SQL不允许的判断相等的
storyeah
·
2015-10-15 00:00
hive、Hasee、pig区别.docx
你可以用
HiveQL
进行select,join,等等操作。如果你有数据仓库的需求并且你擅长写SQL并且不想写MapReducejobs就可以用Hive代替。
hiqj
·
2015-09-10 12:00
提高hive性能的一些
hiveql
的建议
1,/*+streamtable()*/标识哪张是大表,有利于查询优化器和/*+mapjoin()*/类似的优化2,hive建立索引减少mapreduce输入的数据量3,explain可以解释
hiveql
osenlin
·
2015-09-01 23:00
HIVEQL
一之基础
1、安装条件:hadoop,java。hive--version:2.0+。参考安装文档:ubuntu12.04http://www.powerxing.com/install-hadoop/mac下:http://blog.csdn.net/yechaodechuntian/article/details/44312343http://www.4wei.cn/archives/1002340ht
storyeah
·
2015-08-31 23:00
hive与hbase集成
这个功能允许
HiveQL
命令访问HBase表,进行读(select)、写(insert)操作。它甚至可以基于join、union操作对hbase表和hive原生的表进行混合访问。
bluejoe2000
·
2015-08-20 20:00
当hive和hbase整合之后,执行hql,提示找不到类。
当hive和hbase整合之后,执行
hiveql
启动运行task时,提示java.lang.ClassNotFoundException,首先考虑下面这种情况:在hive-site.xml中的hive.aux.jars.path
cjun1990
·
2015-07-27 17:00
Hive性能调校
设置hive.map.aggr=true,提高
HiveQL
聚合的执行性能。这个设置可以将顶层的聚合操作放在Map阶段执行,从而减轻清洗阶段数据传输和Reduce阶段的执行时间,提升总体性能。
yanhan_huang
·
2015-07-08 17:00
hive
性能优化
SemanticException Column xx Found in more than One Tables/Subqueries
执行
hiveql
时报错:SemanticExceptionColumnxxFoundinmorethanOneTables/SubqueriesHive中有两张表中拥有同一个字段名称,在这两个表做关联的时候会报这个错误将其中一个表的重复字段加上别名
巧克力�\
·
2015-07-01 18:47
hive
one
more
than
SemanticException Column xx Found in more than One Tables/Subqueries
执行
hiveql
时报错:SemanticExceptionColumnxxFoundinmorethanOneTables/SubqueriesHive中有两张表中拥有同一个字段名称,在这两个表做关联的时候会报这个错误将其中一个表的重复字段加上别名
巧克力�\
·
2015-07-01 18:47
hive
one
more
than
HIVEQL
HiveQL
详解
HiveQL
是一种类似SQL的语言,它与大部分的SQL语法兼容,但是并不完全支持SQL标准,如
HiveQL
不支持更新操作,也不支持索引和事务,它的子查询和join操作也很局限,这是因其底层依赖于
刀刀_高扬
·
2015-06-23 16:52
hive
语法
hiveQL
SparkSQL基础应用(1.3.1)
SparkSQL是Spark框架中处理结构化数据的部分,提供了一种DataFrames的概念,同时允许在Spark中执行以SQL,
HiveQL
或Scala表示的关系型查询语句。
lsshlsw
·
2015-06-09 14:00
sql
spark
spark
dataFrame
hive sql join
本篇对
HiveQL
中join、leftouterjoin、leftsemijoin和fullouterjoin等表连结操作作一简要总结。
greahuang
·
2015-06-08 16:29
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他