HiveQL

Hive安装

一、简介hive是用类SQL语句（HiveQL）来实现对hadoop下的数据管理。
码农道路深似海·2020-09-14 07:58

Hive_5. Hive QL -- Hive 查询优化

HiveQL查询_1(翻译于《ProgramingHive》)：http://flyingdutchman.iteye.com/blog/1869472HiveQL查询_2(翻译于《ProgramingHive
Mike_H·2020-09-13 11:12

SemanticException Column xx Found in more than One Tables/Subqueries

SemanticExceptionColumnxxFoundinmorethanOneTables/Subqueries执行hiveql时报错：SemanticExceptionColumnxxFoundinmorethanOneTables
哪有天生的学霸，一切都是厚积薄发·2020-09-12 06:05

大数据下的Distinct Count（一）：序

例如，查看一周内app的用户分布情况，Hive中写HiveQL实现：selectapp,count
小狼_百度·2020-09-11 11:39

Kettle构建Hadoop ETL实践（三）：Kettle对Hadoop的支持

Hive3.连接Impala4.建立MySQL数据库连接三、导入导出Hadoop集群数据1.向HDFS导入数据2.向Hive导入数据3.从HDFS抽取数据到MySQL4.从Hive抽取数据到MySQL四、执行HiveQL
wzy0623·2020-09-11 06:37

Spark SQL与Hive On MapReduce速度比较

今天就拿基于Spark的SparkSQL和基于MR的Hive比较一下，因为SparkSQL也兼容了HiveQL，我们就可以通过运行相同的HiveQL语句，比较直观的看出到底快多少了。
mishidemudong·2020-09-11 04:51

【Hive】Hive编程指南（Part 2）

第五章HiveQL：数据操作向管理表中装载数据LOADDATALOCALINPATH'${env:HOME}/california-employees'OVERWRITEINTOTABLEemployeesPARTITION
玉衡瑶光·2020-08-25 17:32

大数据——Hive(数据仓库工具)

Hive提供类似SQL的HiveQL的数据处理功能，Hive将HiveQL语句转换成MapReduce程序交给Hadoop集群处理。为什么要用Hive？M
小生浩浩·2020-08-25 06:51

详解Hive-CliDriver续——细读Hive源码（三）

在进入executeDriver之前，我们可以认为Hive处理的是用户进入Hive程序的指令，到此用户已经进入了Hive，Cli的Driver将不断读取用户的HiveQL语句并解析，提交给Driver。
wotkk·2020-08-24 18:04

Hive的原理—— 深入浅出学Hive

将转换为多少道MR作业•怎么样加快Hive的执行速度•编写HiveHQL的时候我们可以做什么•Hive怎么将HQL转换为MR作业•Hive会采用什么样的优化方式Hive架构&执行流程Hive执行流程•编译器将一个HiveQL
快乐程序员·2020-08-24 14:41

HiveQL执行过程

参考之前的博客：https://blog.csdn.net/liweihope/article/details/89740863Hive是基于hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并且提供SQL查询。讲SQL语句转换成MapReduce任务进行运行，实现简单的MapReduce统计，不必开发专门的MapReduce程序。hive的设计是为了减轻MapReduce的开发
liweihope·2020-08-24 01:30

解析Hive复杂字段2--UDF

HiveUDF在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数）。UDF分为两大类：UDAF（用户自定义聚合函数）
风筝flying·2020-08-23 17:57

Linkis 0.9.2 版本发布

是微众银行自研的一个打通了多个计算存储引擎如：Spark、TiSpark、Hive、Python和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行SQL、Pyspark、HiveQL
伊豚·2020-08-23 10:47

20190727-Hive环境搭建

Hive可以在HDFS上构建数据仓库存储结构化数据，这些数据来源就是hdfs上，hive提供了一个类似sql的查询语言HiveQL来进行查询、变换数据等操作。当然Hi
陈海军_cad0·2020-08-23 06:30

SparkSQL数据源之Hive数据库

包含Hive支持的SparkSQL可以支持Hive表访问、UDF(用户自定义函数)以及Hive查询语言(HiveQL/HQL)等。
大数据小同学·2020-08-23 03:49

sparkSQL1.1入门之六：sparkSQL之基础应用

SchemaRDD可以通过RDD、Parquet文件、JSON文件、或者通过使用hiveql查询hive数据来建立。
mmicky20110730·2020-08-22 21:06

elasticsearch 与 hive集成

hive是一个基于hdfs的数据仓库，方便使用者可以通过一种类sql(HiveQL)的语言对hdfs上面的打数据进行访问，通过elasticsearch与hive的结合来实现对hdfs上面的数据实时访问的效果
rolin-刘瑞·2020-08-20 14:40

elasticsearch 与 hive集成

hive是一个基于hdfs的数据仓库，方便使用者可以通过一种类sql(HiveQL)的语言对hdfs上面的打数据进行访问，通过elasticsearch与hive的结合来实现对hdfs上面的数据实时访问的效果
JokerCao·2020-08-20 14:01

Hive性能调校

1.设置hive.map.aggr=true，提高HiveQL聚合的执行性能。这个设置可以将顶层的聚合操作放在Map阶段执行，从而减轻清洗阶段数据传输和Reduce阶段的执行时间，提升总体性能。
维尼弹着肖邦的夜曲·2020-08-18 12:18

Spark SQL：Hive数据源复杂综合案例实战

HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。
weixin_34390996·2020-08-18 12:36

8.Spark SQL：Hive数据源实战

HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。
十点进修·2020-08-18 12:29

HiveQL中如何排查数据倾斜问题

如果某个key下记录数远超其他key，在join或group的时候可能会导致某个reduce任务特别慢。本文分析下join的场景。本例子SQL如下：查询每个appid打开的次数，需要排除掉作弊的imei。说明：表cheat_imei，7500万条，无大key，为作弊的imei。表imei_open_app，5亿6526万条，为每个imei打开的appid。该表中存在大key，md5imei=54b
午后的红茶meton·2020-08-18 12:48

Hive数据倾斜

当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。
cbh_sbj·2020-08-18 11:57

SparkSql概述

事实上的标准2.易学易用3.受众面大Shark：HIveontezHiveonmapreduceHiveonSparkshark推出：欢迎，基于spark，基于内存的列式存储，与hive能够兼容缺点：hiveql
慧有未来·2020-08-18 11:34

数据倾斜

1.数据倾斜是进行大数据计算时，最常遇到的问题之一，当我们在执HiveQL或者运行ＭＲ作业时，如果遇到一直卡在map100%,reduce99%,最后的1%花了几个小时都没有跑完，这种情况一般就是遇到了数据倾斜的问题
哪有天生的学霸，一切都是厚积薄发·2020-08-18 11:02

HiveQL的DDL操作（二）——创建、分区、查询、修改、删除表

DDL（datadefinitionlanguage）数据库定义语言：关键词：create、select、alter、drop，对表的操作。这篇博文主要详细整理了Hive中对于数据表的常用基本操作，创建一个demo表进行演示。目录一、创建表1.1创建表的完整语法及字段解释1.2管理表（内部表）（1）普通创建表（2）根据查询结果创建表（createtable~asselect*from~）（3）根据
攻城狮Kevin·2020-08-18 10:11

Spark SQL之Hive数据源实战

saveAsTable命令四：查询分数大于80分的学生的完整信息一：HiveContext与SQLContext的区别HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL
威少SOS·2020-08-18 10:29

Hive解析HiveQL语句生成抽象语法树和逻辑计划

试了下解析TPCH里面的Q9，解释如下：hive>explaininsertoverwritetableq9_product_type_profit>select>nation,o_year,sum(amount)assum_profit>from>(>select>n_nameasnation,year(o_orderdate)aso_year,>l_extendedprice*(1-l_dis
Aragorn_XH·2020-08-15 02:58

Hive之 hive架构

元数据metadata存储，通常是存储在关系数据库如mysql,derby中的系统参数底层驱动：包括HiveQL解释器、编译器、优化器、执行器（引擎）。Hadoop：用HDFS进行存储，利用Ma
张冲andy·2020-08-14 22:29

Hive

Hive所使用的语言HiveQL是一种类似SQL的语言,它与大部分的SQL语法兼容,但是并不完全支持SQL标准,如HiveQL不支持更新操作,也不支持索
weixin_30700099·2020-08-14 20:09

HiveSQL常用优化方法全面总结

对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。列裁剪和分区裁剪最基本的操作。所谓列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。
jiedaodezhuti·2020-08-14 17:34

Hive两种模式安装

支持一种与SQL几乎完全相同的语言HiveQL，除了不支持更新、索引和事务。可以看成是从SQL到Map-Reduce的映射器。提供shell、JDBC/ODBC、thrift、Web等接口。
bingdongguke1·2020-08-14 16:34

HiveQL--随机生成日期

随机生成从某年某月某日到某年某月某日的日期例如随机生成从‘2017-05-01’到‘2018-05-31’的日期，可以使用如下HiveSql语句：selectid_card_no,card_name,date_add('2017-05-01',cast(rand()*396asint))asback_timefromshabi.testgroupbyid_card_no,card_name这里需要
Sun_Sherry·2020-08-14 01:55

【转】基于Hadoop的数据仓库Hive 基础知识

zhuanlan.zhihu.com/p/25608332Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL
曳落·2020-08-13 23:33

HiveSQL优化总结

对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。
Share-Get·2020-08-11 23:10

【Hive】性能调优 - EXPLAIN

Hive版本:hive-1.1.0-cdh5.14.2用户提交HiveQL查询后，Hive会把查询语句转换为MapReduce作业。
NextAction·2020-08-11 20:50

关于HiveQL的常用语法总结(二)——DML

本节，应该是数据库作业中使用最频繁的内容，也是至为重要的一节。但是也不必紧张，无非就是增删改查，重点在于查，为什么呢？在大数据时代，最重要的两个主题是分析和挖掘。无论是分析还是挖掘，其基础都是有数据可依据，那么就需要将目标数据查找出来，因此这是最基础的一步，当然也就是用的最多的一步。本节主要讲四个方面：导入数据，插入数据，删除数据，查询数据。1、导入数据一般来说,在SQL创建表后,我们可以使用in
pends·2020-08-11 05:08

兄台别走，带您去看Hadoop和Spark的不同！！！

SparkSql–运行在Spark上的SQL查询语句，支持一系列SQL函数和HiveQL。但是还不是很成熟，所以不要在生产系统中使用；而HiveQL集成了需要的hive元数据和Hive相关的jar包。
我还有大把的头发·2020-08-11 05:21

Hive HiveQL基础知识及常用语句总结

https://blog.csdn.net/u012386109/article/details/78214894https://blog.csdn.net/u010385646/article/details/53167707基础语句CREATEDROP建表、删表建表----------------------------------------1.直接建表-------------------
hlang8160·2020-08-11 05:10

基于Hadoop的数据仓库Hive基础知识

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive
anningzhu·2020-08-11 05:54

Hive从入门到放弃——HiveQL表级别DDL设计的艺术性（五）

HiveQL数据库中的表DDL操作  博客Hive从入门到放弃——HiveQL数据库级别DDL设计的艺术性（四）聊完了数据库的基本操作，我们再来聊聊Hive内表的操作。
╭⌒若隐_RowYet·2020-08-10 06:06

Hive从入门到放弃——Hive优化实践（十六）

另外一点，其实之所以需要优化，基本的本质原因是因为数据倾斜导致的，HiveQL的各种优化方法基本都和数据倾斜密切相关，说白了就
╭⌒若隐_RowYet·2020-08-10 06:06

大二暑假第六周总结--开始学习Hadoop基础（五）

是一个构建于Hadoop顶端的数据仓库工具支持大规模数据存储，分析，具有良好的可扩展性某种程度上可以看做是用户编程接口，本身不存储和处理数据依赖分布式系统HDFS存储数据定义了简单的类似SQL的查询语言——HIVEQL
weixin_30781775·2020-08-04 04:16

spark sql 执行流程

SparkSQL支持在Spark中执行SQL,或者HiveQL的关系查询表达式。列式存储的类RDD（DataSet/Dat
大数据系统工程师·2020-08-02 21:40

Hive学习之Hive数据库DDL

虽然本人对SQL有一定的了解，但绝不敢自称熟悉SQL，所以准备对HiveQL进行深入的学习，按照SQL通常的学习曲线，先学习DDL，再学习DML（数据操作语言）。
skyWalker_ONLY·2020-08-02 13:11

Hive之自定义函数UDF使用&实现时间段转小时批次demo

maven项目2.上传jar包到hdfs上3.创建函数4.使用函数0.需求来源最近，接到这么一个需求，需要统计用户在一天中的各个时间段（比如02:00-09:00点）的电影播放时长，评估了一下需求，使用hiveql
iayay222·2020-08-01 12:07

Spark Sql-Sql on Hive

对hive的hiveql也提供了良好的支持。本章主要介绍spark如何对hql进行支持的。
raincoffee·2020-08-01 00:17

cdh5版本中的oozie hive action使用及踩坑集锦

本来的出发点是想做一个能够提交hiveql的web接口，然后我可以在接口层面做很多定制的功能，于是开始找hiverestful接口相关的信息，发现Hive有个webhcat服务，可以提交hiveql然后还可以将输出写入到指定的
xiao_jun_0820·2020-07-31 11:27

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask错误，Hive是基于hadoop的封装,所有,hive在执行hiveql
陈沅龙·2020-07-30 17:36

ParseException line 20:7 Failed to recognize predicate 'timestamp'. Failed rule: 'identifier' in tab

今天在执行hiveql时，突然出现了这个错误，之前没遇到过。就自己在网上找原因，看了几篇回复都是不搭边的，都不想继续了，不过也给自己了个思路，有一篇英文贴是有效的。
星月情缘02·2020-07-30 05:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他