HiveQL

Hive wordcount

一使用HiveCLI(old)命令行工具操作HiveQL进入hivecli[root@master/]#hive创建统计表hive>createtablewctest(line，contentstring
天堂宝宝_V·2020-02-16 03:00

[大数据技术原理与应用笔记]第八讲.数据仓库Hive

8.2Hive简介Hive利用了HDFS的分布式文件系统存储数据，利用MapReduce分布式并行计算模型处理数据.提供HiveQL运行具体的MapReduce任务两个特性:(1).采用批处理的方式处理海量数据
自然语言不理解·2020-02-14 05:56

HiveQL 数据定义:分区

分区•建立分区表•增加分区•重命名分区•删除分区hive组织表到分区。它是将一个表到基于分区列，如日期，城市和部门的值相关方式。使用分区，很容易对数据进行部分查询。表或分区可以细分成桶，以提供额外的结构，可以使用更高效的查询的数据。桶的工作是基于表的一些列的散列函数值。例如，一个名为Tab1表包含雇员数据，如id,name,dept和yoj(即加盟年份)。假设需要检索所有在2012年加入，查询搜索
无敌的肉包·2020-02-13 07:27

##常用HiveQL总结

常用HiveQL总结-Treant-博客园http://www.cnblogs.com/en-heng/p/5513176.html最近在用Hive做多维数据分析，总结一些常用HiveQL命令。
葡萄喃喃呓语·2020-02-02 15:35

Hive的入门知识

使用HiveQL
日出卡尔·2020-01-08 17:25

026 HiveQL Select – Order By Query

1.OrderByQuery–ObjectiveInlastApacheHiveTutorial,westudyHiveGroupByQueryindetail,inthistutorialwestudytoretrievethedetailsbasedononecolumnandsorttheresultsetbyascendingordescendingorderweusetheHiveQLS
胡巴Lei特·2020-01-06 05:41

从0开始学大数据-Hive性能优化篇

在工作中使用hive比较多，也写了很多HiveQL。这里从三个方面对Hive常用的一些性能优化进行了总结。
digger30·2020-01-04 17:17

Spark SQL 使用指北

从Shark说起Shark即HiveonSpark，为了实现与Hive兼容，Shark重用了Hive中的HiveQL解析，以近似认为仅从MapRed
博弈史密斯·2019-12-31 00:51

70、Spark SQL之Hive数据源复杂综合案例实战

HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。
ZFH__ZJ·2019-12-26 20:39

原创|Linux|CentOS|Hive|安装详解

排版：简单二、Hive介绍Hive是构架在hadoop之上的数据仓库工具，提供简单的sql查询功能，被称为HiveQL或HQL，然后将sql语
Hill_GM·2019-12-25 01:35

基于Hadoop的数据仓库Hive 基础知识

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive
番茄吵西红柿·2019-12-22 18:49

大数据专题--Hive 与 impala

Hive定义了简单的类SQL查询语言，称为HQL，通过编写HiveQL语句，运行具体的MapReduce任务。2、特征：1）采用批处理方式处理海量数据。2）提供了ETL工具。3、Hive架构：Hive
zhang_12b6·2019-12-21 07:53

HiveQL查询操作全解(五):正则表达式

hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。1.regexp语法:AREGEXPB操作类型:strings描述:功能与RLIKE相同selectcount(*)fromolap_b_dw_hotelorder_fwherecreate_date_widnotregexp'\\d{8}'与下面查询的效果
文哥的学习日记·2019-12-19 22:43

HiveQL 行列转换样例

列转行数据文件内容player.txt詹姆斯|小皇帝|2003|骑士,热火,湖人|3保罗|三炮|2005|黄蜂,快船,火箭|0韦德|闪电侠|2003|热火,骑士,公牛|3安东尼|甜瓜|2003|掘金,尼克斯,雷霆,火箭|0需求内容将选秀年份相同且冠军数量相同的球员姓名用+拼接展示2003,0|安东尼2003,3|詹姆斯+韦德2005,0|保罗涉及函数解析CONCAT_WSCONCAT(string
云之君兮鹏·2019-12-15 18:57

《Hive编程指南》最新版pdf

pan.baidu.com/s/1NU7Ec14iNMIuRQZ_h82gzA提取码：q4u6内容简介《Hive编程指南》是一本ApacheHive的编程指南，旨在介绍如何使用Hive的SQL方法——HiveQL
数十亿少女的梦·2019-12-15 07:01

Hive权威指南读书笔记0002

第5章HiveQL数据操作在上一章中介绍了HiveQL的数据定义部分，所谓数据定义就是对数据库中表结构的增删改查；而数据操作则是关注对数据库中表的数据的操作，即如何装载数据到表中，如何从这些表中查询想要的数据
jackLee·2019-12-13 01:54

常用HiveQL

1、在命令行提示符前显示操作的数据库：hive>sethive.cli.print.current.db=true;2、查询结果显示字段名称：hive>sethive.cli.print.header=true;3、执行shell命令：hive>!ls;4、执行dfs命令：hive>dfs-ls;5、hive脚本中，--表示注释，在命令行中不能使用6、数据类型转换：hive>cast(sasint
宾果go·2019-12-04 11:26

HiveQL查询操作全解(七):union详解

1.union语法select_statementUNION[ALL|DISTINCT]select_statementUNION[ALL|DISTINCT]select_statement...UNION将多个SELECT语句的结果集合并为一个独立的结果集。当前只能支持UNIONALL(bagunion)。不消除重复行。每个select语句返回的列的数量和名字必须一样，否则，一个语法错误会被抛出
文哥的学习日记·2019-11-04 10:53

HiveQL详解与SQL区别

1.hive内联支持什么格式？2.分号字符注意什么问题？3.hive中empty是否为null?4.hive是否支持插入现有表或则分区中？5.hive是否支持INSERTINTO表values（）？1、Hive不支持等值连接•SQL中对两表内联可以写成：•select*fromduala,dualbwherea.key=b.key;•Hive中应为•select*fromdualajoindual
三万_chenbing·2019-10-31 04:03

Hive零基础从入门到实战 进阶篇（二十） Hive常用调优

目录前言1.HiveQL实现流程优化1.1使用withas语法1.2分区剪裁与列剪裁1.3where条件中尽量不要加函数1.4函数不要嵌套太多层1.5在每一个子查询中使用groupby去重1.6join
风影楼前·2019-10-11 14:03

数据仓库Hive编程——HiveQL的数据操作（一）：向管理表中装载数据

在《HiveQL的数据定义（四）：分区表和管理表》中我们已经看到了一个如何装载数据到管理表中的例子，这里我们稍微对其增加些内容重新进行展示。
洪远·2019-09-26 19:14

Hive零基础从入门到实战 进阶篇（十九） HiveQL：随机抽样

目录前言1.什么是随机抽样2.Hive实现简单随机抽样（不放回）2.1语法2.2举例前言当数据量非常大的时候，对全体数据进行处理存在困难时，我们可能需要通过随机抽样其中的一部分数据，来代表总体进行分析。本文介绍如何使用Hive对数据集进行随机抽样。1.什么是随机抽样随机抽样就是调查对象总体中每个部分都有同等被抽中的可能，是一种完全依照机会均等的原则进行的抽样调查，被称为是一种“等概率”，保证样本具
风影楼前·2019-09-26 19:37

Hive零基础从入门到实战 进阶篇（十八） HiveQL：开窗函数（偏移关联）

目录前言1.偏移关联的开窗函数表2.函数功能演示2.1lag(col,n,default)2.2lead(col,n,default)2.3first_value(col)2.4last_value(col)前言本文接续上文介绍第四类开窗函数：用于偏移关联的开窗函数。共有4种，分别是：lag、lead、first_value、last_value。1.偏移关联的开窗函数表函数名功能描述lag(co
风影楼前·2019-09-23 10:15

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL
heibaiying·2019-09-23 08:38

Hive学习

Hive学习摘要本文是一片Hive综述文章，包括Hive的安装、基本概念、架构、运行原理、查询语句、UDF、调优等未完成1基本概念2架构3运行原理4HiveQL5UDF6调优请参见Hive-调优好文推荐参考文档
迷路剑客·2019-09-17 16:54

Hive（一）调优

Hive-调优HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转化为MapReducejob。
做一只精致IT小白·2019-09-17 14:28

Hive零基础从入门到实战 进阶篇（十七） HiveQL：开窗函数（层次查询）

目录前言1.层次查询的开窗函数表2.函数功能演示2.1ntile(n)2.1.1举例2.1.2应用场景2.2cume_dist()前言本文接续上文介绍第三类开窗函数：用于层次查询的开窗函数。共有三种，分别是：ntile()、cume_dist()、percent_rank()。第一个最常用，第二个很少用到，第三个完全没有见过应用场景。所以本文主要介绍ntile()和cume_dist()的语法含义
风影楼前·2019-09-12 18:35

Hive零基础从入门到实战 进阶篇（十六） HiveQL：开窗函数（组内排序）

目录前言1.组内排序的开窗函数表2.函数功能演示2.1row_number()2.1.1应用场景1：生成排序后的唯一序号2.1.2应用场景2：取topn2.1.3应用场景3：每个分组内取出n个随机值2.2rank()2.3dense_rank()前言上篇博客介绍了Hive中用于累计统计的开窗函数，本文接续上文介绍第二种：用于组内排序的开窗函数。用于组内排序的开窗函数使用频率远高于其他开窗函数，因为
风影楼前·2019-09-10 09:10

Hive零基础从入门到实战 进阶篇（十五） HiveQL：开窗函数（累计统计）

目录前言1.什么是开窗函数2.开窗函数语法3.开窗函数分类4.组内累计统计开窗函数4.1累计求和sum(xx)over4.2累计求平均值avg(xx)over4.3累计求最大值max(xx)over4.4累计求最小值min(xx)over前言从本文开始介绍Hive中开窗函数系列。这类函数叫法很多，包括分析函数、窗口函数、开窗函数、分析窗口函数，其实说的都是一类函数，本系列博客后续均采用开窗函数的命
风影楼前·2019-09-05 15:46

Hive实验5：查看Hql执行计划及关键步骤说明

1、查看执行计划方法语法：explain[extended]Hiveql;/*例子：*/explainselectcount(distinctmobilename)fromtesttab_small;2
英雄史诗·2019-09-04 11:03

Hive零基础从入门到实战 进阶篇（十四） HiveQL：高级聚合函数 grouping sets、cube、rollup

目录前言1.指定维度组合进行聚合groupingsets2.所有维度组合进行聚合cube3.最左侧的维度为主进行层级聚合rollup前言本文介绍Hive中的三种高级聚合函数，分别是groupingsets、cube、rollup。1.指定维度组合进行聚合groupingsetsgroupingsets用于在一个groupby查询中，根据不同的维度组合进行聚合，等价于将不同维度的groupby结果集
风影楼前·2019-09-03 23:58

Hive零基础从入门到实战 进阶篇（十三） HiveQL：集合函数

目录前言1.集合函数表2.可以处理array格式的函数3.最终返回array格式的函数4.集合函数功能演示4.1size(Array)4.2array_contains(Array,value)4.3sort_array(Array)前言Hive中的集合函数是一些专门为array、map等数据格式的数据设计的函数。本文除了介绍集合函数外，还会盘点一下Hive中其他能够处理或者最终返回array格式
风影楼前·2019-08-28 12:23

【大数据】Java同学入门Hive编程 —— 简介和入门操作

【一】简介对于日常的数据需求来说，熟悉Hive是一项必备的技能，因为很多日常的数据导出是不需要Spark任务的，跑一个HiveQL就可以完成，但秉承着知其然还要知其所以然的目的，我们首先来了解一下Hive
陌北有棵树·2019-08-23 15:27

Hive零基础从入门到实战 进阶篇（十二） HiveQL：表生成函数（行转列）

目录前言1.表生成函数表2.函数功能演示2.1explode(ARRAY)2.2explode(MAP)2.3posexplode(ARRAY)2.4stack(INTn,v_1,v_2,...,v_k)2.5json_tuple(jsonStr,k1,k2,...)2.6parse_url_tuple(url,p1,p2,...)3.表生成函数必备：lateralview3.1lateralvi
风影楼前·2019-08-22 09:05

HiveQL数据抽样Sample查询

当数据量很大时，需要查找一个数据的子集用于加快数据的分析，这种技术就是抽样技术。Hive中，数据抽样分为以下三种：随机抽样；桶表抽样；块抽样；1随机抽样语法结构使用Rand（）和LIMIT关键字得到抽样数据，Distribute和Sort关键字确保数据在mappers和reducers之间高效的随机分布，也可以使用orderbyrand（）实现，但是性能不好。语法：SELECT*FROMDISTR
BabyFish13·2019-08-19 16:01

大二暑假第六周总结--开始学习Hadoop基础（五）

是一个构建于Hadoop顶端的数据仓库工具支持大规模数据存储，分析，具有良好的可扩展性某种程度上可以看做是用户编程接口，本身不存储和处理数据依赖分布式系统HDFS存储数据定义了简单的类似SQL的查询语言——HIVEQL
HEIYANG·2019-08-19 15:00

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL
黑白影·2019-08-12 07:00

数据仓库Hive编程——HiveQL的数据定义（六）：修改表

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：HiveQL的数据定义（一）：Hive中的数据库HiveQL的数据定义（二）：修改数据库HiveQL的数据定义（三）：创建表HiveQL的数据定义
洪远·2019-08-08 00:00

数据仓库Hive编程——HiveQL的数据定义（三）：创建表

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：HiveQL的数据定义（一）：Hive中的数据库HiveQL的数据定义（二）：修改数据库HiveQL的数据定义（三）：创建表HiveQL的数据定义
洪远·2019-08-08 00:00

数据仓库Hive编程——HiveQL的数据定义（五）：删除表

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：HiveQL的数据定义（一）：Hive中的数据库HiveQL的数据定义（二）：修改数据库HiveQL的数据定义（三）：创建表HiveQL的数据定义
洪远·2019-08-08 00:00

数据仓库Hive编程——HiveQL的数据定义（四）：分区表和管理表

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：HiveQL的数据定义（一）：Hive中的数据库HiveQL的数据定义（二）：修改数据库HiveQL的数据定义（三）：创建表HiveQL的数据定义
洪远·2019-08-08 00:00

Hive零基础从入门到实战 进阶篇（十一） HiveQL：列转行函数

目录前言1.什么是列转行2.涉及函数2.1concat_ws(stringSEP,array)2.2collect_set(col)2.3collect_list(col)3.列转行举例3.1去重列转行3.2不去重列转行前言本文来介绍，在Hive中如何实现列转行的操作。1.什么是列转行假设Hive表中有两列数据，数据形式如下：a1a2a3a3b4b5b6b6现希望将展现形式改为下面这种，依旧是两列
风影楼前·2019-08-07 09:20

hive explain详解

HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转化成Mapreducejob。
Alwaysdazz·2019-08-03 23:40

Hive零基础从入门到实战 进阶篇（十） HiveQL：分位数（中位数）函数

目录前言1.什么是分位数2.分位数函数表3.函数功能演示3.1分位数函数:percentile3.1.1percentile(BIGINTcol,p)3.1.2percentile(BIGINTcol,array(p1[,p2]…))3.2近似分位数函数:percentile_approx3.2.1percentile_approx(DOUBLEcol,p[,B])3.2.2percentile_
风影楼前·2019-08-01 20:07

Hive零基础从入门到实战 进阶篇（九） HiveQL：相关系数函数

目录前言1.什么是相关系数1.1定义1.2性质1.3适用范围1.4缺点2.相关系数函数2.1函数功能2.2举例前言本文来介绍相关系数的含义以及Hive中如何使用计算相关系数的函数。1.什么是相关系数1.1定义相关系数(Correlationcoefficient)是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母r表示。由于研究对象的不同，相关系数有多种定义方式
风影楼前·2019-08-01 09:42

Hive大数据分析

一、What1、什么是HiveHive是底层封装了Hadoop的数据仓库处理工具，存在的目的是让精通SQL的分析师能够对存放在HDFS上的大规模数据集执行查询，它在工作站上运行时，将用户的HiveQL语句通过解释器转换为
顾扬已被使用·2019-07-29 20:05

Hive零基础从入门到实战 进阶篇（八） HiveQL：方差、协方差函数

目录前言1.方差、协方差函数表2.名词解释2.1方差、标准差2.2无偏样本方差、无偏样本标准差2.3总体协方差、样本协方差3.函数功能演示3.1方差与无偏方差3.2总体协方差与样本协方差前言在入门篇（十五）中我们已经介绍过常用的简单聚合函数，后续几篇博文我们会逐一介绍其他功能更加强大的聚合函数。本文来介绍Hive中的方差、标准差函数。1.方差、协方差函数表返回类型函数名描述DOUBLEvarian
风影楼前·2019-07-26 09:51

HiveQL中如何排查数据倾斜问题

原文链接https://blog.csdn.net/u012151684/article/details/77074356如果某个key下记录数远超其他key，在join或group的时候可能会导致某个reduce任务特别慢。本文分析下join的场景。本例子SQL如下：查询每个appid打开的次数，需要排除掉作弊的imei。说明：表cheat_imei，7500万条，无大key，为作弊的imei。
我是刘刘啊·2019-07-20 15:36

Hive零基础从入门到实战 进阶篇（七） HiveQL：条件函数

目录前言1.条件函数表2.函数功能演示2.1空值判断函数2.1.1nvl(Tvalue,Tdefault_value)2.1.2isnull(a)2.1.3isnotnull(a)2.1.4coalesce(Tv1,Tv2,...)2.2条件判断函数2.2.1if函数2.2.2CASEWHENTHENEND函数前言本篇博客介绍Hive中的常见的条件函数用法~1.条件函数表返回数值类型函数名\所需参
风影楼前·2019-07-18 09:51

《Hive零基础从入门到实战》连载目录

零基础从入门到实战系列的传送门，会持续更新直至本系列完结~（一）入门篇01.环境搭建02.Linux系统简单操作（上）03.Linux系统简单操作（中）04.Linux系统简单操作（下）05.Hive常用数据类型06.HiveQL
风影楼前·2019-07-14 21:51
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他