hiveql

HiveQL详解与SQL区别

1.hive内联支持什么格式？2.分号字符注意什么问题？3.hive中empty是否为null?4.hive是否支持插入现有表或则分区中？5.hive是否支持INSERTINTO表values（）？1、Hive不支持等值连接•SQL中对两表内联可以写成：•select*fromduala,dualbwherea.key=b.key;•Hive中应为•select*fromdualajoindual
三万_chenbing·2019-10-31 04:03

Hive零基础从入门到实战 进阶篇（二十） Hive常用调优

目录前言1.HiveQL实现流程优化1.1使用withas语法1.2分区剪裁与列剪裁1.3where条件中尽量不要加函数1.4函数不要嵌套太多层1.5在每一个子查询中使用groupby去重1.6join
风影楼前·2019-10-11 14:03

数据仓库Hive编程——HiveQL的数据操作（一）：向管理表中装载数据

在《HiveQL的数据定义（四）：分区表和管理表》中我们已经看到了一个如何装载数据到管理表中的例子，这里我们稍微对其增加些内容重新进行展示。
洪远·2019-09-26 19:14

Hive零基础从入门到实战 进阶篇（十九） HiveQL：随机抽样

目录前言1.什么是随机抽样2.Hive实现简单随机抽样（不放回）2.1语法2.2举例前言当数据量非常大的时候，对全体数据进行处理存在困难时，我们可能需要通过随机抽样其中的一部分数据，来代表总体进行分析。本文介绍如何使用Hive对数据集进行随机抽样。1.什么是随机抽样随机抽样就是调查对象总体中每个部分都有同等被抽中的可能，是一种完全依照机会均等的原则进行的抽样调查，被称为是一种“等概率”，保证样本具
风影楼前·2019-09-26 19:37

Hive零基础从入门到实战 进阶篇（十八） HiveQL：开窗函数（偏移关联）

目录前言1.偏移关联的开窗函数表2.函数功能演示2.1lag(col,n,default)2.2lead(col,n,default)2.3first_value(col)2.4last_value(col)前言本文接续上文介绍第四类开窗函数：用于偏移关联的开窗函数。共有4种，分别是：lag、lead、first_value、last_value。1.偏移关联的开窗函数表函数名功能描述lag(co
风影楼前·2019-09-23 10:15

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL
heibaiying·2019-09-23 08:38

Hive学习

Hive学习摘要本文是一片Hive综述文章，包括Hive的安装、基本概念、架构、运行原理、查询语句、UDF、调优等未完成1基本概念2架构3运行原理4HiveQL5UDF6调优请参见Hive-调优好文推荐参考文档
迷路剑客·2019-09-17 16:54

Hive（一）调优

Hive-调优HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转化为MapReducejob。
做一只精致IT小白·2019-09-17 14:28

Hive零基础从入门到实战 进阶篇（十七） HiveQL：开窗函数（层次查询）

目录前言1.层次查询的开窗函数表2.函数功能演示2.1ntile(n)2.1.1举例2.1.2应用场景2.2cume_dist()前言本文接续上文介绍第三类开窗函数：用于层次查询的开窗函数。共有三种，分别是：ntile()、cume_dist()、percent_rank()。第一个最常用，第二个很少用到，第三个完全没有见过应用场景。所以本文主要介绍ntile()和cume_dist()的语法含义
风影楼前·2019-09-12 18:35

Hive零基础从入门到实战 进阶篇（十六） HiveQL：开窗函数（组内排序）

目录前言1.组内排序的开窗函数表2.函数功能演示2.1row_number()2.1.1应用场景1：生成排序后的唯一序号2.1.2应用场景2：取topn2.1.3应用场景3：每个分组内取出n个随机值2.2rank()2.3dense_rank()前言上篇博客介绍了Hive中用于累计统计的开窗函数，本文接续上文介绍第二种：用于组内排序的开窗函数。用于组内排序的开窗函数使用频率远高于其他开窗函数，因为
风影楼前·2019-09-10 09:10

Hive零基础从入门到实战 进阶篇（十五） HiveQL：开窗函数（累计统计）

目录前言1.什么是开窗函数2.开窗函数语法3.开窗函数分类4.组内累计统计开窗函数4.1累计求和sum(xx)over4.2累计求平均值avg(xx)over4.3累计求最大值max(xx)over4.4累计求最小值min(xx)over前言从本文开始介绍Hive中开窗函数系列。这类函数叫法很多，包括分析函数、窗口函数、开窗函数、分析窗口函数，其实说的都是一类函数，本系列博客后续均采用开窗函数的命
风影楼前·2019-09-05 15:46

Hive实验5：查看Hql执行计划及关键步骤说明

1、查看执行计划方法语法：explain[extended]Hiveql;/*例子：*/explainselectcount(distinctmobilename)fromtesttab_small;2
英雄史诗·2019-09-04 11:03

Hive零基础从入门到实战 进阶篇（十四） HiveQL：高级聚合函数 grouping sets、cube、rollup

目录前言1.指定维度组合进行聚合groupingsets2.所有维度组合进行聚合cube3.最左侧的维度为主进行层级聚合rollup前言本文介绍Hive中的三种高级聚合函数，分别是groupingsets、cube、rollup。1.指定维度组合进行聚合groupingsetsgroupingsets用于在一个groupby查询中，根据不同的维度组合进行聚合，等价于将不同维度的groupby结果集
风影楼前·2019-09-03 23:58

Hive零基础从入门到实战 进阶篇（十三） HiveQL：集合函数

目录前言1.集合函数表2.可以处理array格式的函数3.最终返回array格式的函数4.集合函数功能演示4.1size(Array)4.2array_contains(Array,value)4.3sort_array(Array)前言Hive中的集合函数是一些专门为array、map等数据格式的数据设计的函数。本文除了介绍集合函数外，还会盘点一下Hive中其他能够处理或者最终返回array格式
风影楼前·2019-08-28 12:23

【大数据】Java同学入门Hive编程 —— 简介和入门操作

【一】简介对于日常的数据需求来说，熟悉Hive是一项必备的技能，因为很多日常的数据导出是不需要Spark任务的，跑一个HiveQL就可以完成，但秉承着知其然还要知其所以然的目的，我们首先来了解一下Hive
陌北有棵树·2019-08-23 15:27

Hive零基础从入门到实战 进阶篇（十二） HiveQL：表生成函数（行转列）

目录前言1.表生成函数表2.函数功能演示2.1explode(ARRAY)2.2explode(MAP)2.3posexplode(ARRAY)2.4stack(INTn,v_1,v_2,...,v_k)2.5json_tuple(jsonStr,k1,k2,...)2.6parse_url_tuple(url,p1,p2,...)3.表生成函数必备：lateralview3.1lateralvi
风影楼前·2019-08-22 09:05

HiveQL数据抽样Sample查询

当数据量很大时，需要查找一个数据的子集用于加快数据的分析，这种技术就是抽样技术。Hive中，数据抽样分为以下三种：随机抽样；桶表抽样；块抽样；1随机抽样语法结构使用Rand（）和LIMIT关键字得到抽样数据，Distribute和Sort关键字确保数据在mappers和reducers之间高效的随机分布，也可以使用orderbyrand（）实现，但是性能不好。语法：SELECT*FROMDISTR
BabyFish13·2019-08-19 16:01

大二暑假第六周总结--开始学习Hadoop基础（五）

是一个构建于Hadoop顶端的数据仓库工具支持大规模数据存储，分析，具有良好的可扩展性某种程度上可以看做是用户编程接口，本身不存储和处理数据依赖分布式系统HDFS存储数据定义了简单的类似SQL的查询语言——HIVEQL
HEIYANG·2019-08-19 15:00

Spark 系列（八）—— Spark SQL 之 DataFrame 和 Dataset

Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL
黑白影·2019-08-12 07:00

数据仓库Hive编程——HiveQL的数据定义（六）：修改表

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：HiveQL的数据定义（一）：Hive中的数据库HiveQL的数据定义（二）：修改数据库HiveQL的数据定义（三）：创建表HiveQL的数据定义
洪远·2019-08-08 00:00

数据仓库Hive编程——HiveQL的数据定义（三）：创建表

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：HiveQL的数据定义（一）：Hive中的数据库HiveQL的数据定义（二）：修改数据库HiveQL的数据定义（三）：创建表HiveQL的数据定义
洪远·2019-08-08 00:00

数据仓库Hive编程——HiveQL的数据定义（五）：删除表

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：HiveQL的数据定义（一）：Hive中的数据库HiveQL的数据定义（二）：修改数据库HiveQL的数据定义（三）：创建表HiveQL的数据定义
洪远·2019-08-08 00:00

数据仓库Hive编程——HiveQL的数据定义（四）：分区表和管理表

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：HiveQL的数据定义（一）：Hive中的数据库HiveQL的数据定义（二）：修改数据库HiveQL的数据定义（三）：创建表HiveQL的数据定义
洪远·2019-08-08 00:00

Hive零基础从入门到实战 进阶篇（十一） HiveQL：列转行函数

目录前言1.什么是列转行2.涉及函数2.1concat_ws(stringSEP,array)2.2collect_set(col)2.3collect_list(col)3.列转行举例3.1去重列转行3.2不去重列转行前言本文来介绍，在Hive中如何实现列转行的操作。1.什么是列转行假设Hive表中有两列数据，数据形式如下：a1a2a3a3b4b5b6b6现希望将展现形式改为下面这种，依旧是两列
风影楼前·2019-08-07 09:20

hive explain详解

HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转化成Mapreducejob。
Alwaysdazz·2019-08-03 23:40

Hive零基础从入门到实战 进阶篇（十） HiveQL：分位数（中位数）函数

目录前言1.什么是分位数2.分位数函数表3.函数功能演示3.1分位数函数:percentile3.1.1percentile(BIGINTcol,p)3.1.2percentile(BIGINTcol,array(p1[,p2]…))3.2近似分位数函数:percentile_approx3.2.1percentile_approx(DOUBLEcol,p[,B])3.2.2percentile_
风影楼前·2019-08-01 20:07

Hive零基础从入门到实战 进阶篇（九） HiveQL：相关系数函数

目录前言1.什么是相关系数1.1定义1.2性质1.3适用范围1.4缺点2.相关系数函数2.1函数功能2.2举例前言本文来介绍相关系数的含义以及Hive中如何使用计算相关系数的函数。1.什么是相关系数1.1定义相关系数(Correlationcoefficient)是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母r表示。由于研究对象的不同，相关系数有多种定义方式
风影楼前·2019-08-01 09:42

Hive大数据分析

一、What1、什么是HiveHive是底层封装了Hadoop的数据仓库处理工具，存在的目的是让精通SQL的分析师能够对存放在HDFS上的大规模数据集执行查询，它在工作站上运行时，将用户的HiveQL语句通过解释器转换为
顾扬已被使用·2019-07-29 20:05

Hive零基础从入门到实战 进阶篇（八） HiveQL：方差、协方差函数

目录前言1.方差、协方差函数表2.名词解释2.1方差、标准差2.2无偏样本方差、无偏样本标准差2.3总体协方差、样本协方差3.函数功能演示3.1方差与无偏方差3.2总体协方差与样本协方差前言在入门篇（十五）中我们已经介绍过常用的简单聚合函数，后续几篇博文我们会逐一介绍其他功能更加强大的聚合函数。本文来介绍Hive中的方差、标准差函数。1.方差、协方差函数表返回类型函数名描述DOUBLEvarian
风影楼前·2019-07-26 09:51

HiveQL中如何排查数据倾斜问题

原文链接https://blog.csdn.net/u012151684/article/details/77074356如果某个key下记录数远超其他key，在join或group的时候可能会导致某个reduce任务特别慢。本文分析下join的场景。本例子SQL如下：查询每个appid打开的次数，需要排除掉作弊的imei。说明：表cheat_imei，7500万条，无大key，为作弊的imei。
我是刘刘啊·2019-07-20 15:36

Hive零基础从入门到实战 进阶篇（七） HiveQL：条件函数

目录前言1.条件函数表2.函数功能演示2.1空值判断函数2.1.1nvl(Tvalue,Tdefault_value)2.1.2isnull(a)2.1.3isnotnull(a)2.1.4coalesce(Tv1,Tv2,...)2.2条件判断函数2.2.1if函数2.2.2CASEWHENTHENEND函数前言本篇博客介绍Hive中的常见的条件函数用法~1.条件函数表返回数值类型函数名\所需参
风影楼前·2019-07-18 09:51

《Hive零基础从入门到实战》连载目录

零基础从入门到实战系列的传送门，会持续更新直至本系列完结~（一）入门篇01.环境搭建02.Linux系统简单操作（上）03.Linux系统简单操作（中）04.Linux系统简单操作（下）05.Hive常用数据类型06.HiveQL
风影楼前·2019-07-14 21:51

Hive零基础从入门到实战 进阶篇（六） HiveQL：日期函数

目录前言1.日期函数表2.函数功能演示2.1时间戳函数unix_timestamp2.2秒时间戳转换为可读时间字符串from_unixtime2.3返回秒值时间戳的日期to_date2.4时间戳字符串的年、月、日、时、分、秒2.5日期在当年的第几周weekofyear2.6开始时间到结束时间相差的天数datediff2.7日期加减天数date_add&date_sub2.8返回当前日期（年月日）c
风影楼前·2019-07-13 14:39

Hive零基础从入门到实战 进阶篇（五） HiveQL：正则抽取、替换字符串函数

目录前言1.正则表达式简介1.1定义1.2字符构成1.3速记指南2.正则抽取字符串函数regexp_extract3.正则替换字符串函数regexp_replace4.不同运行环境下的转义处理前言本文我们来详细介绍一下正则表达式，以及在Hive中通过正则匹配抽取、替换字符串的函数：1.regexp_extract2.regexp_replace1.正则表达式简介这里依旧借用百度百科的讲解：1.1定
风影楼前·2019-07-11 21:35

Hive零基础从入门到实战 进阶篇（四） HiveQL：URL解析函数

目录前言1.什么是URL2.解析URL单个元素的函数：parse_url3.同时解析URL多个元素的函数：parse_url_tuple前言在工作中，我们除了JSON格式还会经常遇到URL格式的日志数据，本文来详细介绍在Hive中解析URL的函数：1.parse_url2.parse_url_tuple1.什么是URL在WWW网页上，每一信息资源都有统一的且在网上唯一的地址，该地址就叫URL（Un
风影楼前·2019-07-10 21:38

Hive零基础从入门到实战 进阶篇（三） HiveQL：JSON解析函数

目录前言1.什么是JSON格式2.解析JSON字符串的一个字段get_json_object3.同时解析JSON字符串的多个字段json_tuple前言在工作中我们会经常遇到JSON格式的日志数据，本文来详细介绍在Hive中解析JSON字符串的函数：1.get_json_object2.json_tuple1.什么是JSON格式这里直接上百度百科的解释：JSON(JavaScriptObjectN
风影楼前·2019-07-09 13:19

Hive零基础从入门到实战 进阶篇（二） HiveQL：常用字符串函数

目录前言1.常用的简单字符串函数表2.函数功能演示2.1连接字符串concat2.2指定分隔符连接字符串concat_ws2.3截取字符串substr2.4按指定分隔符分割字符串split2.5格式化数字format_number2.6字符串长度length2.7转换小写lower2.8转换大写upper2.9首字母大写其余小写initcap2.10左填充lpad2.11右填充rpad2.12去除
风影楼前·2019-07-08 19:40

Hive零基础从入门到实战 进阶篇（一） HiveQL：常用数学函数

目录前言1.常用数学函数表2.函数功能演示2.1四舍五入round2.2向下取整floor2.3向上取整ceil2.4随机数rand2.5求n次幂pow2.6求平方根sqrt2.7求绝对值abs前言本篇开始进入Hive进阶篇的总结，进阶篇计划介绍Hive的各类函数以及调优。在入门篇（十五）曾总结过一些常用的聚合函数，剩余的不常用聚合函数后续在进阶篇中也会逐步介绍。本篇博客主要总结Hive中的常用的
风影楼前·2019-07-05 15:49

Hive零基础从入门到实战 入门篇（二十一） HiveQL：数据插入

目录前言1.CREATETABLE表名ASSELECT……2.INSERT2.1无分区表插入数据2.2分区表插入数据2.2.1静态分区插入2.2.2动态分区插入2.2.3静态分区和动态分区混合使用前言我们在入门篇（十）中介绍了如何将文件中的数据导入一个表中。但实际工作中，更常用的数据插入操作是：将查询出的数据插入一个表中。实现这个操作有两种方法，1：使用CREATETABLE表名ASSELECT…
风影楼前·2019-07-04 13:09

Hive优化（整理版）

可以直接访问存储在ApacheHDFS或其他数据存储系统（如ApacheHBase）中的文件；Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎；它提供类似sql的查询语句HiveQL
牧梦者·2019-07-04 01:00

Hive零基础从入门到实战 入门篇（二十） HiveQL：UNION ALL语句

前言上篇博客入门篇（十九）介绍的JOIN语句是将多个表的列‘横向合并’，本篇要介绍的UNIONALL语句则是将多个表的列纵向合并，相当于将多个表的数据直接摞在一起，下面我们来详细介绍UNIONALL语句的用法。1.语法1.1Hive1.2.0后的语法Hive1.2.0之后版本的语法如下：SELECT*FROMaUNION[ALL]SELECT*FROMbUNION[ALL]SELECT*FROMc
风影楼前·2019-06-20 19:26

HIVE入门

定义了简单的类似SQL的查询语言——HiveQL。用户可以通过编写的HiveQL语句运行MapReduce任务。
ITLV007·2019-06-20 08:52

Hive零基础从入门到实战 入门篇（十九） HiveQL：JOIN语句

目录前言1.内连接INNERJOIN1.1语法1.2举例2.外连接之LEFTOUTERJOIN2.1语法2.2举例2.2.1多个结果做关联展示2.2.2从左表中去掉和右表有交集的部分3.外连接之RIGHTOUTERJOIN3.1语法4.外连接之FULLOUTERJOIN4.1语法5.总结前言本文介绍Hive中的JOIN语句，JOIN语句可以通过任意个字段关联对多个表进行列连接，有些类似于Excel
风影楼前·2019-06-18 20:42

hadodop之hive 第一章 hive原理及如何使用Mysql作为hive的metastore元数据库

体系结构简洁Hive的安装与管理HiveQL数据类型，表以及表的擦欧洲哦HiveQL查询数据HiveJava客户端Hive的自定义函数UDF---加深拓展hive是facebook应用的。
瑞泽的世界·2019-06-16 19:04

Hive零基础从入门到实战 入门篇（十八） HiveQL：子查询与WITH AS 语句

目录前言1.子查询1.1在FROM后使用子查询语法1.1.1语法1.1.2举例1.2在WHERE后使用子查询1.2.1语法1.2.2举例2.WITHAS语句2.1语法2.2举例前言本文主要介绍Hive中子查询与WITHAS语句的用法，为后续多表查询的介绍奠定基础。1.子查询1.1在FROM后使用子查询语法1.1.1语法SELECT列名FROM(SELECT列名FROM表名)子查询别名;注意：子查询
风影楼前·2019-06-15 18:38

Hive零基础从入门到实战 入门篇（十七） HiveQL：语句顺序及逻辑执行顺序

目录前言1.编写HiveQL的语句顺序2.HiveQL的逻辑执行顺序前言了解HiveQL的语句顺序及逻辑执行顺序可以使我们编写效率更高的代码，并且减少错误，下面我们来分别详细介绍。
风影楼前·2019-06-13 14:08

Hive零基础从入门到实战 入门篇（十六） HiveQL：ORDER BY语句

目录前言1.基本语法2.参数设置3.举例前言Hive中ORDERBY语句和其他的SQL方言中的定义是一样的，会对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过一个reduce进行处理的过程。对于大数据集，这个过程可能会消耗漫长的时间来执行，甚至会执行失败。不过这点并不用太过担心，因为大多数时候都不会有需求要对大数据集进行paixu用户可以指定任意期望进行排序的字段，并可以在字段后面
风影楼前·2019-06-12 20:02

Hive零基础从入门到实战 入门篇（十五） HiveQL：聚合函数、GROUP BY语句、HAVING语句

目录前言1.聚合函数2.GROUPBY语句2.1去重2.2与聚合函数一起使用2.2.1count(*)2.2.2count(col)2.2.3count(distinctcol)2.2.4sum(col)2.2.5avg(col)2.2.6min(col)2.2.7max(col)2.2.8GROUPBY字段不全报错3.HAVING语句前言本文介绍聚合函数、GROUPBY语句以及HAVING语句。
风影楼前·2019-06-05 20:47

如何整合hive和hbase

引言为什么要集成Hive和HBaseHive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句，叫HiveQL
chengxunhg·2019-06-04 18:34

Hive零基础从入门到实战 入门篇（十四） HiveQL：WHERE 语句

目录前言1.基本语法2.谓词操作符详解3.AND、OR4.LIKE、RLIKE、REGEXP前言SELECT语句用于选取字段，本文我们来介绍用于过滤条件的WHERE语句。两者结合使用可以查找到符合过滤条件的记录。在介绍WHERE语句之前我们已经上文的一个简单例子中使用过它了。之前都是假定大家是见过这样的语句的，现在我们将更多地探讨一些细节。WHERE语句使用谓词表达式，有几种谓词表达式可以使用AN
风影楼前·2019-06-03 09:35
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他