HiveQL

大数据Hive 面试以及知识点

4.编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（M
忍哥·2020-06-28 23:44

一脸懵逼学习Hive（数据仓库基础构架）

其体系结构简介*Hive的安装与管理*HiveQL数据类型，表以及表的操作*HiveQL查询数据***Hive的Java客户端**Hive的自定义函数UDF*1：什么是Hive（一）：（1）Hive是建立在
weixin_34388207·2020-06-28 18:27

HiveQL查询操作全解(四):COUNT的高级用法

在HIVE中，除了COUNT(*)外，COUNT还可以有很多高级用法。SELECTtype,count(*),count(DISTINCTu),count(CASEWHENplat=1THENuELSENULLEND),count(DISTINCTCASEWHENplat=1THENuELSENULLEND),count(CASEWHEN(type=2ORtype=6)THENuELSENULLE
文哥的学习日记·2020-06-28 08:56

HiveQL查询操作全解(二):常用函数

本篇介绍一下一些常用的HIVE（0.80版本）内置函数：1、数学函数返回值类型样式描述BIGINTfloor(DOUBLEd)返回小于等于d的最大整数BIGINTceil(DOUBLEd)返回大于等于d的最小整数DOUBLErand(),rand(INTseed)返回一个DOUBLE型的随机数，seed是随机因子DOUBLEpow(DOUBLEd,DOUBLEp)计算d的p次幂DOUBLEsqrt
文哥的学习日记·2020-06-27 13:50

[大数据] HiveQL知识点

文章目录Q1：什么是数据倾斜，怎么产生，怎么解决？Q2：什么是hive的严格模式（strictmode）？Q3：orderby,sortby,distributeby,clusterby的区别？Q4：collect_all()的作用？Q5：三个排名函数的区别？Q6：Hive原理Q7：Hive存储元数据的方式？Q8：Hive优化方法Q9：什么时候可以用别名，什么时候不可以？Q10：hive怎么确定m
dawnohdawn·2020-06-27 07:30

hive学习心得二

4.HiveQl数据操作a)像管理表中装载数据insertoverwritetabletable_namepartition(column_name='值1',column_name2='值2')selectcolumn_namefromtable_name
半疯半痴·2020-06-27 04:35

Hive/HiveQL常用优化方法全面总结（上篇）

对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。由于在写的过程中发现篇幅过长，因此决定拆成上下两篇发布。
LittleMagic·2020-06-26 15:15

Hive学习之HiveServer2服务端配置与启动

在之前的学习和实践Hive中，使用的都是CLI或者hive–e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。
skyWalker_ONLY·2020-06-26 12:45

Hive自定义函数及优化（整理版）

可以直接访问存储在ApacheHDFS或其他数据存储系统（如ApacheHBase）中的文件；Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎；它提供类似sql的查询语句HiveQL
Swordfall·2020-06-26 11:25

入门大数据---SparkSQL_Dataset和DataFrame简介

Spark程序无缝混合，允许您使用SQL或DataFrameAPI对结构化数据进行查询；支持多种开发语言；支持多达上百种的外部数据源，包括Hive，Avro，Parquet，ORC，JSON和JDBC等；支持HiveQL
一线大数据·2020-06-26 10:00

HiveQL常用查询函数——nvl、case when、concat、collect_set、collect_list、explode & lateral view、窗口函数、rank

目录1.nvl（value，default_value）2.casewheneg1：对表emp_sex，求每个部门男女人数eg2：统计每个国家隶属洲的人口数（已知字段数据按照另一种条件分组）eg3：统计不同国家男女个数（完成不同条件的分组）3.concat、concat_ws、collect_set（列转行）4.explode&lateralview（行转列）5.窗口函数（聚合函数+窗口函数，指定
舒琪·2020-06-26 10:42

大数据处理必备的十大工具！

Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了
大数据周刊·2020-06-26 05:33

大数据入门-Hive学习从这里开始

同时Hive还定义了类SQL的语言（HiveQL）。允许用户进行和SQL相似的操作，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能。
大数据群722680258·2020-06-25 16:53

Hive架构、角色进程、访问流程

Hive的架构1、Hive的架构图2、Hive的服务（角色）1、用户访问接口CLI（CommandLineInterface）：用户可以使用Hive自带的命令行接口执行HiveQL、设置参数等功能JDBC
双椒叔叔·2020-06-25 13:42

HIVE调优【1】如何读懂explain打印出的抽象语法树

尽管hiveql查询会将输出写入到控制台，但hive实际上会先将输出写入到1个临时文件中,即’tok_inser
upup-我是昵称存在的分割线·2020-06-25 09:36

苏先生之Hive底层调优

一、为什么要了解底层HiveQL是一种声明式语言，用户会提交查询，而hive将其转换成MapReducejob，大多数情况我们不需要了解hive的内部工作，内部复杂的查询解析、优化和执行过程大部分时间我们是可以忽视的
菜鸟苏先森·2020-06-25 07:32

hive概念及特点

用来汇集查询数据OLAP:onlineanalyzeprocess不是：关系型数据库OLTP不适合实时查询和底层更新操作特点：在数据库中存放schema，处理数据到HDFSOLAP提供类SQL语言，HQL（HiveQL
闲来无事写播客·2020-06-25 04:23

HiveQL命令行的使用

1.HiveQL：数据操作（1）进入HiveQL，命令如下：hiveimage（2）Hive创建数据库：创建一个名为userdb的数据库命令：createdatabaseuserdb;image随时可以通过
一花一世界30951091·2020-06-25 02:25

Hive数据定义

HiveQL是Hive查询语言,作为ANSISQL的一种方言。但是其还是有和关系数据库支持的SQL中有本质的差异。如：Hive不支持事务，且默认情况下不支持行级别插入，更新，删除操作。
qingdsj·2020-06-24 22:35

Spark SQL快速离线数据分析

2）SparkSQL可以直接运行SQL或者HiveQL语句3）BI工具通过JDBC连接SparkSQL查询数据4）SparkSQL支持Python、Scala、Java和R语言5）SparkSQL不仅仅是
努力的凹凸曼·2020-06-24 20:39

Hive/HiveQL常用优化方法全面总结（上篇）

对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。由于在写的过程中发现篇幅过长，因此决定拆成上下两篇发布。
LittleMagics·2020-06-24 16:04

HiveQL collect_list保持顺序小记

有以下Hive表的定义：createtabletopic_recommend_score(category_idint,topic_idbigint,scoredouble,rankint);这张表是我们业务里话题推荐分值表的简化版本。category_id代表分类ID，topic_id是话题ID，score是评分值。rank代表每个分类下话题分值的排名，用开窗函数计算出来的：row_number
LittleMagics·2020-06-24 16:03

HiveQL计算连续天数问题

现有商户每日交易汇总数据文件merch_trade_stat.txt，如下：(三列数据以','分隔，分别是商户ID、交易日期、日交易金额)[root@node1~]$moremerch_trade_day_stat.txt1,2017-07-01,1001,2017-07-02,2001,2017-07-03,3001,2017-07-04,4001,2017-07-05,5001,2017-07
chennaihuan0842·2020-06-22 22:36

基于Hadoop的数据仓库Hive 基础知识

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive
大数据hadoop·2020-06-22 09:20

HiveQL学习笔记（五）：Hive练习题

本系列是本人对Hive的学习进行一个整理，主要包括以下内容：1.HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介2.HiveQL学习笔记（二）：Hive基础语法与常用函数3.HiveQL
AvenueCyy·2020-06-21 17:33

HiveQL学习笔记（四）：Hive窗口函数

本系列是本人对Hive的学习进行一个整理，主要包括以下内容：1.HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介2.HiveQL学习笔记（二）：Hive基础语法与常用函数3.HiveQL
AvenueCyy·2020-06-21 17:33

HiveQL学习笔记（二）：Hive基础语法与常用函数

本系列是本人对Hive的学习进行一个整理，主要包括以下内容：1.HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介2.HiveQL学习笔记（二）：Hive基础语法与常用函数3.HiveQL
AvenueCyy·2020-06-21 17:02

HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介

本系列是本人对Hive的学习进行一个整理，主要包括以下内容：1.HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介2.HiveQL学习笔记（二）：Hive基础语法与常用函数3.HiveQL
AvenueCyy·2020-06-21 17:02

HiveQL学习笔记（三）：Hive表连接

本系列是本人对Hive的学习进行一个整理，主要包括以下内容：1.HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介2.HiveQL学习笔记（二）：Hive基础语法与常用函数3.HiveQL
AvenueCyy·2020-06-21 17:02

Hive零基础入门最全--不看后悔

Hive零基础入门必看--超级全概述数据库与数据仓库的区别Hive的优缺点Hive的特性针对海量数据的高性能查询和分析系统类SQL的查询语言HiveQL灵活的扩展性高扩展性(Scalability)和容错性与
脑子有Bug·2020-06-21 13:08

新闻实时分析系统 SQL快速离线数据分析

2）SparkSQL可以直接运行SQL或者HiveQL语句3）BI工具通过JDBC连接SparkSQL查询数据4）SparkSQL支持Python、Scala、Java和R语言5）SparkSQL不仅仅是
weixin_30730151·2020-06-21 10:12

HIVE JDBC方法连接

输入hiveserver2打开hiveserver2在之前的学习和实践Hive中，使用的都是CLI或者hive–e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。
lkinga·2020-06-21 06:28

用HiveQL计算连续天数问题的方法

昨晚简书服务器可能出了什么bug，文章发布出去都会变成完全空白。没办法，只能断更一天，放在今天发了，大概能达到十万字里程碑了吧。在日常工作中，可能经常会接到业务方类似这样的需求：统计今年每个用户最长连续签到的天数；统计最近一个月连续有回帖超过5天的话题；统计本季度中连续3天以上单日销量超过100的商品。这种“连续天数”问题看似简单，但实际上对思维能力和编写复杂SQL语句的能力要求比较高。下面以我们
LittleMagics·2020-06-21 03:03

[AWS][大数据][Hadoop] 使用EMR做大数据分析

3.通过HiveQL分析数据，并将分析结果保存到S3上4.下载已经分析结果数据。
栗子哥·2020-06-21 01:12

Kylin快速入门

ApacheHive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为数据库表，并可以将SQL语句转换为MapReduce或Tez任务进行运行，从而让用户以类SQL（HiveQL，也称HQL
徐不依·2020-06-20 21:42

了解hive基础知识

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive
裘马轻狂大帅·2020-06-07 19:58

Hive知识总结

Hive是一个构建在Hadoop之上的数据仓库软件,它可以使已经存储的数据结构化，它提供类似sql的查询语句HiveQL对数据进行分析处理。
DancingBUG·2020-05-05 14:51

Presto学译 | 3. 配置Hive连接器以查询Hive数据

叫做HiveQL的查询语言。Presto仅
希尔大·2020-04-13 15:08

HiveQL MR基本操作

emplyee.txt文件内容,中间为tab分割,utf8文件1张三test40005002014-05-16812李四coder800010002015-08-12323王五pm400015002014-05-16444赵六cto3000010002015-11-12525田七ceo400002014-05-1646蔡八cfo3500010002015-08-12547孙久pe450050020
天堂宝宝_V·2020-04-11 17:32

Hive | Hive 安装详解

一、Hive介绍二、准备工作三、Hive下载四、Hive安装五、Hive启动一、Hive介绍Hive是构架在hadoop之上的数据仓库工具，提供简单的sql查询功能，被称为HiveQL或HQL，然后将sql
Ada54·2020-04-11 06:42

HiveQL查询操作全解(六):explode函数详解

假设我们的数据如下所示，表为test表：ABC190[1030,1031,1032,1033,1190]selectid191[1030,1031,1032,1033,1190]selectid可以看到，我们的B字段是ARRAY类型的，我们假如想把B的每一个元素变成一行，我们可以使用explode函数：selectexplode(B)asDfromtest这样可以达到如下的目的D103010311
文哥的学习日记·2020-04-07 10:47

Hive- UDF&GenericUDF

hiveudf简介在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数）。
raincoffee·2020-03-30 06:04

hive join ..on连接中 and与where的取舍

HiveQL与标准SQL的区别：陷阱1：SELECT*FROMfirst_tablet1JOINsecond_tablet2ONt1.id=t2.idwheret1.date="2016-06-01"在
骑着小猪啪啪啪·2020-03-22 05:45

HiveQL: 数据定义之数据库操作

HiveDataDefinitionLanguage(DDL)1创建数据库--1CREATEDATABASEmydb;--2CREATEDATABASEIFNOTEXISTSmydbLOCATION'/user/Oythonhill/mydb.db'WITHDBPROPERTIES('creater'='Oythonhill','date'='2017-12-30')COMMENT'thisisa
Oythonhill·2020-03-19 22:24

使用Hive内置的解析器构建血缘关系

仓库组的HiveQL一般情况下是写好后，定时调度SparkSQL来执行的。这些HiveQL格式都差不多的样子insertoverwritetablenamepartition(partitio
GoofyWang·2020-03-19 16:58

Hive编程指南读书笔记0001

Hive概述1.Hive提供了一个被称为Hive查询语言（简称HiveQL或HQL)的SQL方言，来查询存储在Hadoop集群中的数据。
jackLee·2020-03-15 22:38

Hive学习-表的基本操作

HiveQL是类SQL查询语句，和数据库的查询语句类似，下面介绍一些基本的表操作：1.创建表创建表的HQL语句如下，逐条输入即可，以；结束。
Ameliesun·2020-03-15 01:24

SQL Differences Between Impala and Hive

www.cloudera.com/documentation/cdh/5-1-x/Impala/Installing-and-Using-Impala/ciiu_langref_unsupported.html#langref_hiveql_deltaNotethat
时待吾·2020-03-07 04:27

HiveQL查询操作全解(三):JOIN语句

Hive支持通常的SQLJOIN，但是支持等值连接1、INNERJOIN内连接中，只有进行连接的两个表中都存在于连接标准相匹配的数据才会被保留下来。比如下面的例子：SELECTa.ymd,a.price_close,b.price_closeFROMstocksaJOINstocksbONa.ymd=b.ymdWHEREa.symbol='APPL'ANDb.symbol='IBM';也可以进行多
文哥的学习日记·2020-03-05 12:56

Hive数据源实战

HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。
一个人一匹马·2020-02-16 06:35
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他