hivesql 第13页

大数据SQL执行工具调研总结

下面是这几天来我对于hiveonmr/hiveonspark/impala/presto/spark-sql做的调研之后做的总结，见以下矩阵：武器库优点缺点HiveSql支持度UDF支持hiveonmr

唔系小老虎·2020-07-29 00:35

hive SQL优化之distribute by和sort by .

http://yaoyinjie.blog.51cto.com/3189782/703873最近在优化hiveSQL，下面是一段排序，分组后取每组第一行记录的SQLINSERTOVERWRITETABLEt_wa_funnel_distinct_tempPARTITION

xiaomulin2005·2020-07-29 00:20

阿里云odps基本语法

odpssql：与hivesql语法基本一致odpscmd.batSQL语句不分大小写，使用“–”进行注释，使用分号作为语句结束符号数据定义语言（DDL），数据操作语言（DML）,数据控制语言（DCL）

weixin_33711641·2020-07-28 17:16

hive on spark 利用maven重新编译spark

缘由：使用hiveonspark进行hivesql操作的时候报以下错误：Failedtoexecutesparktask,withexception'org.apache.hadoop.hive.ql.metadata.HiveException

卢子墨·2020-07-28 02:30

Hadoop(3)__Hive安装过程与hive sql初步使用

HIVE是基于Hadoop的一个数据仓库，可以将结构化的数据文件映射成一张表，并提供类SQL的查询语句，其SQL操作的基本原理是MapReduce，在本文最后的例子中，可以发现在某些操作时，HiveSQL

JeangLee·2020-07-28 02:50

HiveSQL使用总结笔记

文章目录@[toc]DDL操作建表`CREATETABLE``EXTERNAL``LIKE``COMMENT``ROWFORMAT``STOREDAS`创建简单表：创建外部表：建分区表建Bucket表创建表并创建分区字段ds复制一个空表例子显示所有表：修改表结构表添加一列：添加一列并增加列字段注释更改表名：删除表：增加、删除分区增加删除修改列的名字、类型、位置、注释：增加/更新列增加表的元数据信息

云之君兮鹏·2020-07-27 11:22

HIVESQL中ROW_NUMBER() OVER语法以及示例---根据某字段值相同取另一字段最大值的所有行

数据如下：IDNAMEPIDCREATE_TIME------------------------------1张三A2018-1-12李四A2017-1-13王五B2017-12-12希望的查询结果（相同PID只取CREATE_TIME最大的行）：IDNAMEPIDCREATE_TIME------------------------------1张三A2018-1-13王五B2017-12-1

小矶鹬·2020-07-16 05:26

Spark SQL运行原理解析

SparkSQL和mysql、hivesql从SQL规范来说都一样引擎：sparksql底层执行是spark，执行效率高，分布式mysql底层执行是InnoDB，当然还有其他的引擎，单节点执行hivesql

luo981695830·2020-07-16 02:31

fengge18306·2020-07-15 22:28

Spark SQL编程指南（Python）【转】

转自：http://www.cnblogs.com/yurunmiao/p/4685310.html前言SparkSQL允许我们在Spark环境中使用SQL或者HiveSQL执行关系型查询。

dianzhouyu2189·2020-07-15 22:04

【每日一练：SQL】Hive SQL求每一年最大气温的日期+温度

HiveSQL求每一年最大气温的日期+温度HIVESQL题：求每一年最大气温的日期+温度，具体数据如下：2014010114201401021620140203172014010410201403050620120106092012010732201201081220120109192012011023200102011620010102122001050310200101041120010105

debimeng·2020-07-15 22:21

Hive统计连续登录n天的用户登录信息

前言Hadoop：2.7.7Hive：2.3.0本文主要练习如何使用HiveSQL统计练习登录n天的用户登录信息，主要使用窗口函数。

TomAndersen·2020-07-15 19:22

Spark SQL的基本概念与用法

1.SparkSQL的作用Hive，它是将HiveSQL转换成MapReduce，然后提交到集群上执行的，大大简化了编写MapReduce程序的复杂性，但MapReduce这种计算模型执行效率比较慢。

Cool_Pepsi·2020-07-15 17:48

Spark SQL 教程

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了

Zebul博·2020-07-15 15:00

在hive SQL中访问以下划线开头的字段

在hiveSQL中访问以下划线开头的字段，例如_column_name时，会报如下错误NoViableAltException(13@[323:1:atomExpression:((KW_NULL)=>

bugcoder321·2020-07-15 14:47

Spark SQL简介及以编程方式实现SQL查询

2.SparkSQL的特点：我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢

wlk_328909605·2020-07-15 13:28

NoViableAltException——记一次hivesql报错异常

createexternaltableifnotexiststmp.off_line_tba(acct_nbrstring,application_nostring,contr_nbrstring,loan_prod_groupstring,product_cdstring,active_datestring,loan_expire_datestring,company_namestring,lo

学海无涯2.0·2020-07-15 13:41

hive join on 条件与 where 条件区别

文章目录背景业务场景结论背景最近项目组上，来了几个实习生，对Hivesql的join的使用不是很熟悉，几个人写出来的sql看上去感觉都是一样的，但结果可能会出现，扫描全表，耗时过久，造成数据有所有差异业务场景根据常见的场景

yjgithub·2020-07-15 11:30

Java IO 字节流字符流写入、读取、复制文件

aura.txt"，利用程序在文件中写入如下内容："Hadoop（hdfs、mapreduce、yarn）元老级大数据处理技术框架，擅长离线数据分析,Hbase分布式海量数据库，离线分析和在线业务通吃,Hivesql

Song_MJ·2020-07-15 11:45

hive mapjoin使用

今天遇到一个hive的问题，如下hivesql：selectf.a,f.bfromAtjoinBfon(f.a=t.aandf.ftime=20110802)该语句中B表有30亿行记录，A表只有100行记录

xqy1522·2020-07-15 10:39

HiveQL常用查询语句where、group by、having、join子句记录

由于hivesql中查询语句时，常用查询条件比较多，所以专门写一篇博文对HiveQL的查询语句进行总结，理清联系和区别。

攻城狮Kevin·2020-07-15 09:17

hive sql数据分析面试整理

1.写作目的说明hivesql是从事数据分析的同学的基本功。

wuxiaosi808·2020-07-15 09:23

hivesql中的concat函数,concat_ws函数，concat_group函数之间的区别

一、CONCAT（）函数CONCAT（）函数用于将多个字符串连接成一个字符串。使用数据表Info作为示例，其中SELECTid,nameFROMinfoLIMIT1;的返回结果为±—±-------+|id|name|±—±-------+|1|BioCyc|±—±-------+1、语法及使用特点：CONCAT(str1,str2,…)返回结果为连接参数产生的字符串。如有任何一个参数为NULL，

孤数不证·2020-07-15 08:30

hive sql大全，函数，运算符，字符处理

hivesql大全目录一、关系运算：…4等值比较:=.4不等值比较:.5大于等于比较:>=.5空值判断:ISNULL.5非空判断:ISNOTNULL.6LIKE比较:LIKE.6JAVA的LIKE操作:

weixin_42488812·2020-07-15 07:25

Hive优化总结（转）

Hive优化总结---by食人花优化时，把hivesql当做mapreduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。

weixin_34260991·2020-07-15 05:07

hive 中的map join 操作

今天遇到一个Hive的问题，如下hivesql：selectf.a,f.bfromAtjoinBfon(f.a=t.aandf.ftime=20110802)该语句中B表有30亿行记录，A表只有100行记录

weifengLD·2020-07-15 01:28

详解Hive的架构、工作原理及安装步骤

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL

ywendeng·2020-07-15 00:29

HiveSQL正则表达式的应用

最近工作中数据处理方面用到很多不是特别容易处理的数据，用正则表达式的话会让语句显得特别精简，也可以用各种字符串截取函数嵌套处理（必须要有一定规律），总结一下经常用到的几个。1.正则的通配符简介1）正则表达式的符号及意义^表示开头$表示结尾.表示任意字符*表示任意多个/做为转意，即通常在"/"后面的字符不按原来意义解释，如/b/匹配字符"b"，当b前面加了反斜杆后//b/，转意为匹配一个单词的边界。

冯剑·2020-07-15 00:15

Hive 架构与性能优化

-1Hive架构蜂巢模型架构更新一张hive流程图:--2018-11-07Hive提供了Hadoop的SQL能力，主要参考标准的SQL，Hive进行了部分的修改，形成了自己的特有的SQL语法HQL（HiveSQL

CaseyChen5213·2020-07-14 23:29

Hive

什么是Hive1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在HDFS

墨染繁华执念心悠·2020-07-14 18:54

HiveSQL分组取topN

参考sql:##统计国内，各省份的城市排名selectb.*from(selectcountry,province,city,cnt,row_number()over(partitionbycountry,provinceorderbycntdesc)rankfrom(selectcountry,province,city,count(1)ascntfromtb_pmp_region_report

qingtian951378·2020-07-14 16:42

Hive SQL函数整理

hivesql跟mysql还是有点区别的。这里整理下一些自己常用的函数。

惟是致良知·2020-07-14 11:59

hive窗口函数总结

一：前言根据官网的介绍，hive推出的窗口函数功能是对hivesql的功能增强，确实目前用于离线数据分析逻辑日趋复杂，很多场景都需要用到。以下就是对hive窗口函数的一个总结附上案例。

gongpulin·2020-07-14 10:08

HiveSql面试题4详解（窗口函数应用之移动范围计算，详解窗口函数）

目录0需求分析1需求实现2小结0需求分析有如下数据表：A2015-015A2015-0115B2015-015A2015-018B2015-0125A2015-015A2015-024A2015-026B2015-0210B2015-025A2015-0316A2015-0322B2015-0323B2015-0310B2015-0311需求如下：每个用户截止到每月为止的最大单月访问次数和累计到该

果子学长@小眼睛·2020-07-14 10:34

Hadoop集群MYSQL的安装

在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是：1、写程序利用mapper-Reducer的算法平台进行分析；2、利用Hive组件进行书写HiveSQL进行分析。第二种方法用到的

chuaiwei1891·2020-07-14 09:01

SparkSQL优化之输入小文件是否需要合并?

Note:spark版本2.3.1HiveSQL优化时,输入分片需要开启参数进行合并,否则会产生很多分片.那么SparkSQL是如何应对大量输入小文件的呢?

MichaelZhu·2020-07-14 07:11

hive sql 根据出生日期计算年龄（闰年同样准确）

需求：根据用户出生日期，用hivesql计算用户年龄由于闰年原因，直接用datediff计算当前与出生日期天数去除以365会造成年龄不准确，所以对数据进行处理来计算准确的年龄selectif(datediff

cow cow fly·2020-07-14 06:05

学习Hive(五)Hive 优化

Hive优化核心思想是把HiveSql当做MapReduce去优化。1、select查询本表、where进队本表字段做过滤时不会转为MapReduce执行。原因：Hive抓取策略配置。

MrBack·2020-07-14 05:30

使用HiveSQL实现开始到结束日期之间的所有日期

Hivesql实现日期间所有日期或返回所有日期如给定起止日期返回中间所有日期（posexplode比explode多返回一个postion，利用postion进行下一步的关联操作）给定表user如下：uidstart_dateend_date12020

TankPush·2020-07-14 04:36

SparkSql用户自定义函数（UDF函数）

前言大部分SparkSql算子或者HiveSql能够解决大部分问题，但有的问题单纯的用现有的API很难实现，这个时候就得用到UDF函数了。

SunnyRivers·2020-07-14 03:02

Hive之Grouping Sets函数

GROUPINGSETS就是一种将多个GROUPBY逻辑UNION写在一个HIVESQL语句中的便利写法。GROUPINGSETS会把在单个GROUPBY逻辑

数据小白的进阶之路·2020-07-14 03:30

hive使用窗口函数实现n分位数据分析

hive使用窗口函数实现n分位数据分析hive使用窗口函数实现n分位背景hivesql实现hive使用窗口函数实现n分位实际工作中，我们可能会遇到需要获取高质量的用户、主播或者大R的白名单来进行标签输入或者精准推送促活之类的需求以下以主播中用户观看时长为例背景图片说明

喜欢许静敏·2020-07-14 01:28

Hive SQL基础练习

HiveSQL文章目录HiveSQL一.Hive的DDL操作1.操作数据库2.操作表①管理表②外部表③分区表④分桶表⑤修改表⑥向表中加载数据⑦其他表操作二.hive的DML查询语法1.limit语句2.

DevinKim·2020-07-14 00:26

Hive 工作原理

HiveSQL任务本质上最后是转化成了MapReduce任务执行。

heamon7·2020-07-13 19:10

Spark&HiveSQL中Join操作的谓词下推？

前言：SparkSQL和HiveSQL的Join操作中也有谓词下推？今天就通过大神的文章来了解下。同样，如有冒犯，请联系。

Magician~·2020-07-13 09:18

分析工具学习笔记系列

一、EXCELEXCEL数据分析技巧EXCEL数据分析案例二、SQLSQL数据分析技巧SQL数据分析实战案例hivesql四、pythonpython数据分析python机器学习https://blog.csdn.net

anne_wang_swufe·2020-07-12 12:08

大数据hadoop领域技术总体介绍（各个组件的作用）

星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql

weixin_34072637·2020-07-12 08:14

hadoop组件及其作用

Hivesql数据仓库工具，使用方便，功能丰富，基

weixin_30384217·2020-07-12 05:55

HiveSQL percentile和percentile_approx 函数计算千分数

hive里面有个percentile函数和percentile_approx函数，其使用方式为percentile(col,p)、percentile_approx(col,p)，p∈(0,1)p∈(0,1)其中percentile要求输入的字段必须是int类型的，而percentile_approx则是数值类似型的都可以。其实percentile_approx还有一个参数B：percentile

小晓酱手记·2020-07-11 23:20

hive sql 底层语法解析-格式化

但对hivesql来说目前还没有比较好的工具可以直接拿过来用。1.ApexSQLRefactorSQLformatterhttps://www.apexsql.com/sql-tools-refac

君子意如何·2020-07-11 19:38

推荐频道

hivesql