UDTF

hive lateral view explode (array()） array为null

谈一下使用hiveudtf函数lateralviewexplode(array())array为空时遇到的坑，这个UDTF转换的Array为空的记录，自动被过滤掉了。
数据fengheng·2019-03-26 18:10

hive函数中的operators, UDF, UDAF, UDTF, PTF

operators=,!=,,ISNULL,...+,-,*,/,...AND,OR,IN,...UDF(UserDefinedFunctions)hive内置的udf函数(1->1)：**math:round,floor,ceil,exp,log,...date:to_date,from_unixtimestamp,...conditional:if,isnull,case,coalsce,..
SavorTheFlavor·2019-03-26 00:00

Hive之UDFs(User-Defined Functions )

内置操作(UDO)内置功能(UDF)内置聚合功能(UDAF)内置的表-生成功能（UDTF）自定义UDFs(本次主要是讲解自定义UDF)2.为什么使用UDFs2.1当内置
王小雷-多面手·2019-03-22 11:56

Hive笔记3-HQL操作

HiveShell参数(内置运算符、内置函数)等Hive入门及常用指令Hive分区、分桶操作及其比较函数分类，HIVECLI命令，简单函数，聚合函数，集合函数，特殊函数(窗口函数，分析函数，混合函数，UDTF
Fighting_No1·2019-03-20 15:19

hsql中split函数，lateral view explode的常规用法

deselectexplode（split（name,'，'））fromtablename;idname1hello1hao1heLateralview：lateralview用于和split、explode等UDTF
hello_fancy·2019-03-19 10:27

Hive自定义UDF函数

UDF：一进一出（User-Defined-Function）UDAF:多进一出（count、max、min）UDTF:一进多出自定义UDF代码publicclassLowerextendsUDF{//
千雨猫·2019-03-05 22:09

Hive UDTF开发指南

之前说过HIVE，UDF(User-Defined-Function)函数的编写和使用，现在来看看UDTF的编写和使用。
trista0929·2019-03-03 11:25

hive lateral view和explode的理解

explode（）就是内置表生成函数（UDTF），UDTF将为每个输入行生成零个或多个输出行。fromClause:FROMbaseTable(later
Robin_Yao_Wenbin·2019-02-27 14:25

spark-sql的进阶案例

（1）骨灰级案例--UDTF求wordcount数据格式：每一行都是字符串并且以空格分开。
原生zzy·2019-01-05 23:41

hive之——lateral view与UDTF

UDTF是什么：表生成UDF，接收一个数据行，然后返回多个数据行（一个表作为输出）。UDTF函数语法：只允许单独、使用一个UDTF进行操作。
爱学习的倪库里·2018-12-12 20:19

4-hadoop之数据仓库hive(三) Hive 自定义函数

一、关于UDF、UDAF、UDTF三种自定义函数1.UDF：用户自定义函数（一输入一输出）继承UDF类◆重写evaluate方法◆打包类所在项目成一个all-in-one的jar包并上传到hive所在机器
Aupa~Atleti·2018-12-08 12:51

hive列转多行LATERAL VIEW explode

lateralview用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateralview首先为原始表的每行调用UDTF，UDTF
s小菜鸟·2018-11-29 21:14

实习项目之（二）APP热点标签分析

APP热点标签分析项目角色:核心研发开发组人员:1工作内容：通过hive数据仓库，hivesql语句和udf/udaf/udtf对海量数据完成统计分析，找到热度标签，通过热度标签能够提高APP的下载量和使用量一
Aupa~Atleti·2018-11-13 15:35

Hive函数

自定义函数自定义函数包括三种：UDF、UDAF、UDTF。
MR_ChanHwang·2018-09-14 17:41

Hive 自定义函数(UDF，UDAF，UDTF)详解

1.自定义函数简单介绍1.1概述Hive自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-definedfunction）。根据用户自定义函数类别分为以下三种：•UDF（User-Defined-Function）：一进一出•UDAF（User-Defi
似梦似意境·2018-08-28 21:03

Hive自定义函数

0、自定义函数类型（1）UDF：userdefinefunction，输入单行，输出单行，类似于format_number(age,'000')（2）UDTF：userdefinetable-genfunction
野马瞎侃·2018-08-11 20:10

hive常用UDF and UDTF函数介绍-lateral view explode()

转载自：https://blog.csdn.net/zeb_perfect/article/details/53304330前言：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。这里只大概说下Hive常用到的UDF函数，全面详细介绍推荐官网wiki：https://cwiki.apache.org/confluence/display/Hive/LanguageManu
河南骏·2018-08-07 11:39

hive常用UDF and UDTF函数介绍-lateral view explode()

转载自：https://blog.csdn.net/zeb_perfect/article/details/53304330前言：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。这里只大概说下Hive常用到的UDF函数，全面详细介绍推荐官网wiki：https://cwiki.apache.org/confluence/display/Hive/LanguageManu
河南骏·2018-08-07 11:39

Hive - 自建函数

自建函数（User-DefinedFunctions即UDF函数）  自建函数分为3中，UDF、UDAF、UDTF。UDF（一进一出），UDAF（集合函数多进一出函数），UDTF（一进多出）。
正经黑天鹅·2018-06-18 10:18

Hive UDF小结

HiveUDF简介：1）Hive中用于扩展HiveSQL功能的用户自定义函数称为HiveUDF2）UDF又分为UDAF（用户自定义聚合函数），UDTF（用户自钉子表生成函数）Hive内置函数实际上Hive
WayBling·2018-06-17 16:53

hive udtf 输入一列返回多行多列

之前说到了hiveudf，见https://blog.csdn.net/liu82327114/article/details/80670415UDTF(User-DefinedTable-GeneratingFunctions
踩大侠·2018-06-13 20:11

Hadoop3集群搭建之——hive添加自定义函数UDTF

原文链接：http://www.cnblogs.com/Springmoon-venn/p/9063698.html上篇：Hadoop3集群搭建之——虚拟机安装Hadoop3集群搭建之——安装hadoop，配置环境Hadoop3集群搭建之——配置ntp服务Hadoop3集群搭建之——hive安装Hadoop3集群搭建之——hbase安装及简单操作Hadoop3集群搭建之——hive添加自定义函数U
anfuyi5792·2018-05-20 16:00

Hive原理详解

selectword,count(*)from(selectexplode(split(sentence,''))aswordfromarticle)tgroupbyword即可完成wordcount(UDTF
贫僧洗头爱飘柔·2018-03-25 20:53

Hive笔记整理（三）

UserDefinitionFunction用户定义函数）一路输入，一路输出sin(30°)=1/2UDAF（UserDefinitionAggregationFunction聚合函数）多路输入，一路输出maxmincountsumavg等等UDTF
xpleaf·2018-03-23 00:09

Hive udtf 报错 java.lang.String cannot be cast to java.lang.Integer

Error：Failedwithexceptionjava.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException:java.lang.ClassCastException:java.lang.Stringcannotbecasttojava.lang.Integerreason:在设置IO类型时采用了错误的数据类型field
秉寒CHO·2018-03-08 09:44

Hive的用户自定义函数UDF开发步骤详解

1、自定义函数的分类：UDF:one2one concat/lower 生产上用的最多UDAF:many2onecount/max......UDTF:one2many lateralviewexplode2
Mr_249·2018-01-20 20:32

Hive lateral view使用示范

lateralview用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据；在此基础上可以对拆分的数据进行聚合，lateralview首先为原始表的每行调用UDTF，UDTF
BabyFish13·2018-01-02 11:46

接口声明变量的一个实际例子

实际工作中在重写UDTF子类的process方法的时候，遇到了一个forward方法，在研究源码的过程中对接口的概念更为清晰了。
cl_1234567·2017-12-12 19:26

09-天亮大数据系列教程之hive之udf/udaf/udtf

目录1、udf2、udaf3、udtf4、练习题详情1、udf(userdefinedfunction)背景系统内置函数无法解决实际的业务问题，需要开发者自己编写函数实现自身的业务实现诉求。
周天亮·2017-12-01 12:56

hive中行转列的问题：

：|小明|北京||小明|天津|这个时候用selectname,explode(split(addr,',')`frompeople；会报错：SemanticException[Error10081]:UDTF'sarenot
dj_2009291007·2017-11-29 17:32

hive 行转列 分割

value为一列限制：1、NootherexpressionsareallowedinSELECTSELECTpageid,explode(adid_list)ASmyCol…isnotsupported2、UDTF
小亚文·2017-10-27 15:48

行转多列lateral view explode详解

行转多列lateralviewexplode详解:lateralview用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateralview
碧水幽幽泉·2017-10-11 23:54

odps词频统计

1、搭建maxcomputestudio一、编写udtf2、在项目下面选择script新建文件：new->maxcomputpython->pythonudtf，然后编写文本spilt：fromodps.udfimportannotatefromodps.udfimportBaseUDTF
hjimce·2017-09-29 15:09

hive中UDTF编写和使用

hive使用也将近两年了，很多东西都在慢慢累积，对于自定义的function，工作中主要用到的就是UDF和UDTF，UDF在前面的文章已经介绍过了，这里将UDTF做一个笔记，以便以后参考。
小江_xiaojiang·2017-09-08 10:09

hive内置UDTF函数

explode函数：hive内置的表生成函数，主要用于将一行输入拆分成多行输出。官网解释：explode()takesinanarray(oramap)asaninputandoutputstheelementsofthearray(map)asseparaterows.UDTFscanbeusedintheSELECTexpressionlistandasapartofLATERALVIEW.①
每天进步一点点2017·2017-08-20 12:02

Hive UDF /UDAF /UDTF Example

一些HiveUDFUDAFUDTF例子来源于Hive源码UDF：1/***LicensedtotheApacheSoftwareFoundation(ASF)underone*ormorecontributorlicenseagreements.SeetheNOTICEfile*distributedwiththisworkforadditionalinformation*regardingcop
唐予之_·2017-08-15 21:54

Spark UDTF 与 输出多列的UDF小笔记

为什么80%的码农都做不了架构师？>>>前言对于UDF和UDAF相比大家并不陌生，用起来也都很顺手，在此就不多做介绍了~通常我们的UDF都是一个或多个输入，然后一个输出。如果想要使用多个输出，比如像1.6版本里的json_tuple这样：df.select(json_tuple(col("jsonField"),"Field1","Field2").as(Seq("Field1","Field2"
weixin_34306593·2017-07-21 16:00

Lateral View用法 与 Hive UDTF explode

LateralView是Hive中提供给UDTF的conjunction，它可以解决UDTF不能添加额外的select列的问题。1.WhyweneedLateralView？
张博208·2017-06-30 13:19

Hive行列转换-lateral view的使用

lateralview用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据；在此基础上可以对拆分的数据进行聚合。
BabyFish13·2017-05-19 14:08

hive UDAF详解

UserDefinedAggregationFuncation用户自定义聚类方法，和groupby联合使用接受多个输入数据行，并产生一个输出数据行（顺带一句，UDTF(user-definedtable-generatingfunction
Nougats·2017-05-14 14:46

HIVE 自定义函数之UDF/UDAF/UDTF

UDFUDF:用户自定义函数，表示以一行数据中的一列或者多列数据作为参数然后返回结果是一个值的函数，例如round()和floor().示例：比较两个逗号分隔的字符串是否相同。JAVA代码中一定要继承UDF类并实现evaluate()函数，在查询过程中对应的么一个用到这个函数的地方都会对这个类进行实例化，对每行输入都会调用到evaluate()函数，而且用户是可以重载evaluate方法的。废话不
——。——·2017-04-10 02:09

Hive中UDF、UDAF和UDTF使用

1.Hive中的内置函数org.apache.hadoop.hive.ql.exec.FunctionRegistry类中定义了Hive目前内置的自定义函数registerGenericUDF("concat",GenericUDFConcat.class);registerUDF("substr",UDFSubstr.class,false);registerUDF("substring",UD
huimingBall·2017-03-22 20:06

[Hive]Lateral View使用指南

如内置表生成函数中所述，UDTF为每个输入行生成零个或多个输出行。L
SunnyYoona·2017-03-17 19:25

hive常用UDF and UDTF函数介绍-lateral view explode()

UDTF(User-
zeb_perfect·2016-11-23 14:06

hive udf、udaf和udtf

HiveUDF、UDAF和UDTF函数背景：Hive的自定义函数无法满足实际业务的需要，所以为了扩展性，Hive官方提供了自定义函数来实现需要的业务场景1、定义  (1)udf(userdefinedfunction
high2011·2016-11-12 13:00

Hive 之 用户自定义函数 UDF UDAF UDTF

一什么是UDFUDF是UserDefinedFunction用户自定义函数的缩写。Hive中除了原生提供的一些函数之外，如果还不能满足我们当前需求，我们可以自定义函数。除了UDF之外，我们还可以定义聚合函数UDAF和Table-Generating函数  二如何创建UDF函数2.1编写JAVA类，需要继承UDF类或者GenericUDF一般需要返回简单数据类型的，继承UDF就可以，然后实现eval
zhanglh046·2016-11-10 17:00

hive中UDF、UDTF、UDAF快速上手

在hive中新建表”apache_log”CREATETABLEapachelog(hostSTRING,identitySTRING,userSTRING,timeSTRING,requestSTRING,statusSTRING,sizeSTRING,refererSTRING,agentSTRING)ROWFORMATSERDE'org.apache.hadoop.hive.serde2.R
M_SIGNALs·2016-10-24 17:55

Hive UDF UDTF UDAF 函数

1、UDF（时间格式转换）//1、定义一个类继承UDF，然后添加一个方法，ecaluate，这个方法的参数和返回值类型和函数的输入输出一致//2、把项目打包成jar，然后放到hive的classpath下，或者addjar//3、在hive里面新建一个funcation,然后指定到我们新建的类型createfunctionMyDateParseras'hadoop.Hive.UDF.MyDateP
笨鸟先飞-天道酬勤·2016-10-24 17:32

hive中的lateral view 用法详解上篇

描述lateralview用于和split,explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。
AnneQiQi·2016-05-17 11:18

HIVE自定义函数之UDF，UDAF和UDTF

hive允许用户使用自定义函数解决hive自带函数无法处理的逻辑。hive自定义函数只在当前线程内临时有效，可以使用shell脚本调用执行hive命令。UDF输入一行数据输出一行数据。解决问题描述想要比较两个逗号分隔的字符串是否相同。-使用方法如果ignoreNullFlag是1，则两个字符串都是空算相等，如果不是1，算不等addjar/home/mart_wzyf/zhuhongmei/plis
Jumay0612·2016-04-29 18:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他