E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
UDAF
CUDA快速傅里叶变换(cuFFT)阅读笔记(一)
1.简介cuFFT是的全称是C
UDAF
astFourierTransform,顾名思义,它提供了一
hdanbang
·
2015-07-23 21:28
GPU编程学之初
Hive自定义函数(UDF、
UDAF
)
当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数。UDF用户自定义函数(userdefinedfunction)–针对单条记录。创建函数流程1、自定义一个Java类2、继承UDF类3、重写evaluate方法4、打成jar包6、在hive执行addjar方法7、在hive执行创建模板函数8、hql中使用Demo01:自定义一个Java类packageUDFDem
李国冬
·
2015-07-21 23:40
Hive
Hive之翼
[转]HIVE UDF/
UDAF
/UDTF的Map Reduce代码框架模板
FROM: http://hugh-wangp.iteye.com/blog/1472371 自己写代码时候的利用到的模板 UDF步骤:1.必须继承org.apache.hadoop.hive.ql.exec.UDF2.必须实现evaluate函数,evaluate函数支持重载Java代码 package com.alibaba.hive.udf; import org.apache.ha
·
2015-06-18 22:00
reduce
UDF/
UDAF
/UDTF的Map Reduce代码框架模板
1.UDF步骤 1>必须继承org.apache.Hadoop.hive.ql.exec.UDF 2>必须实现evaluate函数,evaluate函数支持重载 import org.apache.Hadoop.hive.ql.exec.UDF public class helloword extends UDF{ publi
lixuguang
·
2015-05-22 11:00
HIVE函数
UDAF
1.模拟mysql group_concat函数 package com.lixg.
udaf
; import org.apache.hadoop.hive.ql.exec.
UDAF
; import
lixuguang
·
2015-05-21 17:00
hive udaf
Hive通用型自定义聚合函数(
UDAF
)
group_concat([DISTINCT]要连接的字段[OrderBYASC/DESC排序字段][Separator'分隔符'])hive只有一个collect_set内置函数,返回去重后的元素数组,但我们可以通过编写
UDAF
沧南
·
2015-05-05 17:31
Hive
Hive通用型自定义聚合函数(
UDAF
)
group_concat([DISTINCT]要连接的字段[OrderBYASC/DESC排序字段][Separator'分隔符'])hive只有一个collect_set内置函数,返回去重后的元素数组,但我们可以通过编写
UDAF
沧南
·
2015-05-05 17:31
Hive
Hive通用型自定义聚合函数(
UDAF
)
group_concat([DISTINCT]要连接的字段[OrderBYASC/DESC排序字段][Separator'分隔符'])hive只有一个collect_set内置函数,返回去重后的元素数组,但我们可以通过编写
UDAF
Desilting
·
2015-05-05 17:00
hive
udaf
开发入门和运行过程详解
hive
udaf
开发入门和运行过程详解介绍hive的用户自定义聚合函数(
UDAF
)是一个很好的功能,集成了先进的数据处理。hive有两种
UDAF
:简单和通用。
nysyxxg
·
2015-04-02 14:00
Hive自定义
UDAF
详解
这个需求用hql和内建函数也可完成,但是比较繁琐,会解析成几个MR进行执行,如果自定义
UDAF
便可只利用一个MR完成任务。所用Hive为0.13.1版本。
XiaoGuang-Xu
·
2015-04-02 14:58
Hive
Hive自定义
UDAF
详解
这个需求用hql和内建函数也可完成,但是比较繁琐,会解析成几个MR进行执行,如果自定义
UDAF
便可只利用一个MR完成任务。 所用Hive为0.13.1版本。
nysyxxg
·
2015-04-02 14:00
先分组求最大值,再把所有组求和的hive自定义
UDAF
参数可变,除最后一个外,都是分组字段。importjava.math.BigDecimal; importjava.util.HashMap; importjava.util.Map; importorg.apache.commons.logging.Log; importorg.apache.commons.logging.LogFactory; importorg.apache.hadoop
houzhizhen
·
2015-03-30 16:00
hive
分组查找出现最多的元素hive自定义
UDAF
importorg.apache.hadoop.hive.ql.udf.generic.*; importorg.apache.commons.logging.Log; importorg.apache.commons.logging.LogFactory; importorg.apache.hadoop.hive.ql.exec.Description; importorg.apache.had
houzhizhen
·
2015-03-30 16:00
hive
Axure RP Pro7.0
注册码1:2GQrt5XHYY7SBK/4b22Gm4Dh8alaR0/0k3gEN5h7FkVPIn8oG3uphlOeytIajxGU注册码2:+f4T7ql2FvMB6Jx0PvfoGBB8T5
UdAf
IZi3uJiP4VHI6xGkev7hKH
sgear
·
2015-03-30 14:00
Hive Udf 与
Udaf
HiveUdf与
Udaf
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。
nysyxxg
·
2015-03-29 15:00
Hive的
UDAF
编程:计算几何平均值
Reduce工程,命名为GeoMeanPro,在创建前,先把hive/lib目录下的jar包复制到hadoop/lib目录下面;(2)在创建的工程上添加class,新建包com.hive.geomean.
udaf
dalaoadalaoa
·
2015-03-23 22:44
大数据hadoop开发
hive 的udtf使用
HIVE的自定义函数,有UDF,
UDAF
,UDTF,分别实现一进一出、多进一出、一进多出的操作今天只分享一个UDTF的使用,另外两个以后再分享场景:使用UDTF解析JSON串废话不多说了,直接上代码要想写
晨磊
·
2015-03-19 14:00
【Hive七】Hive用户自定义聚合函数(
UDAF
)
问题:UDF也可以提供输入多个参数然后输出一个结果的运算,比如加法运算add(3,5),add这个UDF需要实现UDF的evaluate方法,那么UDF和
UDAF
的实质分别究竟是什么?
bit1129
·
2015-03-11 11:00
hive
【Hive七】Hive用户自定义聚合函数(
UDAF
)
问题:UDF也可以提供输入多个参数然后输出一个结果的运算,比如加法运算add(3,5),add这个UDF需要实现UDF的evaluate方法,那么UDF和
UDAF
的实质分别究竟是什么?
axxbc123
·
2015-03-11 11:00
Hive
【Hive七】Hive用户自定义聚合函数(
UDAF
)
问题:UDF也可以提供输入多个参数然后输出一个结果的运算,比如加法运算add(3,5),add这个UDF需要实现UDF的evaluate方法,那么UDF和
UDAF
的实质分别究竟是什么?
bit1129
·
2015-03-11 11:00
hive
【Hive七】Hive用户自定义聚合函数(
UDAF
)
问题:UDF也可以提供输入多个参数然后输出一个结果的运算,比如加法运算add(3,5),add这个UDF需要实现UDF的evaluate方法,那么UDF和
UDAF
的实质分别究竟是什么?
bit1129
·
2015-03-11 11:00
hive
Hive自定义
UDAF
Hive在查询数据时,有些聚类函数框架并没有提供实现,需要用户自定义实现,这称为
UDAF
(User-DefinedAggregationFunction)。
lzm1340458776
·
2015-01-30 20:00
hive
udaf
Hive自定义UDAF
自定义UDAF
Hive中添加自定义UDF,
UDAF
,UDTF等函数jar文件的三种方式
在开发了Hive的UDF、
UDAF
、UDTF等函数打成jar文件后,需要把jar文件放入Hive的环境中才可以使用。可以通过以下三种方式加入:1:使用addjarpath/test.jar方式加入。
lzm1340458776
·
2015-01-30 18:00
hive
jar包
udf
udf
添加jar包的方式
Hive自定义函数
UDAF
开发
Hive自定义函数
UDAF
开发Hive支持自定义函数,
UDAF
是接受多行,输出一行。通常是groupby时用到这种函数。其实最好的学习资料就是官方自带的examples了。
linger2012liu
·
2014-12-14 00:00
hadoop
hive
自定义函数
udaf
map-reduce
Hive-
UDAF
开发指南
www.cnblogs.com/ggjucheng/archive/2013/02/01/2888051.html 在用Hive进行ETL的时候,对于一些复杂的数据处理逻辑,往往不能用简单的HQL来解决,这个时候就需要使用
UDAF
吐槽的达达仔
·
2014-12-05 22:00
hive
udaf
hive udf和
udaf
一UDF1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。2、编写UDF函数的时候需要注意一下几点:a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。b)需要实现evaluate函。c)evaluate函数支持重载。3、以下是两个数求和函数的UDF。evaluate函数代表两个整型数据相加,两个浮点型数据相加,可变长数据相加
mlljava1111
·
2014-11-14 17:00
hive
Hive学习之自定义聚合函数
Hive支持用户自定义聚合函数(
UDAF
),这种类型的函数提供了更加强大的数据处理功能。Hive支持两种类型的
UDAF
:简单型和通用型。
sky_walker85
·
2014-10-07 15:00
hive
udaf
HIVE User Guide 总结之五
sum,count,max,min等
UDAF
,不怕数据倾斜问题,hadoop在map端的汇总合并优化,使数据倾斜不成问题。count(distinct),在数
Big-Data
·
2014-08-27 18:00
hive中UDF、
UDAF
和UDTF使用
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。 一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:TextFile,SequenceFileb)内存中的数据格式:JavaInteger/String,Hado
xiaofengxbf
·
2014-08-10 22:00
hive
udf
udaf
UDTF
hive mapreduce script用法示例
对于一些hql语句特殊处理,hive本身没有提供相应功能,可以有两种方式,一是mapreducescript,二是写UDF,
UDAF
,UDTF等。后者需要调用hive提供的api。
libing13810124573
·
2014-08-07 00:00
hive
udaf
package com.lwz.
udaf
; import org.apache.hadoop.hive.ql.exec.
UDAF
; import org.apache.hadoop.hive.ql.exec.
UDAF
Evaluator
乡里伢崽
·
2014-07-25 16:00
hive
Hive自定义
UDAF
详解
这个需求用hql和内建函数也可完成,但是比较繁琐,会解析成几个MR进行执行,如果自定义
UDAF
便可只利用一个MR完成任务。
paddy.w
·
2014-07-25 14:00
hive
Hive中添加自定义udf
udaf
udtf等函数的jar文件的三种方法
在开发了hive的udf
udaf
udtf函数的jar文件后,需要将jar文件放入hive的环境中才可以使用。可以通过以下三种方法加入:1.
开拓者-2015
·
2014-07-05 14:00
Hive中添加自定义udf
udaf
udtf等函数的jar文件的三种方法
在开发了hive的udf
udaf
udtf函数的jar文件后,需要将jar文件放入hive的环境中才可以使用。可以通过以下三种方法加入:1.
江中炼
·
2014-06-20 11:00
UDF和
UDAF
开发
UDF自定义函数自定义函数包括三种UDF、
UDAF
、UDTFUDF(User-Defined-Function)一进一出
UDAF
(User-DefinedAggregationFuncation)聚集函数
simpler
·
2014-05-27 20:00
hive UDF
UDF(userdefinedfunction).hive的UDF包含三种:UDF支持一个输入产生一个输出,UDTF支持一个输入多个输出输出,
UDAF
支持多输入一输出。
yonghutwo
·
2014-05-10 17:00
hive
CUDA下在Host端分配的几种内存模式
Pageable(交换页)的,而另一个模式就是Pinned(Page-locked),实质是强制让系统在物理内存中完成内存申请和释放的工作,不参与页交换,从而提高系统效率,需要使用cudaHostAlloc和c
udaF
reeHost
bit262426738
·
2014-04-21 15:20
GPU
hive中UDF、
UDAF
和UDTF使用
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:TextFile,SequenceFileb)内存中的数据格式:JavaInteger/String,Hadoo
龙明倩
·
2014-04-17 11:54
Hive
Axure RP7.0怎么注册
注册码二:2GQrt5XHYY7SBK/4b22Gm4Dh8alaR0/0k3gEN5h7FkVPIn8oG3uphlOeytIajxGU注册码三:+f4T7ql2FvMB6Jx0PvfoGBB8T5
UdAf
IZ
青茵
·
2014-04-12 16:00
hive
UDAF
之cube
过考虑用
UDAF
去做但是一直没有去实现,最近项目中需要根据配置自动聚合生成数据,目标结果表格式固定,正好满足自动cube的场景,所以就搞了个demo,还在测试中packagecom.taobao.voc.hive.udf
iteye_12579
·
2014-04-10 20:36
hadoop
hive
UDAF
之cube
过考虑用
UDAF
去做但是一直没有去实现,最近项目中需要根据配置自动聚合生成数据,目标结果表格式固定,正好满足自动cube的场景,所以就搞了个demo,还在测试中 package com.taobao.voc.hive.udf
安铁辉
·
2014-04-10 20:00
hive
hive
UDAF
之cube
过考虑用
UDAF
去做但是一直没有去实现,最近项目中需要根据配置自动聚合生成数据,目标结果表格式固定,正好满足自动cube的场景,所以就搞了个demo,还在测试中 package com.taobao.voc.hive.udf
安铁辉
·
2014-04-10 20:00
hive
hive
UDAF
求中位数
第一次写
UDAF
,拿中位数来练手。
u014388509
·
2014-04-03 13:00
hive
udaf
Hive.GROUPING SETS
如果说聚合函数(Simple
UDAF
/Generic
UDAF
)是HQL聚合数据查询或分析的中枢处理器,那GROUPBY可以说是聚合函数的神经了,GROUPBY收集和传递材料,然后交给聚合函数们去处理。
mashroomxl
·
2014-03-30 11:36
Hive
HQL
SQL
Hive
UDAF
开发之同时计算最大值与最小值
卷首语前一篇文章hive
UDAF
开发入门和运行过程详解(转)里面讲过
UDAF
的开发过程,其中说到如果要深入理解
UDAF
的执行,可以看看求平均值的UDF的源码本人在看完源码后,也还是没能十分理解里面的内容
·
2014-03-13 12:00
hive
hive
UDAF
开发入门和运行过程详解
介绍hive的用户自定义聚合函数(
UDAF
)是一个很好的功能,集成了先进的数据处理。hive有两种
UDAF
:简单和通用。
·
2014-03-06 11:00
hive
hive
udaf
返回复杂类型
方式1:packagecom.hive.customertag; importjava.util.ArrayList; importjava.util.regex.Matcher; importjava.util.regex.Pattern; importorg.apache.hadoop.hive.ql.metadata.HiveException; importorg.apache.h
j3smile
·
2014-02-17 16:00
Hive-
UDAF
开发指南
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:TextFile,SequenceFileb)内存中的数据格式: JavaInteger/String,Hado
wisgood
·
2014-01-16 14:00
hive
udaf
例子
查找单列数据的最大值1、源码packagecom.hive.
udaf
;importorg.apache.hadoop.hive.ql.exec.
UDAF
;importorg.apache.hadoop.hive.ql.exec.
UDAF
Evaluator
duan19056
·
2014-01-08 16:18
hive UDF
UDAF
UDTF
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。 一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式:Text File,Sequence File b)内存中的数据格式: Java Integer/St
kelvinliu117
·
2014-01-02 18:00
hive
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他