UDAF

hive 自定义函数UDF,UDAF

自定义函数 在hive中，有时候一些内置的函数，和普通的查询操作已经满足不了我们要查询的要求，这时候可以自己写一些自定义函数来处理。自定义函数（user defined function =UDF） 由于hive本身是用java语言开发，所以udf必须用java来写才可以。 Hive中有三种UDF 1.普通udf（UDF） 操作单个数据行，且产生一个数据作为输出。例如（数学函数，字符串函数
ruishen·2013-12-26 10:00

hive 自定义函数UDF,UDAF

自定义函数在hive中，有时候一些内置的函数，和普通的查询操作已经满足不了我们要查询的要求，这时候可以自己写一些自定义函数来处理。自定义函数（userdefinedfunction=UDF）由于hive本身是用java语言开发，所以udf必须用java来写才可以。Hive中有三种UDF1.      普通udf（UDF）操作单个数据行，且产生一个数据作为输出。例如（数学函数，字符串函数）2.   
ruishenh·2013-12-26 10:00

Hive 简单UDAF开发（extends UDAF）

HiveUDAF（User-DefinedAggregationFuncation）用户自定义聚合函数是一个很好的功能，集成了先进的数据处理。Hive有两种UDAF：简单和通用。
ningguixin·2013-12-08 22:00

Hive+UDAF简单示例

      在之前的一篇博文中,演示了一个使用通用UDTF来计算总分的小示例,下面用UDAF来做这个工作。      1.编写UDAF。         
wangzhun0129·2013-11-28 16:00

[转]Hive实现Oracle wm_concat函数

还好有现成的解决方案，否则又要自己码一个UDAF处理函数。
dacoolbaby·2013-10-24 11:00

[转]Hive实现Oracle wm_concat函数

还好有现成的解决方案，否则又要自己码一个UDAF处理函数。
dacoolbaby·2013-10-24 11:00

hive udf 与udaf

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式： JavaInteger/String,Hado
ningguixin·2013-10-18 10:00

CUDA快速傅里叶变换 - cuFFT

1.简介cuFFT是的全称是CUDAFastFourierTransform，顾名思义，它提供了一
Augusdi·2013-10-10 10:06

CUDA快速傅里叶变换 - cuFFT

1.简介cuFFT是的全称是CUDAFastFourierTransform，顾名思义，它提供了一
Augusdi·2013-10-10 10:00

Hive的UDF和UDAF编程实例

1.UDF UDF类必须继承org.apache.hadoop.hive.ql.exec.UDF类，并且实现evaluate方法 1.建立工程 2.导入hive和hadoop的jar包 3.编写代码          public class lower_Or_UpperCase extends UDF { //实现至少一个e
sunasheng·2013-09-17 10:00

Hive自定义UDF和聚合函数UDAF

Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为metastore的数据库中。可以在hive的外壳环境中直接使用dfs访问hadoop的文件系统命令。Hive
zhao_xiao_long·2013-09-04 15:21

Hive自定义UDF和聚合函数UDAF

    Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为metastore的数据库中。    可以在hive的外壳环境中直接使用dfs访问hadoop的文件系
zhao_xiao_long·2013-09-04 15:21

CUDA快速傅里叶变换（cuFFT）阅读笔记（一）

1.简介    cuFFT是的全称是CUDAFastFourierTransform，顾名思义，它
csgxy123·2013-08-29 23:00

（转载）Hive学习笔记--Hive 优化

原因是mapreduce作业初始化的时间是比较长的•sum,count,max,min等UDAF，不怕数
开源中国心理科主任·2013-08-09 15:00

hive 优化——深入浅出学Hive

原因是mapreduce作业初始化的时间是比较长的•sum,count,max,min等UDAF，不怕数
快乐程序员·2013-08-02 21:51

hive基于UDAF的编写

------------- select concat(account,'\t',bfdutmb,'\t',page_url) from ( select account,bfdutmb,actionPath(page_url,'->') page_url from ( select create_time,account,bfdutmb,page_url page_url from
ganliang13·2013-07-23 10:00

hive基于UDAF的编写

阅读更多-------------selectconcat(account,'\t',bfdutmb,'\t',page_url)from(selectaccount,bfdutmb,actionPath(page_url,'->')page_urlfrom(selectcreate_time,account,bfdutmb,page_urlpage_urlfromods_action_event
ganliang13·2013-07-23 10:00

hive基于UDAF的编写

阅读更多-------------selectconcat(account,'\t',bfdutmb,'\t',page_url)from(selectaccount,bfdutmb,actionPath(page_url,'->')page_urlfrom(selectcreate_time,account,bfdutmb,page_urlpage_urlfromods_action_event
ganliang13·2013-07-23 10:00

Hive内置row_number

hiverownumber内置函数使用例子Hive-0.11.0中内置row_number函数org.apache.hadoop.hive.ql.exe.FunctionRegistry registerHiveUDAFsAsWindowFunctions
yangjun2·2013-07-16 10:00

CUDA By Example（一）

使用完设备内存后要用cudaFree来释放掉分配的内存。在主机代码中可以调用cudaMemcpy来访问设备上的内存
2012到2014·2013-05-27 15:00

hive中自定义函数(UDAF)实现多行字符串拼接为一行

函数如何使用：hive>descconcat_test;OKa       intb       stringhive>select*fromconcat_test;OK1       good2       other1       nice1       hellohive>selecta,concat(b,',')fromconcat_testgroupbya;OK1       good,
gdp5211314·2013-04-12 14:00

cuda4.0编程指南 读书摘要

threadsPerBlock-----P8      3.blockIdx,blockDim  -----P9      4.syncthreads     同步 ----P10      5.cudaMalloc,cudaFree
fulva·2013-03-11 20:00

Hive-UDAF开发指南

www.cnblogs.com/ggjucheng/archive/2013/02/01/2888051.html在用Hive进行ETL的时候，对于一些复杂的数据处理逻辑，往往不能用简单的HQL来解决，这个时候就需要使用UDAF
dacoolbaby·2013-03-11 17:00

Hive-UDAF开发指南

ggjucheng/archive/2013/02/01/2888051.html   在用Hive进行ETL的时候，对于一些复杂的数据处理逻辑，往往不能用简单的HQL来解决，这个时候就需要使用UDAF
dacoolbaby·2013-03-11 17:00

hive中添加自定义udf udaf udtf等函数的jar文件的三种方法

在开发了hive的udfudafudtf函数的jar文件后，需要将jar文件放入hive的环境中才可以使用。可以通过以下三种方法加入：1. 
jiedushi·2013-03-03 22:00

GPU FFT

代码如下：CudafyModulekm=CudafyTranslator.Cudafy();   GPGPUgpu=CudafyHost.GetDevice(CudafyModes.Target); gpu.LoadModule
黄昏的金牛·2013-01-31 22:00

HIVE UDF UDAF UDTF 区别 使用

自己写代码时候的利用到的模板UDF步骤：1.必须继承org.apache.hadoop.hive.ql.exec.UDF2.必须实现evaluate函数，evaluate函数支持重载Java代码packagecom.alibaba.hive.udf;importorg.apache.hadoop.hive.ql.exec.UDFpublicclasshellowordextendsUDF{publ
原创学无止尽·2013-01-20 22:28

hive中UDF、UDAF和UDTF使用

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,Hadoo
原创学无止尽·2013-01-20 22:10

hive 自定义UDF UDAF UDTF

UDF步骤：1.继承org.apache.hadoop.hive.ql.exec.UDF2.实现evaluate函数，evaluate函数支持重载packagecn.sina.stat.hive.udf; importjava.util.Arrays; importorg.apache.hadoop.hive.ql.exec.UDF; publicfinalclassSortFieldConten
cheersu·2012-12-19 18:00

UDAF实现一个自定义的求和函数

转自：http://richie-hu.blog.sohu.com/141308974.htmlHive进行UDAF开发，相对要比UDF复杂一些，不过也不是很难。
rjxiaowu·2012-12-10 19:52

UDAF实现一个自定义的求和函数

转自：http://richie-hu.blog.sohu.com/141308974.html     Hive进行UDAF开发，相对要比UDF复杂一些，不过也不是很难。
goAheadtw·2012-12-10 19:00

hive开发UDF随记

在编写UDAF的时候，使用到DoubleWritable类型，要引用(org.apache.hadoop.hive.serde2.io包下的类)，在此包下有四个类分别为：ByteWritable、DoubleWritable
chenyi8888·2012-11-28 16:00

HIVE UDAF和UDTF实现group by后获取top值

作者：liuzhoulong发表于2012-7-2614:52:57 原文链接先自定义一个UDAF,由于udaf是多输入一条输出的聚合，所以结果拼成字符串输出，代码如下：publicclassTop4GroupByextendsUDAF
azhao_dn·2012-10-30 16:00

PGI 编译器

增强的PGIFortran编译器可以支持由NVIDIA和PGI共同定义的CUDAFortran扩展。CUDAFortran类似于NVID
C++ Coder·2012-10-21 13:00

hive中UDF和UDAF使用说明

  Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。 一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： a）文件格式：Text File，Sequence File b）内存中的数据格
caodaoxi·2012-09-20 23:00

HIVE UDAF和UDTF实现group by后获取top值

先自定义一个UDAF,由于udaf是多输入一条输出的聚合，所以结果拼成字符串输出，代码如下：publicclassTop4GroupByextendsUDAF{   //定义一个对象用于存储数据   publicstaticclassState
liuzhoulong·2012-07-26 14:00

HIVE如何使用自定义函数

如何开发HIVE的UDF/UDAF/UDTF，请参看如下博客介绍的自定义函数的模板：http://hugh-wangp.iteye.com/blog/1472371如何在HIVE中使用自己定义的函数，可以有几种方式
hugh.wangp·2012-06-28 19:00

HIVE如何使用自定义函数

如何开发HIVE的UDF/UDAF/UDTF，请参看如下博客介绍的自定义函数的模板： http://hugh-wangp.iteye.com/blog/1472371 如何在HIVE中使用自己定义的函数
hugh.wangp·2012-06-28 19:00

HIVE如何使用自定义函数

如何开发HIVE的UDF/UDAF/UDTF，请参看如下博客介绍的自定义函数的模板：http://hugh-wangp.iteye.com/blog/1472371如何在HIVE中使用自己定义的函数，可以有几种方式
hugh.wangp·2012-06-28 19:00

hive UDAF求平均值

最近做数据迁移项目，把聚合部分从kettle迁移到hadoop集群上，需要写很多聚合脚本在论坛是看到alipay同事写过类似cube的UDAF,代码拿过来运行下报错，有几个地方没看多，而且没有注释，只好从基础开始看
iteye_12579·2012-06-23 17:00

hive UDAF求平均值

最近做数据迁移项目，把聚合部分从kettle迁移到hadoop集群上，需要写很多聚合脚本 在论坛是看到alipay同事写过类似cube的UDAF,代码拿过来运行下报错，有几个地方没看多，而且没有注释，
安铁辉·2012-06-23 17:00

hive UDAF求平均值

最近做数据迁移项目，把聚合部分从kettle迁移到hadoop集群上，需要写很多聚合脚本 在论坛是看到alipay同事写过类似cube的UDAF,代码拿过来运行下报错，有几个地方没看多，而且没有注释，
安铁辉·2012-06-23 17:00

Hive中UDF和UDAF详细介绍和使用

一、UDF1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,HadoopIntWritable/Textc）用户提供的map/reduce脚本：不管什么语言，利用stdin/stdout传输
luanwpp·2012-05-07 16:00

Hive 的扩展特性—自定义脚本、UDF和UDAF介绍

Hive是一个很开放的系统，很多内容都支持用户定制，包括：文件格式：TextFile，SequenceFile内存中的数据格式：JavaInteger/String,HadoopIntWritable/Text用户提供的map/reduce脚本：不管什么语言，利用stdin/stdout传输数据用户自定义函数:Substr,Trim,1–1用户自定义聚合函数:Sum,Average……n–1Fil
luanwpp·2012-05-07 15:00

HIVE UDF/UDAF/UDTF的Map Reduce代码框架模板

  自己写代码时候的利用到的模板 UDF步骤： 1.必须继承org.apache.hadoop.hive.ql.exec.UDF 2.必须实现evaluate函数，evaluate函数支持重载 package com.alibaba.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF pu
hugh.wangp·2012-04-01 10:00

UDF 入门

最近感受了hive的udf函数的强大威力了，不仅可以使用很多已经有的udf函数，还可以自己定义符合业务场景的udf函数，下面就说一下如何写udf/udaf/udtf函数，算是一个入门介绍吧。
czw698·2012-03-26 18:00

Hive-0.5中UDF和UDAF简述

本文转自：http://blog.csdn.net/dajuezhao/article/details/5753001一、UDF1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,Hadoop
xqy1522·2012-03-20 13:00

如何写hive的udf函数？

最近感受了hive的udf函数的强大威力了，不仅可以使用很多已经有的udf函数，还可以自己定义符合业务场景的udf函数，下面就说一下如何写udf/udaf/udtf函数，算是一个入门介绍吧。
macyang·2012-03-16 23:00

Hive-0.5中UDF和UDAF简述

一、UDF1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,HadoopIntWritable/Textc）用户提供的map/reduce脚本：不管什么语言，利用stdin/stdout传输
andyxm·2012-02-01 11:00

Hive UDAF 开发

 本文转自：http://richiehu.blog.51cto.com/2093113/386113Hive进行UDAF开发，相对要比UDF复杂一些，不过也不是很难。
tylgoodluck·2011-11-22 22:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他