hiveUDF

Hive UDF使用资源文件及动态更新方案

目录HiveUDF使用资源文件及动态更新方案背景资源文件动态更新HiveUDFJar动态更新结束语HiveUDF使用资源文件及动态更新方案背景注：本文中的“函数”等同于UDF，默认情况下特指永久函数。
demigelemiao·2020-05-26 13:00

Hive从入门到精通8：Hive自定义函数（UDF）

1.什么是HiveUDF？Hive中的用户自定义函数（即UserDefinedFunction，简称UDF），是用户对一些列Hive操作进行封装以实现特定的功能的函数。
金字塔下的小蜗牛·2020-04-03 08:01

Hive- UDF&GenericUDF

hiveudf简介在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数）。
raincoffee·2020-03-30 06:04

KAP v2.4新特性：可计算列结合UDF

在上一篇介绍可计算列的文章中，我们对可计算列的基本使用做了全面的介绍（详情点击：【技术帖】KAP2.4新特性：可计算列ComputedColumn），今天，本文将着重介绍如何在可计算列中结合HiveUDF
Kyligence·2020-02-17 06:42

hive udf 函数：MD5

利用hive做数据查询或者分析的时候，原生的hive函数可能无法满足我们的需求，这时候我们可以自定义hiveudf,函数；自定义hiveudf函数，有以下两点要求：函数类必须继承UDF类必须实现evaluate
Alijie·2020-01-08 10:42

如何在HadoopHive中使用UDF

UserDfinedFunction,即Hive的自定义函数,是一个合格数据分析师/工程师用好HadoopHive必备的工具之一,否则就无法按照各种各样的业务需求去查取数据.本文介绍了如何开发,使用HiveUDF
陈码工·2020-01-05 07:19

Spark SQL中Kryo反序列化问题分析

1问题描述当使用Spark-sql执行HiveUDF时会发生NullPointerException(NPE)，从而导致作业异常终止。
荒湖·2020-01-01 02:57

Hive UDF函数测试

HiveUDF函数测试1.UDF函数确定根据SVN路径获取UDF函数代码，然后将需要调整的部分作出相应调整（eg:新增2020年工作日信息修改对应的XML文件），重新使用maveninstall命令打包为新的
阿叮339·2019-12-30 14:00

详解 HiveUDF 函数

依赖开发HiveUDF之前，我们需要引入一个jar，这个jar就是hive-exec，里面定义了各种我们自定义的
tommy_yang·2019-12-07 22:42

java读取hive的orc文件

hiveAPI2hiveudf读取HDFS的orc文件packagehive_udf_province;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem
AI_leef·2019-10-31 08:43

datax数据同步实战（一）: hive2mysql

集群搭建参考博文:利用Python实现HiveUDF(Docker集群镜像)提示镜像内置mysql版本:Serverversion:5.7.23MySQLCommunityServer(GPL)目的实战
kngines·2019-04-12 00:31

Hive UDF小结

HiveUDF简介：1）Hive中用于扩展HiveSQL功能的用户自定义函数称为HiveUDF2）UDF又分为UDAF（用户自定义聚合函数），UDTF（用户自钉子表生成函数）Hive内置函数实际上Hive
WayBling·2018-06-17 16:53

hive udtf 输入一列返回多行多列

之前说到了hiveudf，见https://blog.csdn.net/liu82327114/article/details/80670415UDTF(User-DefinedTable-GeneratingFunctions
踩大侠·2018-06-13 20:11

hive 的udf 函数使用

一：hive的udf函数：1.1hiveUDF函数概述：1.hive自带了一些函数比如：max/min等，但是由于自带的函数数量有限，自己可以定义udf来方便扩展。
flyfish225·2018-04-12 10:40

hive UDF 1.2.2

packagecom.cc.hiveudf;importorg.apache.hadoop.hive.ql.exec.Description;importorg.apache.hadoop.hive.ql.exec.UDF
青青水草·2017-05-02 16:10

hive udf、udaf和udtf

HiveUDF、UDAF和UDTF函数背景：Hive的自定义函数无法满足实际业务的需要，所以为了扩展性，Hive官方提供了自定义函数来实现需要的业务场景1、定义  (1)udf(userdefinedfunction
high2011·2016-11-12 13:00

Hive数据仓库--HiveUDF异常解析与其中的坑

使用Hive进行分析的过程中遇到了这个异常的信息，一开始看到比较惊讶，因为感觉代码并没有什么不太合理的地方，不过还是抛出了一堆的异常信息，我把日志信息读了一下，发现导致最终异常的是FastJson在封装的时候找不到无参构造函数，虽然最终原因不是Hive引起的，但是上面的一堆异常也的确是唬人的。异常信息Error:java.lang.RuntimeException:org.apache.hadoo
wangyang1354·2016-11-11 16:00

SQL:将表中生日字段转化为年龄

year(current_date)-year(user_birthday))*12+month(current_date)-month(user_birthday))/12)计算日时分秒的情况下：……HiveUDF
Allen_Infosys·2016-09-29 11:12

Hive 学习笔记（三）

自定义函数当写hiveUDF时，有两个选择：一是继承UDF类，二是继承抽象类GenericUDF。
乄浅醉·2016-06-27 18:30

hive udf写hbase

最近遇到新的需求，需要将hive脚本运行输出的结果存入hbase，故写出一个通用的hiveudf来满足该需求，具体代码如下：importorg.apache.hadoop.conf.Configuration
Cumu_·2016-02-24 10:18

hive UDF 提取文本中的地名

有时候，需要从文本字符串提取出地区名，为了在HIVE中使用方便，开发了一个HIVEUDF，核心在于使用了hanLP这样一个中文文本处理的神器。
a_step_further·2016-02-24 10:00

Hive UDF教程（三）

HiveUDF教程（一）HiveUDF教程（二）HiveUDF教程（三）1.UDAF前两节分别介绍了基础UDF和UDTF，这一节我们将介绍最复杂的用户自定义聚合函数（UDAF）。
u010376788·2016-01-19 10:00

Hive UDF教程（二）

HiveUDF教程（一）HiveUDF教程（二）HiveUDF教程（三）1.UDTF上一篇介绍了基础的UDF——UDF和GenericUDF的实现，这一篇将介绍更复杂的用户自定义表生成函数（UDTF）。
u010376788·2016-01-18 17:00

Hive UDF教程（一）

HiveUDF教程（一）HiveUDF教程（二）HiveUDF教程（三）1.HiveUDF简介在Hive中，用户可以自定义一些函数，用于扩展HiveQL的功能，而这类函数叫做UDF（用户自定义函数）。
u010376788·2016-01-17 16:00

hql语句

hive本身为java语言开发而成，所以hive上面如果有什么特殊需求，完全可以是用hiveudf订制自己的需求（后续会介绍udf的开发方法）。
Joseph-Growth·2016-01-05 19:08

Spark SQL学习

http://www.cnblogs.com/yurunmiao/p/4685310.html绍SparkSQL的RegisterFunction，也就是说可以动态创建函数用于SQL查询，其实际作用类似于HiveUDF
wangqiaowqo·2015-12-18 13:00

hive 创建自定义函数 和 hive加载说明

 0hiveudf作用都限于对字段进行简单处理, udf定义好后被应用一般有三种方式： a)hiverc文件中 b)hql文件中写加载  c)hive/scrpits/根据文件名从小到大顺序来优先加载文件夹下的文件
chengjianxiaoxue·2015-08-15 16:00

Hive HDF 引用资源文件路径问题

1.UDF中没有引用其他资源文件HiveUDF函数，写完后打成jar包。
KNIFE_PAN·2015-04-17 14:06

Hive Udf 与Udaf

 HiveUdf与UdafHive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。
nysyxxg·2015-03-29 15:00

HIVE 一行转多行输出办法

1.问题描述hiveUDF 格式：oc号1_an号1_次数;oc号2_an号2_次数转换结果：oc号1an号1次数         oc号2an号2次数一行转多行，一行转多列2.实现思路第一步分割：split
郭恩洲的博客·2015-03-21 10:00

Hive UDF整理

目录[-]HiveUDF整理字符串函数字符串长度函数：length字符串反转函数：reverse字符串连接函数：concat带分隔符字符串连接函数：concat_ws字符串截取函数：substr,substring
wangjin161·2015-02-28 19:00

hive udf 例子

extendsUDF{publicStringevaluate(Stringstr){ newRuntimeException("hiveudfisError");returnnull;}}/** *hiveudf
昏鸦·2014-12-16 16:00

Hive 用户自定义函数UDF详解

本例自定义一个HiveUDF函数，功能是将从Hive数据仓库查询出来的字符串进行大小写转换。第一步，创建java工程，添加jar包。
epitomizelu·2014-12-14 10:21

利用eclipse编写自定义hive udf函数

eclipse编写自定义hiveudf函数在做日志分析的过程中，用到了hadoop框架中的hive，不过有些日志处理用hive中的函数处理显得力不从心，就需要用udf来进行扩展处理了1 在eclipse
开拓者-2015·2014-07-05 14:00

Hive UDF整理

HiveUDF整理字符串函数字符串长度函数：length语法:length(stringA)返回值:int说明：返回字符串A的长度举例：hive>selectlength(‘abcedfg’)fromdual
开拓者-2015·2014-07-05 14:00

Hive命令封装（笔记）

/etc/profilesql=`java-jar/root/custom/lib/hiveF.jar$*`echo"$sql"hive-e"$sql"2、hiveUDF.jar及hiveF.jar的编写
panguoyuan·2014-05-23 15:45

利用eclipse编写自定义hive udf函数

eclipse编写自定义hiveudf函数在做日志分析的过程中，用到了hadoop框架中的hive，不过有些日志处理用hive中的函数处理显得力不从心，就需要用udf来进行扩展处理了1 在eclipse
江中炼·2014-05-18 14:00

Hive UDF整理

p=951 HiveUDF整理字符串函数字符串长度函数：length语法:length(stringA)返回值:int说明：返回字符串A的长度举例：hive>selectlength(‘abcedfg’
江中炼·2014-01-17 16:00

hive UDF开发注意事项

   1）hiveUDF最好不要定义构造函数，因为构造函数中的一些资源初始化工作（如读取外部资源），会导致错误信息：FAILED:RuntimeExceptionjava.lang.reflect.InvocationTargetException
azhao_dn·2012-11-14 12:00

利用eclipse编写自定义hive udf函数

在做日志分析的过程中，用到了hadoop框架中的hive，不过有些日志处理用hive中的函数处理显得力不从心，就需要用udf来进行扩展处理了1 在eclipse中新建javaproject hiveudf
xrzs·2012-10-21 01:00

利用eclipse编写自定义hive udf函数

在做日志分析的过程中，用到了hadoop框架中的hive，不过有些日志处理用hive中的函数处理显得力不从心，就需要用udf来进行扩展处理了1 在eclipse中新建javaproject hiveudf
jiedushi·2011-08-29 13:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他