hiveUDF

HDP-使用maven构建udf开发环境

环境：idea2017maven4.0hive1.2.1.2.6win10创建maven项目4.0.0hiveudf1.0-SNAPSHOTjarhivehttp://maven.apache.orgUTF
yunpiao·2024-01-01 14:55

UDFJson反斜杠解析出错记录

具体在Hiveudf中的名字叫get_json_object。
tomson8975·2023-10-25 01:51

Hive函数

HiveUDF类型Hive中有3种UDF：UDF：操作
DancingBUG·2023-10-15 18:47

Hive_UDF开发指南

打算细致的研究一下，这里我们将研究结果整理成博客，方便大家理解：参考文章：HiveUDF教程（一）https://blog.csdn.net/u010376788/article/details/50532166Hive
高达一号·2023-09-06 19:00

6、HIVE JDBC开发、UDF、体系结构、Thrift服务器、Driver、元数据库Metastore、数据库连接模式、单/多用户模式、远程服务模式、Hive技术原理解析、优化等(整理的笔记)

目录：5HIVE开发5.1HiveJDBC开发5.2HiveUDF6Hive的体系结构6.2Thrift服务器6.3Driver6.4元数据库Metastore6.5数据库连接模式6.5.1单用户模式6.5.2
涂作权的博客·2023-09-05 12:21

Hive UDF自定义函数上线速记

0.编写hiveudf函数jar包略1.永久函数上线1.1提交jar包至hdfs使用命令or浏览器上传jar到hdfs,命令的话格式如下hdfsdfs-put[Linux目录][hdfs目录]示例:hdfsdfs-put
mizuhokaga·2023-08-30 08:42

2018-04-09 数据仓库技能要求

优化1.2.非关系型数据库-Hive1.2.1.hivesql应用1.2.2Hivesql优化2ApacheHadoop基础2.1.Hadoop生态2.2MapReduce计算模型原理、开发及应用2.3HiveUDF
dataMaster·2023-08-15 15:04

HiveUdf动态设置读取HDFS上的配置文件

背景：在hive中编写udf时，我们可能会加载外部的配置文件，可以将配置打到Jar中，或者读取mysql配置，或者将配置放在hdfs上。在使用hiveCli客户端时也可以通过addfile添加资源，然后直接newFileInputStream(“fileName”)就能加载到，最后这种addfile的方式测试下来只能在hiveCli客户端先能读到配置，在beeline中无法读取到，jar或者mys
ThomasgGx·2023-08-10 18:20

HIVE udf、udaf、udtf函数定义与用法（最全！！！！！）

一、定义1、hiveudf、udaf、udtf函数定义与用法（1）UDF（user-definedfunction）作用于单个数据行，产生一个数据行作为输出。
nono19nice·2023-07-14 20:26

Ranger学习笔记 【udf权限】

目的hiveudf在ranger中的权限控制策略。涉及步骤:ADDjarcreateFUNCTION/createTemplateFUNCTION使用UDF重点观察这几个步骤如何进行权限管理的。
油纸雨伞·2023-04-04 17:36

FlinkSQL: Create function using jar-located in HDFS and use Hive UDF

序号作者版本时间备注1HamaWhite1.0.02022-12-05新增FlinkUDF2HamaWhite1.0.12022-12-06新增HiveUDF一、基础信息1.1组件版本JDK：1.8Flink
HamaWhite·2023-03-29 00:44

flink sql 知其所以然（十八）：在 flink 中还能使用 hive udf？附源码

小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（相同的逻辑在实时数仓中重新实现一遍），因此能够在flinksql中复用hiveudf
大数据羊说·2022-12-10 13:52

Flink1.15 SQL实现自定义UDF

摘要：类似于HiveUDF，FlinkSQL提供了丰富的函数类型来自定义函数，从而为FlinkSQL统计分析复杂的数据格式提供了重要手段。
大数据研习社·2022-12-07 12:23

Anaconda Tensorflow Pycharm 环境安装

等，还可以创建不同的环境，比如分别安装tensorflow1.x和tensorflow2.x版，指定不同版本的python，所安装的不同环境可以打包，和docker创建的镜像一样，放到hdfs上，执行hiveudf
桃子Anne·2022-11-19 02:54

Hive基于UDF进行文本分词

中的集合数据类型Hive动态分区详解hive中orc格式表的数据导入Java通过jdbc连接hive通过HiveServer2访问HiveSpringBoot连接Hive实现自助取数hive关联hbase表Hiveudf
忍者1·2022-08-08 21:18

Hive UDF整理

HiveUDF整理字符串函数字符串长度函数：length语法:length(stringA)返回值:int说明：返回字符串A的长度举例：hive>selectlength(‘abcedfg’)fromdual
sherri_du·2022-08-08 21:48

ansj分词器 java分词器 的hive UDF实现

ANSJ分词器来说说怎么使用吧先说这是一个Maven项目，需要对pom.xml文件修改增加依赖依赖如下写在dependencies内不用说了吧org.ansjansj_seg5.1.1符实际代码吧这是一个HiveUDF
雅风不雅·2022-08-08 21:48

开源项目丨Taier1.2版本发布，新增工作流、租户绑定简化等多项功能

本次版本发布更新功能：新增工作流新增OceanBaseSQL新增Flinkjar任务数据同步、实时采集支持脏数据管理HiveUDF控制台UI升级租户绑定简化新版本的使用文档已在社区中推送，大家可以随时下载查阅
·2022-07-27 09:26

Hive之同比环比的计算

中的集合数据类型Hive动态分区详解hive中orc格式表的数据导入Java通过jdbc连接hive通过HiveServer2访问HiveSpringBoot连接Hive实现自助取数hive关联hbase表Hiveudf
大数据技术派·2022-02-17 22:00

hive调优

自定义函数hive内置函数不满足业务可以使用java写自定义函数导入hiveUDF函数：大部分都是，一进一出UDAF多进一出如：聚合函数UDTF一进多出如：explodehive调优压缩压缩方案常用的gzip
·2021-02-06 02:32

hive调优

自定义函数hive内置函数不满足业务可以使用java写自定义函数导入hiveUDF函数：大部分都是，一进一出UDAF多进一出如：聚合函数UDTF一进多出如：explodehive调优压缩压缩方案常用的gzip
·2021-02-06 02:28

hive UDF里写了main方法，运行提示 错误: 找不到或无法加载主类

hiveUDF里写了main方法，运行提示错误:找不到或无法加载主类由于自定义的udf需要extendsUDF，由于UDF在hiveexec的jar包中，pom文件中，这个jar的作用范围是provided
AiBigData·2021-02-01 14:00

python UDF 实现对csv批量md5加密操作

md5的加密算法是开源的且成熟的，很多语言都有对应包可以直接用，我写了一个简单的python来实现，另一位同事做了一个hiveUDF来实现，这里都给大家分享一下。
·2021-01-01 16:01

Hive基于UDF进行文本分词

编写HiveUDF的步骤：添加相关依赖，创建项目，这里我用的管理工具是maven，所以我创建的也是一个maven项目(这个时候你需要选择合适的依赖版本，主要是H
不负此生·2021-01-01 13:18

Hive基于UDF进行文本分词

编写HiveUDF的步骤：添加相关依赖，创建项目，这里我用的管理工具是maven，所以我创建的也是一个maven项目(这个时候你需要选择合适的依赖版本，主要是H
不负此生·2021-01-01 13:39

HIVE常用UDF

这篇文章用来记录自己用过的hiveUDF和使用方法，将来也会陆续一直更新。
caoxx2323·2020-09-17 05:17

hql语句

hive本身为java语言开发而成，所以hive上面如果有什么特殊需求，完全可以是用hiveudf订制自己的需求（后续会介绍udf的开发方法）。
Joseph-Growth·2020-09-12 04:48

Hive进阶之UDF开发（Python版）

以下演示如何使用Python编写HiveUDF。
Kevin395·2020-09-11 09:47

Hive进阶之UDF开发（Java版）

以下演示如何使用Java编写HiveUDF。
Kevin395·2020-09-11 09:47

Hive权限控制中间层-Hamza

但使用中，比较明显的问题便是当存在多个应用同时使用同一Hive的时候，如何有效控制彼此的数据安全，如何更方便使用HiveUDF的扩展机制。当然，作为大数据平台开发过程中也同样遇到这些问题。
huanggang028·2020-09-11 01:41

解析Hive复杂字段2--UDF

前言上一篇文章说道工作中遇到一个需要解析Hive的复杂字段提取HotelId的多个结果的问题，第一时间采用了Hivesql自带的lateralview，explode及正则表达式处理成功，现在尝试采用hiveudf
风筝flying·2020-08-23 17:57

大数据hive之UDF函数（一）

hiveUDF转载于:https://www.cnblogs.com/zuizui1204/p/6768272.html
weixin_30527143·2020-08-22 23:03

HIVE实战处理（五） hive json map格式的数据组装

通过collcet_Set手动拼接json,手动效率不高,而且内置的UDF有连接符,最后生成的json格式怎么调试都不对,本想自己写UDF生成json,google后找到存在的UDF函数,先做以下记录:HiveUDF
sheep8521·2020-08-06 13:46

Hive 简单udf入门--自然周差异计算

实际上，hiveudf分为几种类型，我们本
等你归去来·2020-07-31 13:00

Hive函数及性能优化

文章目录一.Hive函数分类二.HiveUDF开发流程三.Hive事务四.Hive性能调优1.Hive性能调优工具-EXPLAIN2.Hive性能调优工具-ANALYZE3.Hive优化设计4.Job优化
sun_0128·2020-07-29 06:58

Hive数据仓库--HiveUDF异常解析与其中的坑

使用Hive进行分析的过程中遇到了这个异常的信息，一开始看到比较惊讶，因为感觉代码并没有什么不太合理的地方，不过还是抛出了一堆的异常信息，我把日志信息读了一下，发现导致最终异常的是FastJson在封装的时候找不到无参构造函数，虽然最终原因不是Hive引起的，但是上面的一堆异常也的确是唬人的。异常信息Error:java.lang.RuntimeException:org.apache.hadoo
低调的洋仔·2020-07-28 15:42

emoji正则表达式

eclipse编写hiveudf需要添加两个包，hive-exec-1.1.0.jar和hadoop-core-0.20.2.jarpublicclassEmojiNumextendsUDF{//实现evaluate
dongdongxiaogua·2020-07-27 21:43

Presto 函数开发

0.写在前面PrestoFunctions并不能像HiveUDF一样动态加载，需要根据Function的类型，实现Presto内部定义的不同接口，在Presto服务启动时进行注册，然后才能在SQL执行时进行调用
McHades·2020-07-23 10:00

大数据 java01 hive udf函数（手机号码脱敏）

HiveUDFHiveUDF函数1POM文件2.UDF函数3利用idea打包4添加hiveudf函数4.1上传jar包到集群4.2修改集群hdfs文件权限4.3注册UDF4.4使用UDFHiveUDF函数
weixin_41734687·2020-07-15 07:07

hive udf 读写存储到hbase的roaringbitmap

本项目源码地址https://github.com/sunyaf/bitmapudf本项目主要是将hiveudf、roaringbitmap、hbase集成到一起打包方法mvncleanpackage然后将
大肥肥哈哈哈·2020-07-14 18:04

Hive UDF函数编写流程详解

参考官网：https://cwiki.apache.org/confluence/display/Hive/HivePlugins添加hiveUDF函数https://cwiki.apache.org/
微步229·2020-07-14 13:54

Hive GenericUDF函数DateDiff源码解析

前言前面已经介绍过HiveUDF有两种实现方式，其中GenericUDF的方式是比较复杂的一种，为了加深对这种方式的理解，尝试去看了下Hive原生函数的源码，记录如下。
风筝flying·2020-07-04 19:21

Hive UDF使用资源文件及动态更新方案

文章目录HiveUDF使用资源文件及动态更新方案背景资源文件动态更新HiveUDFJar动态更新结束语HiveUDF使用资源文件及动态更新方案背景注：本文中的“函数”等同于UDF，默认情况下特指永久函数
demigelemiao·2020-07-04 09:48

hive最新UDF函数（2016-10-25）

>>>hiveUDF函数：（后期翻译，暂时先贴着，有兴趣来http://apache.wiki可以一起来翻译呀）https://cwiki.apache.org/confluence/display/Hive
weixin_34258078·2020-07-01 06:02

Maven：手动添加第三方包到本地pom

手动添加本地jar包至maven项目这周在使用maven创建HiveUDF工程时，依赖的一个jar包是本地的，在执行mvnpackage的时候一直报错。
dataMaster·2020-07-01 04:38

hive开发UDF的一个坑

开发UDF的maven依赖一定要干净，只添加所需的依赖，否则addjar到hive中时可能会造成依赖冲突，导致当前hive环境下所有提交的mapreduce任务都会像这样失败：hiveUDF依赖：4.0.0com.ipinyou.hiveudf1.0
savorTheFlavor·2020-06-26 07:07

DataX Transformer 源码分析及 UDF 扩展与使用

DataXGitHubDataXTransformer目录1前言2需求说明3解决方案分析4解密算法5HiveUDF5.1测试数据5.2新建Maven项目5.3POM5.4UDF5.5测试代码5.6编译打包
YoreYuan·2020-06-23 10:11

大数据 java hive udf函数的示例代码（手机号码脱敏）

HiveUDFHiveUDF函数1POM文件2.UDF函数3利用idea打包4添加hiveudf函数4.1上传jar包到集群4.2修改集群hdfs文件权限4.3注册UDF4.4使用UDFHiveUDF函数
·2020-06-22 08:01

在HIVE中使用机器学习

hivemall是基于hiveudf的机器学习工具，其开源地址为：https://github.com/apache/incubator-hivemall。
upup-我是昵称存在的分割线·2020-06-21 05:38

Hive UDF使用资源文件及动态更新方案--后记

目录HiveUDF使用资源文件及动态更新方案--后记HiveUDF使用资源文件及动态更新方案--后记在HiveUDF使用资源文件及动态更新方案一文中，针对UDF动态更新的问题，提出解决方案：UDF仅使用业务接口
demigelemiao·2020-05-26 13:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他