Spark综合学习笔记(二十六)SparkSQL实战8-UDF

学习致谢

https://www.bilibili.com/video/BV1Xz4y1m7cv?p=63

背景

无论Hive还是SparkSQL分析处理数据时,往往需要使用函数,SparkSQL模块本身自带很多实现公共功能的函数,在org.apache.spark.sql.functions中。SparkSQL与Hive一样支持定义函数:UDF和UDAF,尤其是UDF函数在实际项目中使用最为广泛。
·回顾Hive中自定义函数有三种类型:
1: UDF (User-Defined-Function)函数
一对一的关系,输入一个值经过函数以后输出一个值;
在Hive中继承UDF类,方法名称为evaluate,返回值不能为void,其实就是实现一个方法;
2: UDAF (User-Defined Aggregation Function)聚合函数
多对一的关系,输入多个值输出一个值,通常与groupBy联合使用;
3: UDTF (User-Defined Table-Generating Functions)函数一对多的关系,输入一个值输出多个值(一行变为多行);用户自定义生成函数,有点像flatMap;

需求

加载文件中的数据并使用SparkSQL-UDF将数据转为大写

代码实现

在这里插入代码片

结果演示

Spark综合学习笔记(二十六)SparkSQL实战8-UDF_第1张图片

你可能感兴趣的:(大数据,scala,spark,spark,hadoop,scala)