spark-udf函数

udf函数自定义

from pyspark.sql import SparkSession
from pyspark.sql.types import *

创建连接

ss = SparkSession.builder.getOrCreate()

读取hdfs的数据,格式为csv 读取的是hdfs我还以为会调整一下

8020是namenode的默认端口

df_csv = ss.read.csv(‘hdfs://node1:8020/user/hive/warehouse/data/stu.csv’,
schema=‘name string,age int,gender string,phone string,email string,city string,address string’)
df_csv.show()

对邮箱数据进行处理

def func(email):
username = email.split(‘@’)[0]
email_name = email.split(‘@’)[1].split(‘.’)[0]
# todo 新知识：返回多个数据如何做到？
return [username, email_name]

将定义的函数注册到spark中进行使用

todo 我说之前怎么自定义后用不了，原来是没有注册

第一个函数 指定一个注册的函数名称

第二个函数 指定一个自定义函数名称

returnType 指定返回的数据类型

注意这里的func不能带括号,返回的数据类型是需要导入另一个包

好好，这里又用一个坑，它不自己跳出来returnType=ArrayType(StringType())

todo returnType=ArrayType(StringType) 里面的这个括号它自己不跳出来

email_func = ss.udf.register(‘email_func’, func, returnType=ArrayType(StringType()))

SQL使用

df_csv.createTempView(‘stu’)
df_csv_show = ss.sql(‘select neme,age,general email_func(email)[1] from stu’)
df_csv_show.show()

DSL

我以为是怎么用的，df_csv.email

df_csv_SQL= df_csv.select(‘name’,‘age’,‘gender’,email_func(‘email’).alias(‘email_data’)[0])
df_csv_SQL.show()