Spark SQL

Spark SQL 用户自定义函数

用户自定义函数,UDF,可以自己注册自定义函数，并在SQL语句中调用。Spark SQL不仅有自己的UDF接口，也支持已有的Apache Hive UDF

Spark SQL UDF

import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}
val conf=new SparkConf()
val sc=new SparkContext(conf)
val sqlCtx=new SQLContext(sc)
sqlCtx.udf.register("strLen", (s: String) => s.length())
length=sqlCtx.sql("select strlen('id') from ip ")

How can I register custom UDFs

Spark SQL 性能

    conf.set("spark.sql.codegen","true")