SparkPipeline: java.io.ObjectInputStream$BlockDataInputStream.readUnsignedShort

困扰了一个上午的问题终于解决了。

当遇到:sparksql at java.io.ObjectInputStream$BlockDataInputStream.readUnsignedShort 这样的问题。

你先看看是不是在udf中使用了变量

udf不能直接使用变量,要直接定义自己的变量,在调用udf时再将变量用lit封装后传入。

例如: xxudf(lit(变量))

你可能感兴趣的:(SparkPipeline: java.io.ObjectInputStream$BlockDataInputStream.readUnsignedShort)