pyspark报错:ValueError: object of IntegerType out of range
背景:pyspark任务中,调用了udf处理数据,并使用了链接:pyspark并行调用udf函数的方式,报错如上。但是在python中很少遇到整型越界问题。解决方案:尝试使用int()做类型转换,long()转换非法,由于python对int没有做长整型和整型的明确区别,因此该操作并没有改变。发现在返回的schema中,定义整型类型有明显的LongType()和IntType(),因此试了试这个操