pyspark报错：ValueError: object of IntegerType out of range

背景：

pyspark任务中，调用了udf处理数据，并使用了链接: pyspark 并行调用udf函数的方式，报错如上。但是在python中很少遇到整型越界问题。

解决方案：

1. 尝试使用int()做类型转换,long()转换非法，由于python对int没有做长整型和整型的明确区别，因此该操作并没有改变。
2. 发现在返回的schema中，定义整型类型有明显的LongType()和IntType(),因此试了试这个操作之后，问题解决了。

from pyspark.sql.types import StringType, StructField, StructType, LongType
output_struct = StructType([
	StructField('col', LongType())  # 将IntType改为LongType
])