[解决方案] java.lang.ArrayIndexOutOfBoundsException: 3

[解决方案] Lost task 0.0 in stage 242.0 (TID 50429, spark-dn-bdp-p-037040.hz.td, executor 526): java.lang.ArrayIndexOutOfBoundsException: 3

原始代码

报错信息

分析过程

spark 升级到 spark 2.3.2后就有这个问题。具体原因后续再更新。

解决方案

加入 select 语句，pyspark 如下：

Scala 中解决办法为：

val isPartitionTable = spark.sql(s"desc test_table").select("col_name", "data_type").collect()