pyspark 报错：local class incompatible的解决方法

1. 总结

如果使用jupyter以standalone方式调试pyspark程序时，务必要保持driver端的pyspark版本与hadoop里的pyspark版本一致。

2. 具体问题

使用pyspark程序，如果报错类似：

local class incompatible: stream classdesc serialVersionUID = -3328732449542231715, local class serialVersionUID = 4416556597546473068这个错

很大概率是pyspark的版本问题，目前我遇到的情况是hadoop里的pyspark是2.4.7，而driver端的应用程序里装的pyspark是2.4.0，在show()的时候就会报上述错误。

同时，如果有列名里有中文，pyspark版本不一致时也会报错。

3. 技术点

通常使用pyspark程序，会有两种方式。

第一种方式是使用jupyter以standalone方式调试程序，这时候jupyter里使用的pyspark和大数据平台里的pyspark并非是一个，所以要保证版本一致。

例如在我使用的大数据平台下面的pyspark在如下目录：

 而jupyter是在一个单独的容器里的。

第二种方式是用yarn提交，这时候使用的pyspark都是一个，就是大数据平台里自带的这个。无需考虑版本不一致的问题。