spark异常汇总(持续更新中~~)

目录

1 idea运行spark javaApi 异常

问题点:

问题再现:

解决方案:


1 idea运行spark javaApi 异常

问题点:

idea不识别spark泛型,报异常但是能正常运行(maven clean)

问题再现:

入下图
incompatible types.required JavaRDD but 'flatMap' was inferred to JavaRDD:Incompatible equality constraint:String and T

spark异常汇总(持续更新中~~)_第1张图片

解决方案:

当前环境spark2.2 hadoop 2.7.5  scala 2.11.12
把spark2.2版本升级到2.4版本后泛型报错消失(可能是spark2.2bug 升级后修复)

spark异常汇总(持续更新中~~)_第2张图片

 

 

你可能感兴趣的:(spark)