scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException java.lang.StackOverflow...

在写一个大数据项目的时候,用的 json schema 嵌套了很多层,使用了很多字段。编译的时候就爆出了这个堆栈溢出:

scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException
java.lang.StackOverflowError

解决方法一:

在 pom 文件里面添加 jvmArg, 将 -Xss 设置为 4096K:

                        
                            
                                
                                -dependencyfile
                                ${project.build.directory}/.scala_dependencies
                            
                            
                                -Xss4096K
                            
                        

这样 submit 的时候就可以跑了:

spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0   --class ohmysummer.SparkStructuredStreaming --master local[2]  --driver-memory 2g    --driver-cores 2    --executor-memory 2g    --executor-cores 2    --num-executors 2  target/wordcount-1.0-SNAPSHOT.jar

解决方法二:

点击 run 按钮的时候仍旧报堆栈溢出, 在 IDEA 中设置:

image.png

你可能感兴趣的:(scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException java.lang.StackOverflow...)