Spark真实生产环境出错

2019独角兽企业重金招聘Python工程师标准>>>

com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.

获取正确的端口号
hdfs getconf -confKey fs.default.name

 

java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object;

scala版本不一致，修改版本。

spark2 ---scala2.11.x 最高到2.11.x

使用maven的maven-shade-plugin插件时需要注意的一个问题

需要配置一个false

                org.apache.maven.plugins
                maven-shade-plugin
                2.4.3
                
                    false
                
                
                    
                        package

mac进入Li

command + shift +g

转载于:https://my.oschina.net/u/4009325/blog/2960836