spark报错汇总

Exception in thread “main” java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
在pom.xml配置文件中加上下面的拦截器就可以了


spark-streaming-twitter_2.10:spark-streaming-twitter_2.10

**



twitter4j-stream:twitter4j-stream

**



:

META-INF/*.SF
META-INF/*.DSA
META-INF/*.RSA



Settings ALT+F8

scala中的sortBy()不能指定降序排列，需要用reverse。
spark中的rdd操作可以指定降序排列， 不需要用reverse。

java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.

解决：
设置应用程序的 VM options
idea的设置路径在：Run -Edit Configurations-Application选择对应的程序，设置VM options，如下：
-Xms256m -Xmx1024m
1

scala ide下的设置为：
eclispe 中window->preferences->Java->Installed JRE ，点击右侧的Edit 按钮，在编辑界面中的 “Default VM Arguments ”选项中，编辑。
could not locate executable **winutils.exe in the Hadoop binaries

windows环境下，解决：could not locate executable **winutils.exe in the Hadoop binaries.问题：
ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable E:\hadoop-2.6.3\bin\winutils.exe in the Hadoop binaries.

解决：将winutils.exe文件导入到对应Hadoop的bin目录下面去，就搞定！（放到HADOOP_HOME对应的hadoop版本目录下面）