java spark依赖_Java——解决 Apache Spark中的依赖性问题

apache-spark的类路径是动态构建的(以适应每个应用程序的用户代码),这使得它容易受到此类问题的影响。@用户7337271的回答是正确的,但是还有一些问题,这取决于您使用的集群管理器(“master”)。

首先,Spark应用程序由这些组件组成(每个组件都是单独的JVM,因此在其类路径中可能包含不同的类):

驱动程序:这是创建SparkSession(或SparkContext)并 join到集群管理器以执行实际 job的应用程序。

apache-spark的集群模式概述中的这张图描述了它们之间的关系:

现在-这些组件中应该驻留哪些类?

这可以通过以下图表来回答:

让我们慢慢分析:

Spark代码是Spark的库。它们应该存在于所有三个组件中,因为它们包括让 spark在它们之间进行通信的胶水。顺便说一下,Spark的作者做出了一个设计决定,将所有组件的代码都包含在所有组件中(例如,将只在驱动程序的 executor中运行的代码也包括在内),以简化这一过程,所以Spark的“fat jar”(在1.6版本中)或“archive”(在2.0版本中,详细信息如下)包含了必要的代码。对于所有组件,应在所有组件中提供DE。

既然我们已经了解了这一点,那么如何让类正确地加载到每个组件中,以及它们应该遵循什么规则呢?

spark代码:正如前面的回答状态,您必须在所有组件中使用相同的scala和spark版本。

总而言之,这里有一个构建和部署 spark应用程序的建议方法(在本例中是使用 yarn ):

用您的分布式代码创建一个库,将其打包为一个“常规”JAR(带有一个描述其依赖性的.pom文件)和一个“胖JAR”(包含所有可传递的依赖性)。

你可能感兴趣的:(java,spark依赖)