安装依赖关系解析插件
- 插件信息 https://github.com/jrudolph/sbt-dependency-graph
-
全局配置位置
image.png
graph_importer项目中使用依赖
项目scala版本：scalaVersion := "2.11.11"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "1.6.2",
"org.apache.spark" %% "spark-sql" % "1.6.2",
"com.databricks" %% "spark-csv" % "1.5.0",
"commons-cli" % "commons-cli" % "1.4",
"org.janusgraph" % "janusgraph-all" % "0.2.0" exclude("org.apache.hadoop","hadoop-common") exclude("com.sleepycat","je"),
"org.apache.hadoop" % "hadoop-common" % "2.7.2" exclude("javax.servlet", "servlet-api"),
"org.apache.hbase" % "hbase-shaded-client" % "1.2.6",
"com.alibaba" % "fastjson" % "1.2.39"
)
问题
- 在项目下执行sbt update，出现如下问题：依赖版本冲突，spark-core出现了使用scala 2.11 ，2.10编译的两个版本（其它冲突依赖都是这2个依赖的间接依赖，把这个依赖冲突解决了，其他都就解决了）。
[error] Modules were resolved with conflicting cross-version suffixes in {file:/Users/xiangzuqi/dev/idea_workspace/graph/}graph_importer:
[error] org.apache.spark:spark-launcher _2.11, _2.10
[error] org.json4s:json4s-ast _2.11, _2.10
[error] org.apache.spark:spark-network-shuffle _2.11, _2.10
[error] com.typesafe.akka:akka-actor _2.11, _2.10
[error] com.twitter:chill _2.11, _2.10
[error] org.json4s:json4s-jackson _2.11, _2.10
[error] com.fasterxml.jackson.module:jackson-module-scala _2.11, _2.10
[error] org.json4s:json4s-core _2.11, _2.10
[error] org.apache.spark:spark-unsafe _2.11, _2.10
[error] com.typesafe.akka:akka-remote _2.11, _2.10
[error] com.typesafe.akka:akka-slf4j _2.11, _2.10
[error] org.apache.spark:spark-core _2.11, _2.10
[error] org.apache.spark:spark-network-common _2.11, _2.10
[trace] Stack trace suppressed: run last graph_importer/*:update for the full output.
- 因为我们在.sbt中对spark-core的依赖是spark-core_2.11 1.6.2，所以我们知道使用scala 2.10版本编译的spark-core，不是我们想要的。
查找冲突依赖
- 执行 sbt dependencyList ：查询compile范围的依赖
- 注：sbt test:dependencyList 查询 test范围的依赖，test和compile的依赖一般不一样
- 查看spark-core 的不同版本。
- spark-core_2.11 1.6.1和spark-core_2.11 1.6.2两个版本
image.png
确定冲突依赖在哪里引进来的
- 查询以下冲突依赖分别来自哪里
[info] org.apache.spark:spark-core_2.10:1.6.1
[info] org.apache.spark:spark-core_2.11:1.6.2
查询org.apache.spark:spark-core_2.10:1.6.1依赖图
sbt whatDependsOn org.apache.spark spark-core_2.10 1.6.1
- 得到倒叙依赖关系，如下：
- 即graph_importer依赖janusgraph-all—》janusgraph-hadoop-》spark-gremlin-》spark-core_2.10:1.6.1
- 可以看到spark-core_2.10 1.6.1通过janusgraph-all的间接依赖传进来的。graph_importer下载janusgraph-all，janusgraph-all下载janusgraph-hadoop，janusgraph-hadoop下载spark-gremlin，spark-gremlin下载spark-core_2.10:1.6.1。
[info] org.apache.spark:spark-core_2.10:1.6.1
[info] +-org.apache.tinkerpop:spark-gremlin:3.2.6 [S]
[info] +-org.janusgraph:janusgraph-hadoop:0.2.0
[info] +-org.janusgraph:janusgraph-all:0.2.0
[info] +-com.jd.jr:graph_importer_2.11:1.0-fc49bb9d409f43dcd03e317471..
[info]
查询org.apache.spark:spark-core_2.11:1.6.2依赖图
- 下图可见此org.apache.spark:spark-core_2.11:1.6.2最终通过gaph_importer中的直接依赖spark-sql_2.11:1.6.2引进来的，是我希望的依赖。
image.png
冲突结论
从上一个步骤我们可以看出，org.apache.spark:spark-core_2.10:1.6.1是我们不希望的依赖，根据上面依赖关系可知，其是+-org.apache.tinkerpop:spark-gremlin:3.2.6 [S]的直接依赖。
解决思路：如果spark-gremlin3.2.6中对spark-core的依赖是spark-core_2.11:1.6.2的话，那么就不会出现冲突了。要想在保持spark-gremiln的3.2.6版本不变的情况下，让其依赖spark-core_2.11:1.6.2的话，就需要对其进行定制化编译：从github上下载spark-gremlin3.2.6源码，修改pom中spark-core的依赖版本，再重新编译打包，并将打包好的spark-gremlin3.2.6安装到本地仓库，然后当graph_importer下载spark-gremlin:3.2.6时，我们让其从本地仓库中下载我们改造过的依赖，而不是从中央仓库下载。（因为中央仓库中的spark-gremlin:3.2.6依然是依赖spark-core_2.10:1.6.1）
重新编译打包spark-gremlin
因为spark-gremlin是tinkerpop项目中的一个模块，所以需要下载tinkerpop，但是只需要修改sprk-gremlin模块就行，因为其他模块我们不需要。tinkerpop是maven项目。
git clone tinkerpop
git clone https://github.com/apache/tinkerpop.git
- 切换到3.2.6版本，并在此基础上新建分支tinkerpop3.2.6
git checkout 3.2.6
git checkout -b tinkerpop3.2.6
tinkerpop
-
修改spark-gremlin模块pom.xml文件，将其中依赖spark-core版本改为正确信息，还需要修改scala-library版本为2.11.8，其原来值是2.10
image.png
image.png -
编译spark-gremlin模块，并install到maven本地仓库
编译安装spark-gremlin模块到本地仓库 到此为止，本地maven仓库中的存在了我们定制过的spark-gremlin:3.2.6，其依赖的是spark-core_2.11:1.6.2。
让graph_importer下载本地maven仓库中定制的spark-gremlin
- graph_importer是sbt项目，其下载依赖默认从本地sbt仓库中下载，如果没有会从其默认的网上仓库下载。
- 如果让其能下载到本地maven中定制的spark-gremlin而且又不影响其它依赖的下载。那么根据sbt的下载逻辑来看，我们需要配置其寻找依赖的仓库和先后顺序。具体如下：首先修改sbt的默认下载仓库，让其包含本地maven仓库，其次让本地maven仓库的位置在中央仓库之前，这样其就会先从本地maven仓库中找，找不到才会到中央仓库中找，而spark-gremlin定制版本再本地maven仓库中包含了，就不会从网络上下载了。
repositories文件
- 在repositories中配置其默认的下载仓库和顺序
- 其位置在 ~/用户/.sbt 下，如果没有则创建，内容如下：
[repositories]
maven-local
local
//typesafe-releases: http://repo.typesafe.com/typesafe/releases
typesafe-ivy-releasez: http://repo.typesafe.com/typesafe/ivy-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
先删掉sbt本地仓库中的sprk-gremlin:3.2.6
- 因为其是之前下载的
查看sbt仓库解析器
- 查看当前项目下依赖解析器，可以看到本地maven仓库排在第一位，sbt解析依赖会按照顺序使用解析器解析，如果第前个解析不到就使用下一个解析器解析，都解析不到就报错。
> show fullResolvers
[info] * Raw(ProjectResolver(inter-project, mapped: ))
[info] * FileRepository(local,FileConfiguration(true,None),Patterns(ivyPatterns=List(${ivy.home}/local/[organisation]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]), artifactPatterns=List(${ivy.home}/local/[organisation]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]), isMavenCompatible=false, descriptorOptional=false, skipConsistencyCheck=false))
[info] * cache:Maven2 Local: C:\Users\zhouliang6\.m2\repository
[info] * my-maven-proxy-releases: http://10.13.96.74:8081/artifactory/libs-release
[info] * URLRepository(my-ivy-proxy-releases,Patterns(ivyPatterns=List(http://10.13.96.74:8081/artifactory/sbt-release/[organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]), artifactPatterns=List(http://10.13.96.74:8081/artifactory/sbt-release/[organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]), isMavenCompatible=false, descriptorOptional=false, skipConsistencyCheck=false))
执行sbt update
- 执行sbt update后，让其更新依赖，如果存在就不会在下载，否则使用本地。