lazy-linalg: spark第三方依赖打包

  • 简介
  • 基于sbt的方法
  • 基于IDEA的方法

简介

本次任务是对打包第三包 lazy-linalg
该包,包含了sbt的脚本

基于sbt的方法

下载源码解压后,在命令行模式(cmd)进入到源码所在的地址
E:\Workdir\ScalaWorkdir\lazy-linalg-master
然后执行命令:sbt

这种方法简单,但是编译过程需要联网下载大量依赖的jar包
由于受到联网的影响,所以还未成功

基于IDEA的方法

根据源码的包结构(如图),在我应用的代码直接添加这个包结构。然后编译打包

IDEA项目目录结构示意

PS编译的时候注意依赖的版本,由于lazy-linalg依赖spark 1.5以后的版本,而第一次编译设置依赖为:spark-assembly-1.3.0-hadoop2.4.0.jar。所以编译不通过
后来将编译依赖设置为:spark-assembly-1.5.2-hadoop2.6.0.jar则成功编译。

PS:由于目前没有1.5版本的spark,所以还没进行后的运行测试

你可能感兴趣的:(spark,机器学习)