geotrellis 版本选型和环境搭建
| 版本 |
内容 |
日期 |
作者 |
| 第一版 |
geotrellis版本选型和环境搭建 |
2018-5-30 |
XXX |
| 第二版 |
Idea 2017.3.5破解步骤 |
2018-6-11 |
XXX |
|
|
|
|
|
目录
一、 概述 2
二、 版本选型 3
三、 环境搭建 4
1. sbt搭建 5
① 下载sbt安装包 5
② 配置sbt环境变量 5
③ 设置sbt 6
④ 验证sbt 8
2. Idea + sbt搭建 8
① built.sbt配置 10
② plugins.sbt配置 14
③ build.properties配置 15
3. 导入模板 15
- 概述
GeoTrellis是一个使用Apache Spark处理栅格数据的Scala库和框架，通过Apache 2许可发布。
GeoTrellis尽可能快地读取，写入和操作光栅数据。它实现了许多地图代数运算以及矢量到栅格或栅格到矢量的操作。
GeoTrellis还提供了将栅格渲染为PNG或将栅格文件的元数据存储为JSON的工具。它旨在通过RESTful端点以网速（亚秒或更低）提供栅格处理，并提供大型栅格数据集的快速批处理。
- 版本选型
Geotrellis 所用语言是scala语言，利用spark处理，所以涉及到scala和spark版本问题，关于spark和scala版本，可参考spark官网介绍：
Spark 2.3.0 介绍：
Spark runs on both Windows and UNIX-like systems (e.g. Linux, Mac OS). It’s easy to run locally on one machine — all you need is to have javainstalled on your system PATH, or the JAVA_HOME environment variable pointing to a Java installation.
Spark runs on Java 8+, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.3.0 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x).
Note that support for Java 7, Python 2.6 and old Hadoop versions before 2.6.5 were removed as of Spark 2.2.0. Support for Scala 2.10 was removed as of 2.3.0.
Spark 2.2.0介绍：
Spark runs on Java 8+, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.2.0 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x).
Note that support for Java 7, Python 2.6 and old Hadoop versions before 2.6.5 were removed as of Spark 2.2.0.
Note that support for Scala 2.10 is deprecated as of Spark 2.1.0, and may be removed in Spark 2.3.0.
Spark每个版本都有其依赖库版本的介绍，选型时必须匹配版本，否则会有一些意想不到的错误发生
Geotrellis 使用sbt构建，本次sbt版本选择sbt 1.1.2
Geotrellis相关版本选项如下：
Scala : scala 2.11.7
Spark : spark 2.2.0
Java : java 1.8.0_162
Geotrellis : geotrellis 2.0.0-M2
Akka-actor : akka-actor 2.4.3
Akka-http : akka-http 10.0.3
Sbt : sbt 1.1.2
(注意，geotrellis1.x版本从hdfs直接读取切片进行渲染有bug,故使用2.x版本)
- 环境搭建
开发工具选择idea,版本为 2017.3.5，通过idea构建sbt项目来管理scala工程
1.sbt搭建
- 下载sbt安装包
下载sbt 1.1.2zip包（linux安装可下载tgz包），下载网址为：
https://www.scala-sbt.org/download.html
也可从服务器下载，下载地址为：
\\192.168.0.6\FileServer\FTP\大数据平台\geotrellis环境搭建\\sbt-1.1.2.zip
- 配置sbt环境变量
解压sbt安装包到某一目录下，以D:\sbt-1.1.2\sbt为例
配置sbt环境变量
- 设置sbt
默认情况下sbt会在用户目录下创建 .sbt目录和 .ivy目录
为本地仓，若重装系统会全部清除
修改sbt conf/sbtconfig.txt,添加以下内容：
-Dfile.encoding=UTF8
-Dsbt.boot.directory=D:/repository/sbt_repository/.sbt/boot
-Dsbt.global.base=D:/repository/sbt_repository/.sbt
-Dsbt.ivy.home=D:/repository/sbt_repository/.ivy2
-Dsbt.repository.config=D:/sbt-1.1.2/sbt/conf/repo.properties
-Dsbt.repository.secure=false
-Dsbt.boot.directory ： .sbt/boot的路径
-Dsbt.global.base ： .sbt 的路径
-Dsbt.ivy.home ： .ivy2的路径
-Dsbt.repository.config ： 沧源配置路经
由于sbt下载实在太慢，这里进行配置阿里云的镜像，修改repo.properties（没有的话新建），写入以下内容：
[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
maven-central
sonatype-oss-snapshots
- 验证sbt
打开cmd,输入sbt,如果出现类似下面的结果则表明安装成功：
第一次执行会下载一些jar包，比较费时，最后出现如上的 > 则表示成功，继续输入 sbtVersion 可查看sbt的版本
2.Idea 2017.3.5破解步骤
下载ideaIU-2017.3.5.exe安装包，服务器路径为：\\192.168.0.6\FileServer\FTP\大数据平台\geotrellis环境搭建。
下载破解码 JetbrainsCrack-2.7-release-str.jar，服务器路径同上。
安装ideaIU-2017.3.5.exe,安装结束后先不要运行，将JetbrainsCrack-2.7-release-str.jar 包放在某一目录下，例如放在idea安装目录下的bin/目录下,在idea 的bin/目录下的idea.exe.vmoptions 和 idea64.exe.vmoptions 文件末尾添加破解包路径，我的路径为：-javaagent:D:\IntelliJ IDEA_2017.3.5\bin\JetbrainsCrack-2.7-release-str.jar，注意修改成自己的路径
配置完成后可启动idea，选择 Activation code,输入：
-javaagent:D:\IntelliJ IDEA_2017.3.5\bin\JetbrainsCrack-2.7-release-str.jar
即上述文件中添加的内容，即可破解
3.Idea + sbt搭建
环境做了一个模板，开始时可直接导入模板，等待编译成功即可，
模板可在服务器上下载，地址为：
\\192.168.0.6\FileServer\FTP\大数据平台\geotrellis环境搭建\\geotrellis-sbt-template.zip
idea（idea 2017.3.5安装包可在服务器上下载，与sbt模板在同一目录下）要搭建scala项目，需要安装scala插件，点击Configure,选择plugins
在线安装
也可选择离线安装，选择Install plugin from disk...,然就选择本地插件zip包即可，idea 2017.3.5 scala安装包已上传至服务器，可点击此链接进行下载：
\\192.168.0.6\FileServer\FTP\大数据平台\geotrellis环境搭建\\scala-intellij-bin-2017.3.5.zip
模板主要配置介绍
- built.sbt配置
该配置相当于maven的pom.xml文件，主要管理依赖关系，具体内容如下，该配置导入了 geotrellis-spark 模块和 geotrellis-sprk-etl模块及其配到的组件
- plugins.sbt配置
该配置在project目录下，这里面配置sbt插件，比如编译打包等插件，一下插件几乎包含了geotrellis所能用到的全部插件
- build.properties配置
该配置配置sbt的版本
4.导入模板
点击Import Project,选择模板目录下的build.sbt,按下图进行配置
保险起见，VM Parameters下也可一将sbt conf下配置的参数写进去
点击ok等待编译完成，期间会下载大量所需要的jar包，虽然配置了国内镜像，但sbt项目下载始终很慢，可以将我下载好的repository解压到本地，你sbt conf下面所配置的仓目录下，可节约一些时间，repository服务器下载路径为：
\\192.168.0.6\FileServer\FTP\大数据平台\geotrellis环境搭建\\sbt_repository.zip
build.sbt编译成功后就可进行geotrellis的开发了
sbt.version=1.1.0