Ubuntu安装IDEA、配置SCALA/SPARK环境、解决pom文件无法加载依赖库的问题
Ubuntu安装IDEA、配置SCALA/SPARK环境、解决pom文件无法加载依赖库的问题
- 前言
-
- 1. 安装jdk
- 2. 安装scala
- 3. 安装IDEA
- 4. 安装scala插件
- 5. 解决依赖包无法下载的问题
前言
一般情况下，习惯于在windows上进行Spark代码开发，然后将写好的代码打好包提交集群执行。然而，前几天有人突然问我如何在Ubuntu下安装Spark并配置相应的开发环境，我不加思索的说依次装jdk、scala、spark,然后安装idea环境，安装scala插件,最后在pom文件中添加依赖包就可以进行代码开发了。然而，他按照我这种方法去做时，遇到了很多奇怪的问题，很多是windows下不曾发生的。鉴于此，我自己搭了Ubuntu环境，亲自踩踩这个坑。
1. 安装jdk
我的系统是Ubuntu16.04，打开终端输入命令：
- 1 更新软件包信息
sudo apt-get update
1.2. 安装jdk
sudo apt-get install default-jdk //默认是jdk1.8环境
安装过程中出现输入“Y/N”时,输入Y
1.3 查询java版本
java -version
出现如下信息：
lf@lf-NB50TJ1-TK1:~$ java -version
openjdk version “1.8.0_222”
OpenJDK Runtime Environment (build 1.8.0_222-8u222-b10-1ubuntu1~16.04.1-b10)
OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode)
也可通过其它命令来查看jdk安装的位置：
update-alternatives --display java
结果如图所示：
lf@lf-NB50TJ1-TK1:~$ update-alternatives --display java
java - 自动模式
link best version is /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
链接目前指向 /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java（具体路径）
link java is /usr/bin/java
slave java.1.gz is /usr/share/man/man1/java.1.gz
/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java - 优先级 1081
次要 java.1.gz：/usr/lib/jvm/java-8-openjdk-amd64/jre/man/man1/java.1.gz
若操作系统不为Ubuntu16.04，可以参照下面的博客进行安装：
https://jingyan.baidu.com/article/54b6b9c0b9b8ce2d583b47f7.html
2. 安装scala
2.1下载Scala
这里使用的是scala2.11.8版本，终端输入命令：
wget https://www.scala-lang.org/files/archive/scala-2.11.8.tgz
2.2解压scala
tar xvf scala-2.11.8.tgz
2.3 将scala-2.11.8移动到/usr/local目录
sudo mv scala-2.11.8 /usr/local/scala
2.4编辑环境变量
sudo gedit ~/.bashrc
编辑配置文件~/.bashrc，输入以下内容：
#SCALA Variables
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
保存，退出，然后使环境变量生效：
source ~/.bashrc
启动scala，进入scala shell交互界面
输入：scala
至此scala安装完成
3. 安装IDEA
下载地址：https://www.jetbrains.com/idea/download/#section=linux
选择社区版（Community）进行下载。
下载后，输入解压命令：
sudo tar -zxvf ideaIC-2019.1.tar.gz
得到压缩包后，进入解压后的安装包bin目录下，输入命令:
sh idea.sh
得到向导页面启动即可。
4. 安装scala插件
4.1 通过官方plugins库安装
打开IntelliJ IDEA，在顶栏依次点击File->Settings->Plugins，打开如下界面：
点击下方的Browse repositories搜索scala后将搜索结果按照下载次数排序可以看到下载数最多的官方插件：
4.2 手动安装scala插件库
在Ubuntu上有时因为网络问题，无法利用plugings进行下载。这时需要利用手动进行安装。
1）首先 ，查看idea的版本
点击“Help”->“About”，确定idea的版本。以2019.01.08版本为例；
2）通过官网下载插件
打开官网：http://plugins.jetbrains.com/plugin/1347-scala/versions,选择对应的版本scala-intellij-bin-2019.1.8.zip，下载对应的.zip文件。
于顶栏依次打开File->Settings->Plugins->install plugin from disk，选中下载好的.zip文件即可。
5. 解决依赖包无法下载的问题
打开pom文件，添加依赖却无法下载。网上查找一些博客，终于找到了解决方案。具体方案：
右击Maven项目,操作如下图:
“File”->“Maven”->"Open’settings.xml’ “, 刚开始这个位置是Create ‘settings.xml’ ,打开之后添加在里面添加了镜像服务器:”
`
nexus
internal nexus repository
http://repo.maven.apache.org/maven2
central
nexus-aliyun
*
Nexus aliyun
http://maven.aliyun.com/nexus/content/groups/public
`
至此基本就可以在Ubuntu下编写spark程序了。
如果还未能下载的jar包，可以删除依赖，然后reimport即可。