大数据学习整理篇（九）idea创建可以使用scala和java在spark运行的示例

1.新建Java的maven工程

后续把groupid和artifactid和版本定义好就行

2.定义pom文件，添加具体jar包

     请查看上篇文章整理篇（八）https://blog.csdn.net/penker_zhao/article/details/108361732

    scala需要增加新的打包文件，加入到pom文件，具体如下：

    

          org.scala-tools
          maven-scala-plugin
          
            
              
                compile
                testCompile
              
            
          
        

 

3.添加scala目录

在src/main下面添加scala目录，如下图所示：

4.标记scala目录为source root，并且添加scala的SDK库

右键选中scala目录，如下图所示，进行source root标记

在【File】-【Project Structure】标记SDK库，注意scala版本，我的pom文件是scala 2.11.*版本，所以，你的SDK也必须是scala 2.11.* SDK，如下图所示，添加Scala SDK 2.11.*版本：

5.最后能跟整理篇【七】java示例运行即可。请参考整理篇【七】

整理篇（七）Linux下使用Docker搭建Spark多节点，Phoenix单机版，然后使用Spark访问Phoenix(java示例成功版）

6.代码示例已经提交到gitee

https://gitee.com/astra_zhao/spark-zeppelin-learn

可以下载自己体验

FAQ:1.org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosKeyTab(Ljavax/security/auth/Subject;) 报错

添加：

        
            org.apache.hadoop
            hadoop-common
            2.8.4
        

参考：https://www.cnblogs.com/sweetchildomine/p/9690106.html