Spark客户端安装

1、减压安装包tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz

2、到解压包下的conf下spark-env.sh下设置环境变量（根据自己的安装目录设置）

export JAVA_HOME=/usr/java/openjdk1.8.0

export SPARK_HOME=/home/bdp/zminer/spark-1.6.2-bin-hadoop2.6

export HADOOP_CONF_DIR=/home/bdp/zminer/spark-1.6.2-bin-hadoop2.6/conf

export SPARK_LOCAL_DIRS=/home/bdp/zminer/sparkTmp/pid/tmp

export SPARK_PID_DIR=/home/bdp/zminer/sparkTmp/pid

3、spark-default.conf:文件配置可以不设置

4、把cdh集群里的hive 客户端的hive-site.xml文件拷贝到spark的conf目录下

5、启动如果主机环境已经默认了cloudera自带的spark环境变量，可以通过设置临时环境变量覆盖
export SPARK_HOME=/home/bdp/zminer/spark-1.6.2-bin-hadoop2.6

6、spark测试，转到spark的bin目录下：

方式一：

命令：kinit bdp/admin

输入密码：****

查看有效日期：klist

启动spark-sql：./spark-shell —master yarn-client

执行以下语句看是否有正确的输出：

sqlContext.sql("show databases").collect.foreach(println)

sqlContext.sql("use  smart_test").collect.foreach(println)

 

sqlContext.sql("show tables").collect.foreach(println)

 

方式二：keytab方式

启动spark：

 ./spark-sql —master yarn-client PRINCIPAL  hive/[email protected]   KEYTAB /home/keydir/bdp/bdp.keytab

 show databases

use  dataname

show tables