2.2、配置Spark-sql(连接Hive)

一、复制Hadoop目录下的hdfs-site.xml和Hive目录下的hive-site.xml到/usr/spark/spark-2.1.0/conf目录下

二、cp spark-env.sh.template spark-env.sh,编辑spark-env.sh文件添加如下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_102
export CLASSPATH=CLASSPATH:/usr/hive/hive2.1.0/libexportHADOOPCONFDIR=/usr/hadoop/hadoop2.7.2/etc/hadoopexportHIVECONFDIR=/usr/hive/hive2.1.0/confexportSPARKCLASSPATH=SPARK_CLASSPATH:/usr/hive/hive-2.1.0/lib/mysql-connector-java-5.1.38-bin.jar

你可能感兴趣的:(Spark总结)