window+sparksql+hive+debug sparksql本地环境搭建

  步骤1
1 deom代码
2 安装配置jdk1.8
3 安装配置scala2.11.18
4 导入pom.xml中依赖jar:注意scala版本要和spark依赖的保持一致
5 下载Hadoop的bin包,设定环境变量HADOOP_HOME,值为解压后的目录
6 下载winutils.exe将其放到$HADOOP_HOME/bin/目录下
7

配置本地host:要想知道host的地址,可以ping mysql.csdn.net

#远程hive的meterstore地址

192.168.25.22 mysql.csdn.net

#远程的一个节点

192.168.25.25 node01.csdn.net
8 在代码中配置hive.metastore.uris
    val spark = SparkSession

      .builder()

.master("local[2]")

 

 

      .appName("Spark Hive Example")

      .config("hive.metastore.uris", "thrift://mysql.csdn.net:9083")//远程hive的meterstore地址
      .enableHiveSupport()
      .getOrCreate()

你可能感兴趣的:(window+sparksql+hive+debug sparksql本地环境搭建)