Windows ,PySpark 访问远程 Hive 环境搭建

Java环境配置
安装`JDK`,配置环境变量 `JAVA_HOME`,因为 Hadoop 需要依赖 Java 环境
Hadoop环境配置
可以去Apache Hadoop 官网下载需要的 Hadoop 版本,[Apache.Hadoop下载地址][1]
解压,配置 HADOOP_HOME/bin
cmd > hadoop version  验证是否安装成功
Spark环境配置
去Apache.Spark官网下载对应 Hadoop 版本的 Spark,[Spark下载地址][2]
配置 SPARK_HOME
cmd > spark-shell  稍等片刻会出现 Spark 的图形文字,进入到 Spark-Shell 输入界面,说明 Spark安装成功
Pyspark 安装
博主用的是 Windows+pyspark环境,在 PyCharm 的 terminal 终端输入 pip3 install pyspark 即可
新建工程,到这一步已经可以使用pyspark 执行 sparksql了
博主需要的用到 pyspark 去连接远程 hive服务,用 sparksql 跑 hive 的数据
这个时候写好代码直接去跑会报一个错误关于 winutils.exe 的,缺少这个文件,去网上下载一个对应 hadoop版本的 winutils文件放到 hadoop 安装目录的 bin 目录下
bin\hadoop.dll文件 拷贝到 c:\windows\system32下
配置文件
上述的配置可以让你使用sparksql了,但是仍然无法连接到远程hive,和hdfs,需要几个配置文件
拷贝hdfs-site.xml,hive-site.xml,core-site

你可能感兴趣的:(大数据)