spark采坑集锦之sparksql操作hive

spark sql如果想操作hive，用sql命令在hive中操作表

一、需要在spark安装目录的conf文件夹准备好以下三个文件
hadoop安装目录中conf文件夹下的配置文件
core-site.xml
hdfs-site.xml

hive安装目录中conf文件夹下的配置文件
hive-site.xml
里面的mysql用户名 密码 和主机名一定要对啊
还有mysql的版本要和这里的驱动一致，因为mysql8.0之后的驱动变了

        
                javax.jdo.option.ConnectionUserName
                root
        
        
                javax.jdo.option.ConnectionPassword
                123456
         
        
                javax.jdo.option.ConnectionURL
                jdbc:mysql://bigdata100:3306/metastore?createDatabaseIfNotExist=true
        
        
                javax.jdo.option.ConnectionDriverName
                com.mysql.jdbc.Driver
        

二、启动好各个需要的组件
hadoop
zookeeper
spark
mysql

三、启动spark-shell
bin/spark-shell --master spark://(主机名):7077 --jars /root/mysql-connector-java-5.1.39.jar --driver-class-path /root/mysql-connector-java-5.1.39.jar

这里的mysql-connector-java-5.1.39.jar也要和mysql的版本一致，如果是mysql8.0需要用mysql-connector-java-8.0.11.jar

如果报错：
Access denied for user ‘root’@‘localhost’ (using password:YES)）
在mysql窗口输入：

mysql> grant all privileges on *.* to 'root'@'%'  identified by '123456' with grant option;
	mysql> flush privileges;

*.* ：数据库.表 代表任意数据库表
‘root’@’%’ ：给root账户设置密码为123456并且host为任意主机均可访问
flush privileges ：刷新权限，让设置生效

按照以上的步骤应该就可以成功让spark操作hive了