spark-sql

spark-sql伪分布式的的安装:

在安装之前先确保Hadoop能够运行,有hive,有mysql-connect-Java-jar这个包。

spark和Hadoop是一样的,Hadoop底层代码是java所以当我们在进行安装Hadoop的时候需要安装jdk、

那么spark也需要先进行安装scala。

安装好了spark之后,我们需要把hive,conf下面的hive-site.xml 拷贝一份到spark——>conf下面

然后还需要把hive下面的jar包移动到spark的jar下。

然后启动

在运行spark-sql中会出现很多的info

如果想要关闭info

需要将conf下面的log4j....template这个文件重新命名或者重新拷贝一份,把新的配置文件下的log4.root.....=....改成=ERROR就行了

现目前,我们主要就是用spark的四个架构有:spark-streaming spark-mild spark-sql spark Graphx


嗯....因为是个人进行反馈调节,可能会看不懂我写的啥,如有需要的话可以加我qq:645900380

备注一下就好了

你可能感兴趣的:(spark-sql)