spark sql 对接 HDFS

上一篇博客我向大家介绍了如何快速地搭建spark run on standalone，下面我将介绍saprk sql 如何对接 hdfs

 

我们知道，在spark shell 中操作hdfs 上的数据是很方便的，但是操作也未免过于繁琐，幸好spark 还想用户提供另外两种操作 spark sql 的方式

一 spark-sql

启动方式也比较简单

如果不添加 hive.metastore.warehouse.dir hiveconf 这个参数，则启动的spark sql 是基于本地文件的，默认为 file:/user/hive/warehouse（这种模式我个人是不大建议的）

/opt/spark-1.3.1-bin-hadoop2.6/bin/spark-sql --master spark://ubuntu1:7800  --driver-cores 1 --driver-java-options "-Dspark.driver.port=4050"

--master 这个是必须的，否则后面执行的sql 都只会在当前一个进程计算，性能非常差，简单测试测试sql 语句倒还行

      后面填写spark master 的URL

--driver-cores 这个参数是指定运行是CPU的最大核数

--driver-java-options 这个是启动sparak sql 服务时，需要添加的jvm 参数， spark.driver.port 是指定一个端口，具体什么用途，我还不是非常了解，望告知！

 

启动的spark sql 基于hdfs 的方法

bin/spark-sql --master spark://ubuntu1:7800  --driver-cores 1 --driver-java-options "-Dspark.driver.port=4050"  --hiveconf "hive.metastore.warehouse.dir=hdfs://ubuntu1:9000/user/hive/warehouse" 

 --hiveconf 参数是添加加载hive 模块时，需要调整的参数 ， hive.metastore.warehouse 则是通知hive 模块，后面spark sql 的数据都是存储在HDFS 中。其中hdfs://ubuntu1:9000 是HDFS 的URL

正确登陆spark-sql 后，就能像在hive 中执行那样，直接输入sql 语句即可

 

测试一下

spark-sql> create table test (id int , name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE ;

向表中导入本地文件

LOAD DATA LOCAL INPATH '/opt/spark-1.3.1-bin-hadoop2.6/test.csv' INTO TABLE test;

向表中导入HDFS 文件

LOAD DATA INPATH 'hdfs://ubuntu1:9000/user/hive/warehouse/test.csv' INTO TABLE test;

两个test.csv 文件都是

1|chen
2|fool

查询

select * from test;

然后它就打一大堆的执行信息，最后它会显示执行成功了。

 

我个人觉得这个方法还不够赞，因为spark 还提供了另一种更犀利操作sql 的方法

 

二 thriftserver

 由于现在hive 的metastore 并没有使用第三方数据库，所以只能支持一个用户操作元数据，在退出刚才的spark-sql 后，我们启动thriftserver

/opt/test_spark/spark-1.3.1-bin-hadoop2.6/sbin/start-thriftserver.sh --master spark://ubuntu1:7800    --driver-java-options "-Dspark.driver.port=4050" --hiveconf "hive.server2.thrift.port=11000"  --hiveconf "hive.metastore.warehouse.dir=hdfs://ubuntu1:9000/user/hive/warehouse"

参数和上面的相同，我就不再一一解释了，只有

--hiveconf hive.server2.thrift.port=11000 与上面不同，这个参数是指定thriftserver 端口，默认是10000

启动thriftserver 后，我们可以通过netstat 查看端口是否被正常启动了

netstat -nap |grep 11000
netstat -nap |grep 4050

然后我们在登陆 beeline 界面

/opt/test_spark/spark-1.3.1-bin-hadoop2.6/bin/beeline --hiveconf hive.server2.thrift.port=11000 --hiveconf "hive.metastore.warehouse.dir=hdfs://ubuntu1:9000/user/hive/warehouse"

登陆后，我们需要先连接上 thriftserver

!connect jdbc:hive2://localhost:11000

连接后，我们就能自由操作数据了

show tables;

+------------+--------------+
| tableName | isTemporary |
+------------+--------------+
| test | false |
+------------+--------------+

这个是刚才在spark-sql 上建立的表，并且刚才的数据也在，我们利用它来测试一下

select * from test;

+-----+-------+
| id | name |
+-----+-------+
| 1 | chen |
| 2 | fool |
| 1 | chen |
| 2 | fool |
+-----+-------+

输入非常正常，并且操作界面也非常的清爽。

退出这个beeline 界面，命令比较奇怪

!quit

大家也可以通过下面命令获得帮助信息

!help