Spark Hive Sql

1、准备数据

curl -o http://download.labs.sogou.com/dl/sogoulabdown/SogouQ/SogouQ.reduced.tar.gz

2、spark-shell

val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
import hiveContext._
hql("CREATE TABLE SOGOU ( DT  STRING,  WEBSESSION  STRING,  WORD    STRING,  S_SEQ   INT, C_SEQ   INT,  WEBSITE STRING ) ROW FORMAT DELIMITED FIELDS 

TERMINATED BY  '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE LOCATION '/root/SogouQ.reduced'")
hql("load data local inpath '/root/SogouQ.reduced' overwrite into table SOGOU")
hql("show tables").collect
hql("select * from sogou limit 10").collect