快乐大数据第10课 SparkSQL

i:10010#SparkSQL概述及原理 提供了两种操作数据的方式? SQL查询? DataFrame和DataSet API1提供了非常丰富的数据源API? 如:Text、JSON、Parquet、MySQL等2在Spark上实现SQL引擎? 提供高伸缩性API：DataFrame和DataSet API? 提供高效率的查询优化引擎：Catalyst Optimizer# SparkSQL-DataFrameRDD + Schema? 以行为单位构成的分布式数据集合，按照列赋予不同的名称?对select，filter，aggregation和sort等操作符的抽象，在Spark1.3之前，被称为SchemaRDD。为什么要引入SparkSQL? 写更少的代码? 读更少的数据? 让优化器自动优化程序? 轻松享受Spark高效的性能举例使用SQL：select word,count(1) from words group by word使用DataFrame：wrodDF.select("userId").groupBy("userId").count()使用RDD：sc.textFile(inPath).flatMap(_.split("\t")).map((_,1)).reduceByKey(_ + _).collect举例2读/写复杂的数据结构更加便捷? 读JSON文件val josnDF = spark.read.json("/tmp/user_json")? 读Parquetval parquetDF = spark.read.parquet("/tmp/user_parquet")? 写JSON文件userCoreDF2.write.json("tmp/user_json")? 写ParquetuserCoreDF2.write.parquet("/tmp/user_parquet")特点：采用更高效的数据格式保存数据使用列式存储格式（比如parquet）使用统计数据自动跳过数据（如：min、max）使用分区查询下推：将谓词下推到存储系统执行#Spark1.6后，出现DataFrame扩展自DataFrame API，提供编译时类型安全，面向对象风格的API?DataSet API? 类型安全? 高效：代码生成编解码器，序列化更高效? 协作：DataSet与DataFrame可互相转换? DataFrame = DataSet[Row]#RDD、DataFrame、DataSet的关系val parquetDF = spark.read.parquet(inpath) // parquet -> dataframe? val ds = parquetDF.as[UserCore] // dataframe -> dataset? val df = ds.toDF() // dataset -> dataframe? val dsRdd = ds.rdd // dataset -> rdd? val dfRdd = df.rdd // dataframe -> rdd*将RDD转换成DF例子见DFTest.scala//显式创建DF例子见DFTest2.scala*通过jdbc，创建mql表的DF,在本地运行，打出表的信息注意：需要实现在spark2.2 jars 目录下有mysql的jar驱动包bin/spark-submit \--class bigdata.spark.sql.test.DFTest2 \--master local \./DFTest2.jar#SparkSQL与HIve相结合使用Spark SQL访问Hive? 将hive安装包中conf/hive-site.xml配置文件拷贝到spark安装包的conf目录下? 将mysql驱动jar包拷贝到spark安装包的jars目录下在node01中? 启动：spark安装包下bin/spark-sql/home/hadoop/apps/spark2.2/bin/spark-sqlspark-sql> show databases;spark-sql>use rel;spark-sql>show tables；spark-sql>select gender,sum(core) from user_core_info where age>20 group by gender;#构建分布式SQL查询引擎配置HiveServer2 Thrift服务的访问地址和端口号? 方法：在hive-site.xml文件中添加hiveserver2的配置信息hive.server2.thrift.port10010hive.server2.thrift.bind.host192.168.183.101在node01上，在spark的安装目录下? yarn-client模式启动sbin/start-thriftserver.sh \--hiveconf hive.server2.thrift.port=10010 \--hiveconf hive.server2.thrift.bind.host=192.168.183.101 \--master yarn \--deploy-mode client \--executor-memory 3g \--executor-cores 1 \--num-executors 2 \--driver-cores 1 \--driver-memory 1g lsof -i:10010./bin/beeline!connect jdbc:hive2://192.168.183.101:10010Connecting to jdbc:hive2://192.168.183.101:10010Enter username for jdbc:hive2://192.168.183.101:10010: hadoopEnter password for jdbc:hive2://192.168.183.101:10010: ******