SparkSession是Spark程序以及用来创建DataSet和DataFrame的入口类,SparkSession实质上是用来合并这一系列的Context（未来可能还会加上StreamingContext），所以在SQLContext

SparkSession与SparkContextSparkConfSQLContextHiveContextStreamingContext参考blog：https://blog.csdn.net/dufufd/article/details/790888911.SparkContext：valsparkConf=newSparkConf().setAppName("SparkSessionZi

首先，使用ScalaIDE或IDEA创建Scala的Maven工程。需要用到spark-core，spark-sql，spark-streaming的jar包，pom文件如下：2.1.02.11org.apache.sparkspark-core_${scala.version}${spark.version}org.apache.sparkspark-streaming_${scala.vers

数据的结构信息,字段与类型等)信息3,dataset可以实现实时批量处理的一种方式4,RDDdataframeDataSet可以互相转换5,SparkSession(编程入口)整合了SparkContext与SQLContext6

在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。

Spark2.0之前需要显式地创建SparkConf实例，并用Conf实例初始化SparkContext，再用SparkContext创建SQLContext。

https://spark.apache.org/docs/1.6.3/sql-programming-guide.html#sqlSparkSQL中所有功能的入口点是SQLContext类或其派生类。

调用sqlContext.udf.register()此时注册的方法只能在sql()中可见，对DataFrameAPI不可见用法：sqlContext.udf.register("makeDt",makeDT

spark-sql(不包含hive-sql)查询编程//1：将json格式的数据转化为dataFramevaldf=sqlContext.read.json("hdfs://localhost:9000

{DataFrame,SQLContext,SparkSession}importorg.

article/details/645147262.启动sqlspark1.0.0中sql启动是直接在spark-shell启动后启动valsqlContext=neworg.apache.spark.sql.SQLContext

1.sqlContext=>spark.sqlContext在启动日志中未出现，SQLcontextavailableassqlContext.也不足为奇，因为在新版本的spark中sqlContext

Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/spark/sql/types/DataTypeParseratjava.lang.ClassLoader.defineClass1(NativeMethod)atjava.lang.ClassLoader.defineClass(ClassLoader.java:76

valtestDF=test_util.readFile_2(sqlContext)//testDF.registerTempTable("testTable")//valqueryDF=sqlContext.sql

/spark-shell2、执行以下操作读取parquet文件valsqlContext=neworg.apache.spark.sql.SQLContext(sc)valparquetFile=sqlContext.parquetFile

_调用sqlcontext里面的udf函数sqlContext.udf.register("str",(_:String).length)sqlContext.sql("selectstr('test'

("RDDRelation").setMaster("local[1]")valsc=newSparkContext(sparkConf)valsqlContext=newSQLContext(sc)sqlContext.setConf

alterdatabasehivecharactersetlatin1;ALTERTABLEhive.*DEFAULTCHARACTERSETlatin1;########################################1.安装hiveCREATEUSER'hive'@'%'IDENTIFIEDBY'123456';GRANTallprivilegesONhive.*TO'hive

pyspark读取Mysql数据：样例code1：frompyspark.sqlimportSQLContextsqlContext=SQLContext(sc)dataframe_mysql=sqlContext.read.format

{Dataset,SQLContext,SparkSession}importorg.apache.

批处理（batchprocessing），处理数据T+1注意：每次数据的数据都是一个固定的数据集，而不是变化SQLDataFrame/DataSet=RDD+schemaSparkSession老版本：SQLContext

##spark.sql.SqlContext等包找不到##报错信息如下：百度了很多，没有找到原因，后在一朋友指导下修复了该问题解决方案修改pom，把依赖包的范围给注释掉然后reimportdependencies

前两天开始研究SparkSQL，其主要分为HiveContext以及SQLContext目前打算先学习SQLContent，因为Hive环境还没搭好，:oops::oops:一步一步来先把spark的原理弄明白后再去研究

{Row,SQLContext}importorg.apache.spark.

从Spark2.0以上版本开始，Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。

（注意事项：Spark2.0版本开始将sqlContext、hiveContext统一整合为SparkSession）2、读取文件并转换为SparkDataFrame格式。（坑1：路径和语

{DataFrame,SQLContext}importorg.apach

本篇将详细地介绍一下关键的一些概念和组件，由于hiveContext继承自sqlContext，关键的概念和组件类似，只不过后者针对hive的特性做了一些修正和重写，所以本篇就只介绍sqlContext

基本概念：SchemaRDDRuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan运行架构：sqlContext运行架构hiveContext运行架构基本操作原生

可以使用SQLContext.read.json()方法，针对一个元素类型为String的RDD，或者是一个JSON文件。但是要注意的是，这里使用的JSON文件与传统意义上的JSON文件是不一样的。

1）调用sqlContext.udf.register()此时注册的方法只能在sql()中可见，对DataFrameAPI不可见用法：sqlContext.udf.register("makeDt",makeDT

数量决定/设置方式函数查询方式备注partition数量sqlContext.setConf("spark.sql.shuffle.partitions","300")rdd1.getNumPartitions

Baseonspark1.5.1overview一、入口：valsc:SparkContext//AnexistingSparkContext.valsqlContext=neworg.apache.spark.sql.SQLContext

方式一：反射：(使用这种方式来创建DF是在你知道字段具体有哪些)1.创建一个SparkContext，然后再创建SQLContext2.先创建RDD，对数据进行整理，然后关联caseclass，将非结构化的数据转换成结构化数据

操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。

操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。

第3章SparkSQL解析3.1新的起始点SparkSession在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫HiveContext

SparkSession新的起始点在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询

目录1，创建DataFrame2，查询方法2.1利用DataFrameAPI查询2.2利用SQL查询1，创建DataFrameSpark2.0用SparkSession代替了SQLContext。

pyspark.sql.SQLContextTopfuncs:1.创建DFcreateDataFrame(data,schema)2.从多种数据源读取数据，sqlContext3.user-define

一、在SparkSQL中有时会因为数据倾斜影响节点间数据处理速度，可在SQL中添加distributebyrand()来防止数据倾斜valdataRDD=sqlContext.sql("selectA,

valoracleContext=neworg.apache.spark.sql.SQLContext(sc)//Now,youcanrunaquerytoOraclebyrunningacodeinthebelowformat.valoracleQuery

spark://192.168.0.0:7077").enableHiveSupport().getOrCreate()valsc=spark.sparkContextvalsqlContext=spark.sqlContext

在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。Spa

1.1、创建一个SQLContext,SQLContext（及其子类，如本节的HiveContext）是SparkSQL所有功能的入口SqlContext:应该是对应spark-sql这个project

目录一：HiveContext与SQLContext的区别二：使用SparkSQL操作Hive三：DataFrame的saveAsTable命令四：查询分数大于80分的学生的完整信息一：HiveContext

SparkSession函数及说明:创建SparkSession创建DataFrame从csv文件中创建DataFrame——sqlContext代码:创建结果:pyspark.sql.dataframe.DataFrame

eg:frompyspark.sql.functionsimportconcat,col,litreport=sqlContext.table(report_table_name)report1=report.select

使用如下命令启动sparkRshell：bin/sparkR--packagescom.databricks:spark-csv_2.10:1.0.3之后读入csv文件：flights<-read.df(sqlContext

用SQLContext.read.json读取一个包含String的RDD或者JSON文件，即可实现这一转换。