sqlContext

spark 读取 es 的es查询语法

oidANDopeType:(-GetBluetoothKey-DbToDoBizListQuery-GenToken-GetMenuData)";DataFrameesDF=JavaEsSparkSQL.esDF(sqlContext
狗剩和翠花·2020-06-24 22:33

SparkSql------RDD、DataFrame、DataSet之间的相互转化

在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫HiveContext，用于连接Hive的查询，SparkSession是Spark
luoyunfan6·2020-06-24 10:29

SparkSQL自定义外部数据源源码分析及案例实现

具体的实现应继承自后代Scan类之一abstractclassBaseRelation{defsqlContext:SQLContextdefschema:StructTypedefsizeInBytes:Long=sqlContext.conf.defaultS
冬瓜螺旋雪碧·2020-06-24 02:55

用spark分析北京积分落户数据，按用户分数分析

按用户分数分析#导入积分落户人员名单数据sqlContext=SQLContext(sc)df=sqlContext.read.format('com.databricks.spark.csv').options
朱健强ZJQ·2020-06-23 16:58

用spark分析北京积分落户数据，按用户所在单位分析

按用户所在单位分析#导入积分落户人员名单数据sqlContext=SQLContext(sc)df=sqlContext.read.format('com.databricks.spark.csv').
朱健强ZJQ·2020-06-23 16:58

python发送正文带统计表格的邮件

outlook发邮件，邮件带表格pandas处理数据得到表格利用pandas处理数据得到统计表格spark=SparkSession.builder.appName('bianzu').getOrCreate()sqlContext
zhengzaifeidelushang·2020-05-18 21:52

Spark之SparkContext源码分析

进行流式计算时使用的StreamingContext以及进行SQL计算时使用的SQLContext也会关联一个现有的Spark
云山之巅·2020-04-14 18:00

《SparkSql使用教程》--- 大数据系列

一、SQLContext、HiveContext、SparkSessionSQLContext：是sparksql的一个分支入口，可以用来操作sql，这个主要是针对spark来说HiveContext：
xbmchina·2020-04-12 12:17

Spark SQL:2.SQLContext

1.SQLContext的创建SQLContext是SparkSQL进行结构化数据处理的入口，可以通过它进行DataFrame的创建及SQL的执行，其创建方式如下：//sc为SparkContextvalsqlContext
丹之·2020-04-12 07:08

Spark DataFrame入门教程

frompyspark.sqlimportSQLContextsqlContext=SQLContext(sc)导入JS
chendihao·2020-03-29 17:45

dataframe

IntegerType,false),StructField("id",StringType,false)))valdataRdd=rdd.map(x=>Row(x(0).toInt,x(1).toString))sqlcontext.createDataFra
博瑜·2020-03-18 20:20

SPARK命令行读取parquet数据

/spark-shell2，执行以下操作读取parquet文件valsqlContext=neworg.apache.spark.sql.SQLContext(sc)valparquetFile=sqlContext.parquetFile
light2081·2020-02-28 03:21

10.pyspark.sql.FrameReader

SparkSQL和DataFrames重要的类有：pyspark.sql.SQLContext：DataFrame和SQL方法的主入口pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中
丫丫iii·2020-02-25 15:47

Parquet元数据合并

关键点sqlContext.read.option("mergeSchema",true)packagecom.spark.sqlimportorg.apache.spark.
不圆的石头·2020-02-25 13:21

Spark_SQL-创建临时表

一般在开发spark程序的时候，都需要创建一些数据作为临时表来使用，在实际生产中使用HiveSQL直接获取数据，因为在开发阶段都是在单机上，无法连接Hive，所以必须使用临时表代替，需要在服务器上部署的时候将SQLContext
蠟筆小噺没有烦恼·2020-02-23 11:56

Hive数据源实战

操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。
一个人一匹马·2020-02-16 06:35

spark创建DataFrame的几种方式

{Row,SQLContext,SparkSession}/***Createdbyshirukaion2018/7/17*创建DataFrame的几种方式*/objectCreateDataFra
宥宁·2020-02-16 00:00

SparkSQL 调优

对一些SparkSQL任务，可以通过缓存数据、调优参数、增加并行度提升性能缓存数据sqlContext.cacheTable("tableName")或dataFrame.cache()构建一个内存中的列格式缓存使用
Alex90·2020-02-05 02:51

spark-sql简单使用

代码：valsqlContext=neworg.apache.spark.sql.SQLContext(sc)caseclassPerson(name:String,age:Long)valpeople
lsnl8480·2020-02-01 23:41

pyspark读写csv文件

读取csv文件frompysparkimportSparkContextfrompyspark.sqlimportSQLContextsc=SparkContext()sqlsc=SQLContext(
_Rango_·2020-01-13 20:16

【2018-04-10】【2.1.1】spark sql操作mysql和hdfs

spark2.X与1.x的区别sparksql2.x以上版本和1.x版本有个很大的区别：spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell
jackLee·2020-01-07 04:45

spark sql学习笔记

people.txt").map(_.split(",")).map(p=>Person(p(0),p(1).trim.toInt))rddpeople.registerTempTable("rddTable")sqlContext.sql
felix_feng·2020-01-03 19:14

StreamingPro 可以暴露出原生API给大家使用

但是不可避免的，我们可能希望直接操作SqlContext或者使用原生的DataFrameAPI。
祝威廉·2019-12-28 21:26

70、Spark SQL之Hive数据源复杂综合案例实战

操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。
ZFH__ZJ·2019-12-26 20:39

spark 2.0 新特性

dataset增强聚合apiSparkSession:统一SQLContext和HiveContextaccumulator功能增强：便携api、webUI支持，性能提高支持sql2003标准支持ansi-sql
Cherish_Qiang·2019-11-08 18:10

PySpark读取Mysql数据到DataFrame！

Spark版本:2.1Python版本：2.7.12了解了SparkRDD之后，小编今天有体验了一把SparkSQL，使用SparkSQL时，最主要的两个组件就是DataFrame和SQLContext
文哥的学习日记·2019-10-31 13:02

SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext

SparkSession就是设计出来合并SparkContext和SQLContext的。我建议能用SparkSession就尽量用。
dufufd·2019-09-26 18:06

spark sqlcontext 读取json 文件

多行json直接使用sqlcontext.read().json("path")读取时候报错如下：Exceptioninthread"main"org.apache.spark.sql.AnalysisException
H.King·2019-09-01 15:54

Spark-SQL-Java编程

SparkSession：统一的切入点，实质上是SQLContext和HiveContext的组合。
dlphay·2019-08-07 17:49

Spark基于自定义聚合函数实现【列转行、行转列】

但是这有明显的局限性【sqlContext不支持】，因此，基于编码逻辑或自定义聚合函数实现相同的逻辑就显得非常重要了。
云山之巅·2019-07-29 21:00

SparkSession、SparkContext、SQLContext和HiveContext之间的区别。

使用SparkContext，可以访问其他上下文，比如SQLContext和HiveContext。使用SparkContext，我们可以为Spark作业设置配置参数。
lillcol·2019-07-23 17:00

3. Spark SQL解析

3.1新的起始点SparkSession在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫HiveContext，用于连接Hive
铖歌·2019-07-22 08:00

spark sql（phoenix cdh4.14.0）遇到的问题

=column_encoded_bytes=0;2.TIMESTAMP和DATE类型的数据相差八个小时3.sparksql读取数据的两种方式sparkSession.sqlContext.phoenixTableAsDataFramespark.read.format
luo222·2019-06-20 15:40

Spark-数据源及机器学习算法部署

scaddjarSpark对Oracle数据库读取，代码如下：conf=SparkConf().setAppName(string_test)sc=SparkContext(conf=conf)ctx=SQLContext
Wind_LPH·2019-05-06 23:00

SparkSQL 学习笔记----Hive数据源实战

HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及HiveSQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hq
PZ~浪味仙·2019-04-26 16:46

SparkSQL性能优化

一、设置Shuffle过程中的并行度设置参数：SQLContext.setConf("spark.sql.shuffle.prititions",xxx);二、设置合理的数据类型在Hive数据仓库建设过程中
Johnson8702·2019-04-25 17:09

Spark-SQL性能优化

性能优化1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions（SQLContext.setConf()）2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为
S_Running_snail·2019-04-13 14:43

pyspark 连接mysql读取数据

frompysparkimportSparkConffrompysparkimportSparkContextconf=SparkConf().setAppName(“miniProject”).setMaster(“local[*]”)sc=SparkContext(appName=“mysqltest”)sqlContext
huangkang1995·2019-03-25 13:15

解决Spark2.0之后，报错No implicits found for parameter evidence$6: Encoder

当我们在使用spark1.6的时候，当我们创建SQLContext读取一个文件之后,返回DataFrame类型的变量可以直接.map操作，不会报错。
我拿Buff，谢谢·2019-03-25 00:00

同一条sql语句 ，Spark Sql 和 hive shell 查询数据结果不一致。

saprksql程序读取结果:hiveshell数据读取结果:hiveshell查询的结果是完整的.数据的写入通过spark程序执行的，存入代码如下所示:udfService.register(map,df.sqlContext
HappyLin0x29a·2019-03-14 17:47

把excel的数据导入spark，然后进行分析

{DataFrame,SQLContext}importorg.apache.spark.
大数据修行·2019-03-10 13:23

scala常用操作

python3.7pyspark2.4.0frompysparkimportSQLContext,SparkContext,SparkConfconf=SparkConf()sc=SparkContext(conf=conf)sqlContext
无形·2019-03-09 00:00

Spark Dataframe 的创建方法与存储

创建方法一、通过toDF()函数创建//scisanexistingSparkContext.valsqlContext=neworg.apache.spark.sql.SQLContext(sc)//
Code_LT·2019-02-19 17:33

Spark Dataframe 的创建方法与存储

创建方法一、通过toDF()函数创建//scisanexistingSparkContext.valsqlContext=neworg.apache.spark.sql.SQLContext(sc)//
Code_LT·2019-02-19 17:33

Spark----SparkSQL简单操作

SparkSession前面我们已经介绍了SparkSession,这里我们在系统回顾一下,并做一些补充在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark
XiaodunLP·2019-02-18 01:38

8.pyspark.sql.window

SparkSQL和DataFrames重要的类有：pyspark.sql.SQLContext：DataFrame和SQL方法的主入口pyspark.sql.DataFrame：将分布式数据集分组到指定列名的数据框中
丫丫iii·2019-01-24 17:08

2018-12-08 SchemaRDD

valsqlContext=neworg.apache.spark.sql.SQLContext(sc)importsqlContext.implicits.
令76·2018-12-08 22:22

Spark学习（肆）- 从Hive平滑过渡到Spark SQL

文章目录SQLContext的使用HiveContext的使用SparkSession的使用spark-shell&spark-sql的使用spark-shellspark-sqlthriftserver
-无妄-·2018-12-03 15:52

2 、SparkSQL编程入口SparkSession

pyspark.sql.SparkSession(sparkContext,jsparkSession=None)在spark1.x之前的版本中，SparkSQL程序的编程入口是pyspark.sql.SQLContext
风中一叶(Liko)·2018-11-04 18:41

记spark过程中Scala多线程小问题

这次更改ThriftServer源码，加了些业务，中间遇到这样一个问题，异步提交任务的时候想做成多线程，刚开始是使用的scala的Actor，传递了SQLContext和sql，发现每次sparkSessionId
arvinzr·2018-11-03 09:54
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他