E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sqlContext
Spark Streaming源码阅读(1)SparkSession和SparkContext
SparkSession是Spark程序以及用来创建DataSet和DataFrame的入口类,SparkSession实质上是用来合并这一系列的Context(未来可能还会加上StreamingContext),所以在
SQLContext
周英俊520
·
2020-09-15 17:22
基础学习
SparkSession与SparkContext SparkConf
SQLContext
HiveContext StreamingContext
SparkSession与SparkContextSparkConfSQLContextHiveContextStreamingContext参考blog:https://blog.csdn.net/dufufd/article/details/790888911.SparkContext:valsparkConf=newSparkConf().setAppName("SparkSessionZi
不急吃口药
·
2020-09-15 17:18
如何创建 SparkContext,
SQLContext
,StreamingContext 的几种方式?
首先,使用ScalaIDE或IDEA创建Scala的Maven工程。需要用到spark-core,spark-sql,spark-streaming的jar包,pom文件如下:2.1.02.11org.apache.sparkspark-core_${scala.version}${spark.version}org.apache.sparkspark-streaming_${scala.vers
曲健磊
·
2020-09-15 16:01
【Spark】
dataframe dataset 与 SparkSession(代码示例)
数据的结构信息,字段与类型等)信息3,dataset可以实现实时批量处理的一种方式4,RDDdataframeDataSet可以互相转换5,SparkSession(编程入口)整合了SparkContext与
SQLContext
6
GYY22897
·
2020-09-15 16:05
大数据
SparkSQL编程之SparkSession新的起始点
在老的版本中,SparkSQL提供两种SQL查询起始点:一个叫
SQLContext
,用于Spark自己提供的SQL查询;一个叫HiveContext,用于连接Hive的查询。
qq_43193797
·
2020-09-15 16:11
spark
SparkContext、SparkConf以及进化版的SparkSession
Spark2.0之前需要显式地创建SparkConf实例,并用Conf实例初始化SparkContext,再用SparkContext创建
SQLContext
。
詩和遠方
·
2020-09-15 16:38
ETL/BI/大数据
Spark SQL, DataFrames and Datasets Guide
https://spark.apache.org/docs/1.6.3/sql-programming-guide.html#sqlSparkSQL中所有功能的入口点是
SQLContext
类或其派生类。
天一涯
·
2020-09-15 06:46
大数据学习之路
spark
SparkSQL UDF两种注册方式:udf() 和 register()
调用
sqlContext
.udf.register()此时注册的方法只能在sql()中可见,对DataFrameAPI不可见用法:
sqlContext
.udf.register("makeDt",makeDT
weixin_30296405
·
2020-09-15 03:31
大数据
python
scala
spark-sql(不包含hive-sql)查询编程
spark-sql(不包含hive-sql)查询编程//1:将json格式的数据转化为dataFramevaldf=
sqlContext
.read.json("hdfs://localhost:9000
jacksoom
·
2020-09-15 02:38
spark
scala实例——六
{DataFrame,
SQLContext
,SparkSession}importorg.
BBlue-Sky
·
2020-09-14 14:38
scala
Spark-1.0.0 SQL使用简介
article/details/645147262.启动sqlspark1.0.0中sql启动是直接在spark-shell启动后启动valsqlContext=neworg.apache.spark.sql.
SQLContext
just-天之蓝
·
2020-09-14 13:03
spark
sql
spark-sql
windows 10 安装 spark 环境(spark 2.2.1 + hadoop2.7)
1.
sqlContext
=>spark.
sqlContext
在启动日志中未出现,SQLcontextavailableassqlContext.也不足为奇,因为在新版本的spark中
sqlContext
Inside_Zhang
·
2020-09-14 05:23
安装-升级-版本-信息查询
spark
sqlContext
异常
Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/spark/sql/types/DataTypeParseratjava.lang.ClassLoader.defineClass1(NativeMethod)atjava.lang.ClassLoader.defineClass(ClassLoader.java:76
南宫木java
·
2020-09-14 01:34
spark
spark-SQL
spark
异常
NoSuchMethodError:org.apache.spark.rdd.RDD.mapPartitionsInternal$default$2()Z
valtestDF=test_util.readFile_2(
sqlContext
)//testDF.registerTempTable("testTable")//valqueryDF=
sqlContext
.sql
南宫木java
·
2020-09-14 00:32
scala
spark
spark-shell查看parquet文件内容
/spark-shell2、执行以下操作读取parquet文件valsqlContext=neworg.apache.spark.sql.
SQLContext
(sc)valparquetFile=
sqlContext
.parquetFile
cuiwenxu1
·
2020-09-13 19:58
spark
spark--DataFrame处理udf操作和一些聚合操作
_调用
sqlcontext
里面的udf函数
sqlContext
.udf.register("str",(_:String).length)
sqlContext
.sql("selectstr('test'
xiaokekehaha19
·
2020-09-13 07:58
spark
spark-jdbc No suitable driver found错误处理
("RDDRelation").setMaster("local[1]")valsc=newSparkContext(sparkConf)valsqlContext=newSQLContext(sc)
sqlContext
.setConf
一天两晒网
·
2020-09-13 04:03
spark
.使用
sqlContext
.sql调用HQL
alterdatabasehivecharactersetlatin1;ALTERTABLEhive.*DEFAULTCHARACTERSETlatin1;########################################1.安装hiveCREATEUSER'hive'@'%'IDENTIFIEDBY'123456';GRANTallprivilegesONhive.*TO'hive
王树民
·
2020-09-12 07:41
spark
pyspark读取Mysql数据
pyspark读取Mysql数据:样例code1:frompyspark.sqlimportSQLContextsqlContext=
SQLContext
(sc)dataframe_mysql=
sqlContext
.read.format
victory0508
·
2020-09-10 23:32
hadoop/hive
日志的分析
{Dataset,
SQLContext
,SparkSession}importorg.apache.
思cong
·
2020-09-10 15:34
scala
spark
Spark------------------------spark核心SparkStreaming与 kafka、redis的结合
批处理(batchprocessing),处理数据T+1注意:每次数据的数据都是一个固定的数据集,而不是变化SQLDataFrame/DataSet=RDD+schemaSparkSession老版本:
SQLContext
leson-xu
·
2020-08-26 09:11
大数据
spark.sql.
SqlContext
等包找不到
##spark.sql.
SqlContext
等包找不到##报错信息如下:百度了很多,没有找到原因,后在一朋友指导下修复了该问题解决方案修改pom,把依赖包的范围给注释掉然后reimportdependencies
Jussi_Lee
·
2020-08-24 22:51
大数据
SparkSQL 使用
SQLContext
读取csv文件 分析数据 (含部分数据)
前两天开始研究SparkSQL,其主要分为HiveContext以及
SQLContext
目前打算先学习SQLContent,因为Hive环境还没搭好,:oops::oops:一步一步来先把spark的原理弄明白后再去研究
zhouxucando
·
2020-08-23 04:12
Spark
spark解析CSV文件
{Row,
SQLContext
}importorg.apache.spark.
weixin_30655219
·
2020-08-23 03:34
spark DataFrame的创建几种方式和存储
从Spark2.0以上版本开始,Spark使用全新的SparkSession接口替代Spark1.6中的
SQLContext
及HiveContext接口来实现其对数据加载、转换、处理等功能。
weixin_30251587
·
2020-08-23 03:09
Pyspark 读取本地csv文件,插入parquet格式的hive表中
(注意事项:Spark2.0版本开始将
sqlContext
、hiveContext统一整合为SparkSession)2、读取文件并转换为SparkDataFrame格式。(坑1:路径和语
小晓酱手记
·
2020-08-23 02:39
PySpark
Hive
spark读写csv文件
{DataFrame,
SQLContext
}importorg.apach
lhxsir
·
2020-08-23 01:57
spark
sparkSQL1.1入门之三:sparkSQL组件之解析
本篇将详细地介绍一下关键的一些概念和组件,由于hiveContext继承自
sqlContext
,关键的概念和组件类似,只不过后者针对hive的特性做了一些修正和重写,所以本篇就只介绍
sqlContext
mmicky20110730
·
2020-08-22 21:37
spark1.1.0
spark学习路线
sparkSQL1.1入门之十:总结
基本概念:SchemaRDDRuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan运行架构:
sqlContext
运行架构hiveContext运行架构基本操作原生
mmicky20110730
·
2020-08-22 21:37
spark1.1.0
spark学习路线
JSON数据源
可以使用
SQLContext
.read.json()方法,针对一个元素类型为String的RDD,或者是一个JSON文件。但是要注意的是,这里使用的JSON文件与传统意义上的JSON文件是不一样的。
一个人一匹马
·
2020-08-21 03:46
SparkSQL UDF 两种方式:udf() 和 register()
1)调用
sqlContext
.udf.register()此时注册的方法只能在sql()中可见,对DataFrameAPI不可见用法:
sqlContext
.udf.register("makeDt",makeDT
要努力啊要努力
·
2020-08-20 16:21
Spark
spark中各种数量的确定和查询(持续更新中)
数量决定/设置方式函数查询方式备注partition数量
sqlContext
.setConf("spark.sql.shuffle.partitions","300")rdd1.getNumPartitions
Applied Sciences
·
2020-08-20 09:34
Scala与Spark
持续更新中
SparkSQL 概述
Baseonspark1.5.1overview一、入口:valsc:SparkContext//AnexistingSparkContext.valsqlContext=neworg.apache.spark.sql.
SQLContext
yueqian_zhu
·
2020-08-18 12:45
SparkSQL
spark创建DF的两种方式
方式一:反射:(使用这种方式来创建DF是在你知道字段具体有哪些)1.创建一个SparkContext,然后再创建
SQLContext
2.先创建RDD,对数据进行整理,然后关联caseclass,将非结构化的数据转换成结构化数据
xiaoyaGrace
·
2020-08-18 12:46
spark
Spark SQL:Hive数据源复杂综合案例实战
操作Hive中的数据时,必须创建HiveContext,而不是
SQLContext
。
weixin_34390996
·
2020-08-18 12:36
8.Spark SQL:Hive数据源实战
操作Hive中的数据时,必须创建HiveContext,而不是
SQLContext
。
十点进修
·
2020-08-18 12:29
spark
第3章 SparkSQL解析
第3章SparkSQL解析3.1新的起始点SparkSession在老的版本中,SparkSQL提供两种SQL查询起始点,一个叫
SQLContext
,用于Spark自己提供的SQL查询,一个叫HiveContext
weixin_30914981
·
2020-08-18 12:28
SparkSQL编程之DataFrame详解
SparkSession新的起始点在老的版本中,SparkSQL提供两种SQL查询起始点:一个叫
SQLContext
,用于Spark自己提供的SQL查询;一个叫HiveContext,用于连接Hive的查询
大数据小同学
·
2020-08-18 12:21
#
SparkSql
java
hive
sql
大数据
mysql
pyspark总结2——DataFrame
目录1,创建DataFrame2,查询方法2.1利用DataFrameAPI查询2.2利用SQL查询1,创建DataFrameSpark2.0用SparkSession代替了
SQLContext
。
端坐的小王子
·
2020-08-18 12:18
pyspark
pyspark笔记
pyspark.sql.SQLContextTopfuncs:1.创建DFcreateDataFrame(data,schema)2.从多种数据源读取数据,
sqlContext
3.user-define
sniper24
·
2020-08-18 11:58
Python编程
分布计算
Spark SQL中防止数据倾斜
sqlContext
.sql中添加distribute by rand()
一、在SparkSQL中有时会因为数据倾斜影响节点间数据处理速度,可在SQL中添加distributebyrand()来防止数据倾斜valdataRDD=
sqlContext
.sql("selectA,
hjw199089
·
2020-08-18 11:21
[3]Spark
数据融合演示:Spark平台上实现不同类型的数据库里的表关联查询
valoracleContext=neworg.apache.spark.sql.
SQLContext
(sc)//Now,youcanrunaquerytoOraclebyrunningacodeinthebelowformat.valoracleQuery
开心自由天使
·
2020-08-18 11:43
Zeppelin
SQL
NOSQL
spark中DataFrame读取hive之UDF函数去掉空行
spark://192.168.0.0:7077").enableHiveSupport().getOrCreate()valsc=spark.sparkContextvalsqlContext=spark.
sqlContext
ailyfm
·
2020-08-18 11:23
DataFrame
SparkSQL 基础编程
在老的版本中,SparkSQL提供两种SQL查询起始点:一个叫
SQLContext
,用于Spark自己提供的SQL查询;一个叫HiveContext,用于连接Hive的查询。Spa
火成哥哥
·
2020-08-18 10:19
spark
数据库
大数据
java
spark
spark-sql
Spark通过Dataframe操作hive
1.1、创建一个
SQLContext
,
SQLContext
(及其子类,如本节的HiveContext)是SparkSQL所有功能的入口
SqlContext
:应该是对应spark-sql这个project
chbxw
·
2020-08-18 10:39
#
spark
Spark SQL之Hive数据源实战
目录一:HiveContext与
SQLContext
的区别二:使用SparkSQL操作Hive三:DataFrame的saveAsTable命令四:查询分数大于80分的学生的完整信息一:HiveContext
威少SOS
·
2020-08-18 10:29
#
Spark
SQL
Spark
SQL之Hive数据源实战
DataFrame的基本使用
SparkSession函数及说明:创建SparkSession创建DataFrame从csv文件中创建DataFrame——
sqlContext
代码:创建结果:pyspark.sql.dataframe.DataFrame
挽歌亽朽年
·
2020-08-18 10:17
spark
pyspark sql使用总结
eg:frompyspark.sql.functionsimportconcat,col,litreport=
sqlContext
.table(report_table_name)report1=report.select
weixin_44053979
·
2020-08-13 22:20
pyspark
pyspark
sql
SparkR读取CSV格式文件错误java.lang.ClassCastException: java.lang.String cannot be cast to org.apache.spark.u
使用如下命令启动sparkRshell:bin/sparkR--packagescom.databricks:spark-csv_2.10:1.0.3之后读入csv文件:flights<-read.df(
sqlContext
奔跑的小象
·
2020-08-13 19:09
Spark
《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南(三)
用
SQLContext
.read.json读取一个包含String的RDD或者JSON文件,即可实现这一转换。
weixin_33749242
·
2020-08-12 13:31
上一页
1
2
3
4
5
6
7
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他