SQLContext

Spark Streaming源码阅读（1）SparkSession和SparkContext

SparkSession是Spark程序以及用来创建DataSet和DataFrame的入口类,SparkSession实质上是用来合并这一系列的Context（未来可能还会加上StreamingContext），所以在SQLContext
周英俊520·2020-09-15 17:22

SparkSession与SparkContext SparkConf SQLContext HiveContext StreamingContext

SparkSession与SparkContextSparkConfSQLContextHiveContextStreamingContext参考blog：https://blog.csdn.net/dufufd/article/details/790888911.SparkContext：valsparkConf=newSparkConf().setAppName("SparkSessionZi
不急吃口药·2020-09-15 17:18

如何创建 SparkContext，SQLContext，StreamingContext 的几种方式？

首先，使用ScalaIDE或IDEA创建Scala的Maven工程。需要用到spark-core，spark-sql，spark-streaming的jar包，pom文件如下：2.1.02.11org.apache.sparkspark-core_${scala.version}${spark.version}org.apache.sparkspark-streaming_${scala.vers
曲健磊·2020-09-15 16:01

dataframe dataset 与 SparkSession(代码示例)

数据的结构信息,字段与类型等)信息3,dataset可以实现实时批量处理的一种方式4,RDDdataframeDataSet可以互相转换5,SparkSession(编程入口)整合了SparkContext与SQLContext6
GYY22897·2020-09-15 16:05

SparkSQL编程之SparkSession新的起始点

在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。
qq_43193797·2020-09-15 16:11

SparkContext、SparkConf以及进化版的SparkSession

Spark2.0之前需要显式地创建SparkConf实例，并用Conf实例初始化SparkContext，再用SparkContext创建SQLContext。
詩和遠方·2020-09-15 16:38

Spark SQL, DataFrames and Datasets Guide

https://spark.apache.org/docs/1.6.3/sql-programming-guide.html#sqlSparkSQL中所有功能的入口点是SQLContext类或其派生类。
天一涯·2020-09-15 06:46

SparkSQL UDF两种注册方式：udf() 和 register()

调用sqlContext.udf.register()此时注册的方法只能在sql()中可见，对DataFrameAPI不可见用法：sqlContext.udf.register("makeDt",makeDT
weixin_30296405·2020-09-15 03:31

spark-sql(不包含hive-sql)查询编程

spark-sql(不包含hive-sql)查询编程//1：将json格式的数据转化为dataFramevaldf=sqlContext.read.json("hdfs://localhost:9000
jacksoom·2020-09-15 02:38

scala实例——六

{DataFrame,SQLContext,SparkSession}importorg.
BBlue-Sky·2020-09-14 14:38

Spark-1.0.0 SQL使用简介

article/details/645147262.启动sqlspark1.0.0中sql启动是直接在spark-shell启动后启动valsqlContext=neworg.apache.spark.sql.SQLContext
just-天之蓝·2020-09-14 13:03

windows 10 安装 spark 环境（spark 2.2.1 + hadoop2.7）

1.sqlContext=>spark.sqlContext在启动日志中未出现，SQLcontextavailableassqlContext.也不足为奇，因为在新版本的spark中sqlContext
Inside_Zhang·2020-09-14 05:23

spark sqlContext异常

Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/spark/sql/types/DataTypeParseratjava.lang.ClassLoader.defineClass1(NativeMethod)atjava.lang.ClassLoader.defineClass(ClassLoader.java:76
南宫木java·2020-09-14 01:34

NoSuchMethodError:org.apache.spark.rdd.RDD.mapPartitionsInternal$default$2()Z

valtestDF=test_util.readFile_2(sqlContext)//testDF.registerTempTable("testTable")//valqueryDF=sqlContext.sql
南宫木java·2020-09-14 00:32

spark-shell查看parquet文件内容

/spark-shell2、执行以下操作读取parquet文件valsqlContext=neworg.apache.spark.sql.SQLContext(sc)valparquetFile=sqlContext.parquetFile
cuiwenxu1·2020-09-13 19:58

spark--DataFrame处理udf操作和一些聚合操作

_调用sqlcontext里面的udf函数sqlContext.udf.register("str",(_:String).length)sqlContext.sql("selectstr('test'
xiaokekehaha19·2020-09-13 07:58

spark-jdbc No suitable driver found错误处理

("RDDRelation").setMaster("local[1]")valsc=newSparkContext(sparkConf)valsqlContext=newSQLContext(sc)sqlContext.setConf
一天两晒网·2020-09-13 04:03

.使用sqlContext.sql调用HQL

alterdatabasehivecharactersetlatin1;ALTERTABLEhive.*DEFAULTCHARACTERSETlatin1;########################################1.安装hiveCREATEUSER'hive'@'%'IDENTIFIEDBY'123456';GRANTallprivilegesONhive.*TO'hive
王树民·2020-09-12 07:41

pyspark读取Mysql数据

pyspark读取Mysql数据：样例code1：frompyspark.sqlimportSQLContextsqlContext=SQLContext(sc)dataframe_mysql=sqlContext.read.format
victory0508·2020-09-10 23:32

日志的分析

{Dataset,SQLContext,SparkSession}importorg.apache.
思cong·2020-09-10 15:34

Spark------------------------spark核心SparkStreaming与 kafka、redis的结合

批处理（batchprocessing），处理数据T+1注意：每次数据的数据都是一个固定的数据集，而不是变化SQLDataFrame/DataSet=RDD+schemaSparkSession老版本：SQLContext
leson-xu·2020-08-26 09:11

spark.sql.SqlContext等包找不到

##spark.sql.SqlContext等包找不到##报错信息如下：百度了很多，没有找到原因，后在一朋友指导下修复了该问题解决方案修改pom，把依赖包的范围给注释掉然后reimportdependencies
Jussi_Lee·2020-08-24 22:51

SparkSQL 使用SQLContext读取csv文件 分析数据 （含部分数据）

前两天开始研究SparkSQL，其主要分为HiveContext以及SQLContext目前打算先学习SQLContent，因为Hive环境还没搭好，:oops::oops:一步一步来先把spark的原理弄明白后再去研究
zhouxucando·2020-08-23 04:12

spark解析CSV文件

{Row,SQLContext}importorg.apache.spark.
weixin_30655219·2020-08-23 03:34

spark DataFrame的创建几种方式和存储

从Spark2.0以上版本开始，Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。
weixin_30251587·2020-08-23 03:09

Pyspark 读取本地csv文件，插入parquet格式的hive表中

（注意事项：Spark2.0版本开始将sqlContext、hiveContext统一整合为SparkSession）2、读取文件并转换为SparkDataFrame格式。（坑1：路径和语
小晓酱手记·2020-08-23 02:39

spark读写csv文件

{DataFrame,SQLContext}importorg.apach
lhxsir·2020-08-23 01:57

sparkSQL1.1入门之三：sparkSQL组件之解析

本篇将详细地介绍一下关键的一些概念和组件，由于hiveContext继承自sqlContext，关键的概念和组件类似，只不过后者针对hive的特性做了一些修正和重写，所以本篇就只介绍sqlContext
mmicky20110730·2020-08-22 21:37

sparkSQL1.1入门之十：总结

基本概念：SchemaRDDRuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan运行架构：sqlContext运行架构hiveContext运行架构基本操作原生
mmicky20110730·2020-08-22 21:37

JSON数据源

可以使用SQLContext.read.json()方法，针对一个元素类型为String的RDD，或者是一个JSON文件。但是要注意的是，这里使用的JSON文件与传统意义上的JSON文件是不一样的。
一个人一匹马·2020-08-21 03:46

SparkSQL UDF 两种方式：udf() 和 register()

1）调用sqlContext.udf.register()此时注册的方法只能在sql()中可见，对DataFrameAPI不可见用法：sqlContext.udf.register("makeDt",makeDT
要努力啊要努力·2020-08-20 16:21

spark中各种数量的确定和查询(持续更新中)

数量决定/设置方式函数查询方式备注partition数量sqlContext.setConf("spark.sql.shuffle.partitions","300")rdd1.getNumPartitions
Applied Sciences·2020-08-20 09:34

SparkSQL 概述

Baseonspark1.5.1overview一、入口：valsc:SparkContext//AnexistingSparkContext.valsqlContext=neworg.apache.spark.sql.SQLContext
yueqian_zhu·2020-08-18 12:45

spark创建DF的两种方式

方式一：反射：(使用这种方式来创建DF是在你知道字段具体有哪些)1.创建一个SparkContext，然后再创建SQLContext2.先创建RDD，对数据进行整理，然后关联caseclass，将非结构化的数据转换成结构化数据
xiaoyaGrace·2020-08-18 12:46

Spark SQL：Hive数据源复杂综合案例实战

操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。
weixin_34390996·2020-08-18 12:36

8.Spark SQL：Hive数据源实战

操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。
十点进修·2020-08-18 12:29

第3章 SparkSQL解析

第3章SparkSQL解析3.1新的起始点SparkSession在老的版本中，SparkSQL提供两种SQL查询起始点，一个叫SQLContext，用于Spark自己提供的SQL查询，一个叫HiveContext
weixin_30914981·2020-08-18 12:28

SparkSQL编程之DataFrame详解

SparkSession新的起始点在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询
大数据小同学·2020-08-18 12:21

pyspark总结2——DataFrame

目录1，创建DataFrame2，查询方法2.1利用DataFrameAPI查询2.2利用SQL查询1，创建DataFrameSpark2.0用SparkSession代替了SQLContext。
端坐的小王子·2020-08-18 12:18

pyspark笔记

pyspark.sql.SQLContextTopfuncs:1.创建DFcreateDataFrame(data,schema)2.从多种数据源读取数据，sqlContext3.user-define
sniper24·2020-08-18 11:58

Spark SQL中防止数据倾斜sqlContext.sql中添加distribute by rand()

一、在SparkSQL中有时会因为数据倾斜影响节点间数据处理速度，可在SQL中添加distributebyrand()来防止数据倾斜valdataRDD=sqlContext.sql("selectA,
hjw199089·2020-08-18 11:21

数据融合演示:Spark平台上实现不同类型的数据库里的表关联查询

valoracleContext=neworg.apache.spark.sql.SQLContext(sc)//Now,youcanrunaquerytoOraclebyrunningacodeinthebelowformat.valoracleQuery
开心自由天使·2020-08-18 11:43

spark中DataFrame读取hive之UDF函数去掉空行

spark://192.168.0.0:7077").enableHiveSupport().getOrCreate()valsc=spark.sparkContextvalsqlContext=spark.sqlContext
ailyfm·2020-08-18 11:23

SparkSQL 基础编程

在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。Spa
火成哥哥·2020-08-18 10:19

Spark通过Dataframe操作hive

1.1、创建一个SQLContext,SQLContext（及其子类，如本节的HiveContext）是SparkSQL所有功能的入口SqlContext:应该是对应spark-sql这个project
chbxw·2020-08-18 10:39

Spark SQL之Hive数据源实战

目录一：HiveContext与SQLContext的区别二：使用SparkSQL操作Hive三：DataFrame的saveAsTable命令四：查询分数大于80分的学生的完整信息一：HiveContext
威少SOS·2020-08-18 10:29

DataFrame的基本使用

SparkSession函数及说明:创建SparkSession创建DataFrame从csv文件中创建DataFrame——sqlContext代码:创建结果:pyspark.sql.dataframe.DataFrame
挽歌亽朽年·2020-08-18 10:17

pyspark sql使用总结

eg:frompyspark.sql.functionsimportconcat,col,litreport=sqlContext.table(report_table_name)report1=report.select
weixin_44053979·2020-08-13 22:20

SparkR读取CSV格式文件错误java.lang.ClassCastException: java.lang.String cannot be cast to org.apache.spark.u

使用如下命令启动sparkRshell：bin/sparkR--packagescom.databricks:spark-csv_2.10:1.0.3之后读入csv文件：flights<-read.df(sqlContext
奔跑的小象·2020-08-13 19:09

《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南（三）

用SQLContext.read.json读取一个包含String的RDD或者JSON文件，即可实现这一转换。
weixin_33749242·2020-08-12 13:31
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他