sqlContext

sparkSql demo I （sql方式）

{DataFrame,SQLContext}importorg.apache.spark.
念念不忘_·2018-10-05 18:48

SparkSQL（3）——Spark SQL DataFrame操作

读取数据源创建DataFrame在spark2.0之后，SparkSession封装了SparkContext，SqlContext，通过SparkSession可以获取到SparkConetxt,SqlContext
Fenggms·2018-09-30 21:36

【SparkSQL详解】

对于外部数据源的读取，借助两个比较重要的类，sqlContext和HIveContext。hiveContext继承于SqlContext,主要针对hiv
热血趁年华·2018-09-26 16:33

【spark】命令行查看parquet文件内容

/spark-shell2，执行以下操作读取parquet文件valsqlContext=neworg.apache.spark.sql.SQLContext(sc)valparquetFile=sqlContext.parquetFile
bible_reader·2018-09-21 16:16

PySpark学习笔记

在spark2.0中,HiveContext,SQLContext,StreamingContext,SparkContext都被聚合到了spark模块中。
IE06·2018-08-16 16:55

sparksql读取hbase

test("hbase"){valsqlContext=SparkSession.builder().getOrCreate().sqlContext//拉取hbase数据valhBaseConfiguration
weisongming·2018-08-08 19:14

Spark 创建DataFrame的三种方式

1.从数据库读数据创建DF/**SQLComtext创建DataFrame1**/defcreateDataFrame(sqlCtx:SQLContext):Unit={valprop=newProperties
cleargy·2018-07-31 14:27

spark 逐层拆解json嵌套的array

1、创建SQLContext读取json2、获取schema并循环第一次，遇到array就拆解，然后向下层下探。最后拆完，把第一层重复的字段名删掉。
nanata1115·2018-07-29 20:59

spark 基于JAVA的函数使用

DataFrameDataFrameDF=sqlContext.read().jdbc(url,table,Properties).select("*").where("col='1'");select
程序猿家族成员·2018-07-26 10:47

【五】Spark SQL中HiveContext的使用（操作hive中的表）（提交到服务器上执行）（Hadoop HA）

HiveContext在基本的SQLContext上有了一些新的特性，可以用HiveQL写查询，可以读取Hive表中的数据，支持Hive的UDF。
jy02268879·2018-07-25 00:06

【四】Spark SQL中SQLContext的使用(从json文件中加载数据)

SQLContext是Spark1.X中SparkSQL的入口点。
jy02268879·2018-07-24 21:02

pyspark学习与工作历程

即在使用中，需要在SparkContext基础上架一层SQLContext。SparkSQL的RDD称为SchemaRDD。
Jack_kun·2018-06-21 13:50

【Spark】Spark连接mysql数据库

{DataFrame,SQLContext}importorg.apache.spark.{
倚楼又听雨·2018-06-20 14:47

浅谈DataFrame和SparkSql取值误区

原始数据scala>valparquetDF=sqlContext.read.parquet("hdfs://hadoop14:9000/yuhui/parquet
silentwolfyh·2018-06-09 08:14

pyspark 读取csv文件创建DataFrame的两种方法

pandas辅助frompysparkimportSparkContextfrompyspark.sqlimportSQLContextimportpandasaspdsc=SparkContext()sqlContext
Stephen__Chou·2018-06-07 08:23

[使用SparkSQL操作DataFrame]

SparkSession实质上是SQLContext和HiveContext的组合，所以在SQLContext
fazhi-bb·2018-06-01 20:51

Spark 读取excel csv

{DataFrame,SQLContext}importorg.apache.spark.{SparkConf,SparkContext}/***Createdbyllon2018/5/17.
酱g·2018-05-23 17:07

通过Spark简单的操作Hive表

1.进入Spark的客户端shspark-shell--master"spark://master:7077"2.数据源的连接spark提供了操作hive\jdbc\json\hbase的接口sqlContext
MR.LUTIAN·2018-05-23 12:13

spark 常用函数介绍（python）

se=SparkSession.builder.config(conf=SparkConf()).getOrCreate()2.获取sparkContext：sc=se.sparkContext3.获取sqlContext
数据架构师·2018-05-17 15:01

在spark中将数据插入到hive、parquet表中及用户定义函数

TmpDF=spark.createDataFrame(RDD,schema)这种方法创建的2.将数据集的dataFrame格式映射到临时表使用createOrReplaceTempView来创建，这个函数在SQLcontext
G_scsd·2018-04-21 16:19

spark -SQL 配置参数

sql-programming-guide.html缓存表参考：https://blog.csdn.net/lsshlsw/article/details/48662669spark.catalog.cacheTable("tableName")sqlContext.cacheTable
点点渔火·2018-04-15 17:41

scala hive数据到mysql 含分区.

{DataFrame,SQLContext,SaveMode,SparkSession}importorg.apache.spark
liuyijiaDie·2018-04-03 12:04

spark sql hive小文件优化

sparksession.sqlContext.setConf("hive.merge.mapfiles","true")sparksession.sqlContext.setConf("mapred.max.split.size
genghaihua·2018-03-22 13:46

Spark1.6.0 Scala创建DataFrame

一.通过文件生成DF（1）通过SQLContext的csvFile函数加载csv文件生成DFimportcom.databricks.spark.csv.
cleargy·2018-03-13 10:32

HiveContext和SQLContext

使用SparkSQL时注意HiveContext和SQLContext的关系：见源码：classHiveContext(sc:org.apache.spark.SparkContext)extendsorg.apache.spark.sql.SQLContextwithorg.apache.spark.Logging
leebhing·2018-02-25 10:31

Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数

在Spark2.2.1中，不需要显式地创建SparkContext、SQLContext、HiveContext实例，其已经封装在SparkSession中。
段智华·2018-02-18 21:10

(译) pyspark.sql.DataFrame模块

classpyspark.sql.DataFrame(jdf,sql_ctx)分布式的列式分组数据集(1.3版本新增)一个DataFrame对象相当于SparkSQL中的一个关系型数据表,可以通过SQLContext
cjhnbls·2018-02-07 01:33

BigData进阶--细说RDD，DataFrame，Dataset的区别

在spark中有重要的组件SparkContext和SQLContext，在读取数据文件时我们可以通过这两个组件进行不同形式的读取，比如：valconf=newSparkConf().setMaster
杨士超·2017-12-26 18:10

spark查询任意字段,并使用dataframe输出结果

在写spark程序中,查询csv文件中某个字段,一般是这样的写法:**方法(1)，**直接使用dataframe查询valdf=sqlContext.read.format("com.databricks.spark.csv
texture_texture·2017-11-27 09:04

SparkSQL的数据源

2.load和saveSparkSQL默认的数据源的文件格式是parquetLoad是用来读取文件的时候加载文件中的数据Save是用来往外写文件的时候存储写出的数据valdf=sqlContext.read.load
CatherineHuangTT·2017-11-22 11:16

Spark源码解析之SparkSql

首先我们回顾一下使用SparkSql的一般步骤：1.从数据源或者RDD读取数据，构造出一个DataFrame2.使用DataFrame的registerTempTable方法根据刚才读取的数据创建一个临时表3.调用sqlContext
yzgyjyw·2017-09-18 16:24

spark

{DataFrame,SQLContext,SaveMode}importorg.apache.spark.{SparkConf,SparkContext}objectMain{defmain(arg
Gpwner·2017-09-15 14:47

基于java的sparkSQL从mysql中读取数据

r.organ_namefromuser_group_organr,userasu"+"wherer.user_id=u.user_idlimit1,5)asuser_organ";SQLContextsqlContext=SQLContext
渭水飞熊·2017-09-02 21:04

Spark udf,udaf

=null&&operator.matches(x+"|"+y+"|"+z))trueelsefalse}sqlContext.udf.register("filte
Nougats·2017-08-27 21:44

Spark处理XML文件与XLSX/XLS文件

{SparkConf,SparkContext}/***xml数据处理（SQLContext）**Createdbydrguoon
光于前裕于后·2017-08-18 17:43

sparksql 简单使用

{SparkConf,SparkContext}importorg.apache.spark.sql.SQLContext/***Createdbyjieon2017/7/
lijie_cq·2017-07-31 23:53

spark-通过StructType直接指定Schema

{Row,SQLContext}importorg.apache.spark.sql.types._importorg.apache.spark.
绛门人·2017-06-05 21:39

SparkSQL写数据到Hive的动态分区表

objectHiveTableHelperextendsLogging{defhiveTableInit(sc:SparkContext):HiveContext={valsqlContext=newHiveContext(sc)sqlContext
Anonymous_cx·2017-05-23 21:01

Spark实例-DataFrame加载和保存数据

Spark加载不同格式文件时，调用sqlContext.read.format("").load方法valpeopleDF=sqlContext.read.format("json").load("E:
不圆的石头·2017-05-09 11:50

spark2.0系列《一》—— RDD VS. DataFrame VS. DataSet

但是这一切的基础都是在RDD上进行操作，即使是进行SQL操作也是将利用SpaekContext类中的textFile方法读取txt文件返回RDD对象，然后使用SQLContext实例化载利用函数createDataFrame
wing1995·2017-05-03 20:00

一个简单的sparkSQL案例

{Row,SQLContext}importorg.apache.spar
堡垒-93·2017-02-16 08:04

Spark SQL结构化数据处理

SqlContext实例是DataFrame和SparkSQL的操作入口，pyspark交互环境中已初始化了一个sql
-Finley-·2017-02-12 10:00

Dataframe保存模式

示例代码：valdataframe=sqlContext.read.parquet("读取路径")dataframe.write.mode("overwrite").parquet("写入路径")overwrite
wk022·2017-02-09 17:27

Spark SQL saveMode 方式

importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.sql.DataFrame;importorg.apache.spark.sql.SQLContext
秉寒CHO·2017-01-17 22:46

Spark-SQL和Hive on Spark, SqlContext和HiveContext

HiveonSpark和SparkSQL是不同的东西HiveonSpark:是除了DataBricks之外的其他几个公司搞的，想让Hive跑在Spark上;SparkSQL:Shark的后继产品,解除了不少Hive的依赖，且让SQL更加抽象通用化,支持json,parquet等格式;关于Catelog和SchemaCatelog是目录的意思，从数据库方向说，相当于就是所有数据库的集合;Schema
美伊小公主的奶爸·2016-12-22 15:53

Spark SQL Hive数据源复杂综合案例实战

SparkSQLHive数据源复杂综合案例实战（读写各种分区表）Hive数据源来源SparkSQL除了支持SQLContext之外，还支持HIVESQL语法，利用HIVEContext来创建，HiveContext
张章章Sam·2016-12-10 23:52

基于spark2.0整合spark-sql + mysql + parquet + HDFS

一、概述spark2.0做出的改变大家可以参考官网以及其他资料，这里不再赘述由于spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell
CaramelCapucchino·2016-11-22 12:11

spark 2.0 踩过的SparkSession的坑

spark2.0踩过的SparkSession的坑spark20踩过的SparkSession的坑背景抽象的运行代码初步定位问题进一步定位问题源码相关分析再看SparkSession的创建最终解决取代了SQLContext
cjuexuan·2016-11-17 21:31

解压parquet格式文件到text

SparkContextfrompyspark.sqlimportSQLContextinputpath=sys.argv[1]outputpath=sys.argv[2]sc=SparkContext(appName="TransformPqtoCsv")sqlContext
dashabiooo·2016-11-15 13:22

解压parquet格式文件到text

SparkContextfrompyspark.sqlimportSQLContextinputpath=sys.argv[1]outputpath=sys.argv[2]sc=SparkContext(appName="TransformPqtoCsv")sqlContext
x10232·2016-11-15 13:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他