sparksession

windows远程提交Spark作业到linux集群，并尝试多种模式运行

本地构建java+scala混合工程：测试使用本地win10做driverjava远程提交代码到集群sparkContext版本sparkSession版本scala远程提交代码到集群sparkContext
haixwang·2018-05-10 12:46

初学spark基本操作SparkSession、Dataset

RDD的具体描述RDD（弹性分布式数据集）是Spark提供的最重要的抽象的概念，它是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式编操作集合的方式，进行各种并行操作。可以将RDD理解为一个具有容错机制的特殊集合，它提供了一种只读、只能有已存在的RDD变换而来的共享内存，然后将所有数据都加载到内存中，方便进行多次重用。a.他是分布式的，可以分布在多台机器上，进行计算。b.他是弹性的，计算
fearlessnesszhang·2018-05-08 14:02

Spark2.0 Java实现将Hive运算结果保存到数据库

importorg.apache.spark.sql.Dataset;importorg.apache.spark.sql.Row;importorg.apache.spark.sql.SaveMode;importorg.apache.spark.sql.SparkSession
gmHappy·2018-05-07 11:30

spark sql dropDuplicates distinct

Long,depId:Long,gender:String,salary:Long)defmain(args:Array[String]):Unit={println("astron")valspark=SparkSession.builder
dataastron·2018-05-03 17:22

sparksql 查看物理执行计划

importorg.apache.spark.sql.SparkSessionobjectDF2DS{defmain(args:Array[String]):Unit={println("astron")valspark=SparkSession.builder
dataastron·2018-05-03 15:51

spark2.1.0-mongodb

packagecom.mongodb.spark;importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.sql.SparkSession
q启明星·2018-05-02 09:36

sparksql dataFrame 关于列的增删改操作

valsqlContex=SparkSession.builder().master("local[2]").appName("spark2ES")//.con
xnlej·2018-04-26 21:58

SparkSql基础实战

{DataFrame,DataFrameReader,Dataset,SparkSession}objectMyDataFrame{caseclassPerson(name:String,age:Long
LittleLawson·2018-04-19 18:16

SparkSession中出现Exception in thread "main" java.lang.AbstractMethodError

1.使用SparkSession时，出现异常：Exceptioninthread"main"java.lang.AbstractMethodError2.查看pom.xml文件，是否是因为spark-core
LittleLawson·2018-04-17 21:39

Spark DataFrame读写数据库（Mysql）--记录

DataFrameimportorg.apache.spark.sql.SparkSessionimportjava.util.PropertiesobjectRWJdbc{defmain(args:Array[String]):Unit={valspark=SparkSession.builder
Enche·2018-04-15 09:35

spark - DataFrame Api 练习

packagedfimportorg.apache.spark.sql.SparkSessionobjectDataFrameDemo{defmain(args:Array[String]):Unit={valspark=SparkSession.builder
功夫小当家·2018-04-07 18:00

spark - RDD转成DataFrame

{Row,SparkSession}objectRDD2DataFrame{caseclassPerson(name:String,score:Int)defmain(args:Array[String
功夫小当家·2018-04-07 17:00

scala hive数据到mysql 含分区.

{DataFrame,SQLContext,SaveMode,SparkSession}importorg.apache.spark
liuyijiaDie·2018-04-03 12:04

Spark从HDFS读取数据并转存MySQL

{DataFrame,Dataset,SparkSession}/***Createdbyadmin_on27/03/2018.*1.创建sparkSession*2.获取sparkContext*3.
hashFusion·2018-03-28 09:21

spark sql hive小文件优化

sparksession.sqlContext.setConf("hive.merge.mapfiles","true")sparksession.sqlContext.setConf("mapred.max.split.size
genghaihua·2018-03-22 13:46

从一段代码浅谈pyspark性能优化

常规做法最简单的一种实现，就是先将其中的两张表join，再将剩下的一张表做join，代码如下：sc=SparkSession\.builder\.appName("T
东南枝DP·2018-03-14 17:51

SparkSql将数据写入到MySQL

{DataFrame,Dataset,SaveMode,SparkSession}/***todo:sparksql写
Running_Tiger·2018-03-11 13:39

关于spark2.x后的SparkSession

ApacheSpark2.0引入了SparkSession，其为用户提供了一个统一的切入点来使用Spark的各项功能，并且允许用户通过它调用DataFrame和Dataset相关API来编写Spark程序
qq_30366667·2018-03-10 21:43

SparkSQL简单使用

并且作为分布式SQL查询引擎--->运行原理：将SparkSQL转化为RDD，然后提交到集群执行--->特点：----容易整合----统一的数据访问方式----兼容Hive----标准的数据连接==>SparkSession
菜鸟的征程·2018-03-07 11:04

pyspark DataFrame 转RDD

importprint_functionfrompyspark.sqlimportSparkSessionfrompyspark.sqlimportRowif__name__=="__main__":#初始化SparkSessionspark=SparkSession
luoganttcc·2018-03-04 22:54

Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数

在Spark2.2.1中，不需要显式地创建SparkContext、SQLContext、HiveContext实例，其已经封装在SparkSession中。
段智华·2018-02-18 21:10

新手速学之spark快速读写mysql以及解决中文乱码问题

1.spark快速读取mysqlvalspark=SparkSession.builder.appName("bidInfo").getOrCreate()valsc=spark.sparkContextvalproperties
你那谁·2018-02-06 11:42

SparkContext、SparkConf和SparkSession之间的联系及其初始化

1SparkConf和SparkContext1.1启动spark-shell每个Spark应用程序都需要一个Spark环境，这是SparkRDDAPI的主要入口点。SparkShell提供了一个名为“sc”的预配置Spark环境和一个名为“spark”的预配置Spark会话。使用spark-shell启动交互式命令的过程如下：进入spark的安装目录，转到bin目录下，启动命令./spark-s
love666666shen·2018-02-05 17:02

开源大数据周刊-第19期

摘要：本周关注：马云谈云计算、大数据、人工智能未来三十年，E-MapReduce存储计算分离，真实的大数据故事，sparksession及sparkmmlib、presto+oss阿里云E-Mapreduce
aliyun32183·2018-02-05 10:29

(译) pyspark.sql.SparkSession模块

classpyspark.sql.SparkSession(sparkContext,jsparkSession=None)用DataSet和DataFrame编写Spark程序的入口SparkSession
cjhnbls·2018-02-04 18:31

JavaSpark-sparkSQL-介绍

入门起点：SparkSessionSpark中所有功能的入口点就是这个SparkSession类。
M99的羽子·2018-01-03 00:51

spark SQL （四）数据源 Data Source----Parquet 文件的读取与加载

1，以编程方式加载数据这里使用上一节的例子中的数据：常规数据加载 privatedefrunBasicParquetExample(spark:SparkSession):U
junzhou134·2017-12-30 12:00

Spark和HanLP结合实现分词

实现地理位置名词的分词valspark=SparkSession.builder().appName("Word2Vec").master("local[*]").getOrCreate()valdf=
bigdataCoding·2017-12-29 17:06

Spark Python API Docs(part two)

pyspark.sqlmoduleModulecontextSparkSQL和DataFrames中的重要类：pyspark.sql.SparkSession-DataFrame和SQL功能的主要入口点
盗梦者_56f2·2017-12-25 20:28

最新版Spark2.2读取多种文件格式数据

在Spark2.0以后一般使用SparkSession来操作DataFrame、Dataset来完成数据分析。
Next__One·2017-12-19 11:50

spark 批量读取HDFS（hive分区）parquet文件

解决方法：spark中读取本地文件的方法如下:sparkSession.read.parquet("hdfs://path")方法一：要读取多个文件，文件的路径中有一段公共路径。这样，首先想到的方法
~shallot~·2017-12-18 16:19

spark学习-55-源代码：SparkSession的的创建

首先我们在自己的程序中创建SparkSessionspark=SparkSession.builder().appName("lcc_java_habase_local").master("local[
九师兄-梁川川·2017-12-08 14:41

spark2.1 sql 自定义udf以及spark sql api

sparksql自定义udfspark定义视图说明：在dataframe的基础上给出视图名称，dataframe可以来源于jdbc查询结果，也可以是jsonvalspark=SparkSession.builder
snail_knight·2017-12-06 14:03

每日问题记录20171114

//Spark2.1valspark=SparkSession.b
轩脉刃·2017-11-14 22:00

Spark基本操作SparkSession,Dataset,JavaRDD

一、Spark创建1.创建SparkSession/***local[*]表示使用本机的所有处理器创建工作节点*spark.driver.memoryspark的驱动器内存*Spark2.2好像是需要最小
Dark_Zhou·2017-11-09 15:19

Spark基本操作SparkSession,Dataset,JavaRDD

一、Spark创建1.创建SparkSession/***local[*]表示使用本机的所有处理器创建工作节点*spark.driver.memoryspark的驱动器内存*Spark2.2好像是需要最小
Dark_Zhou·2017-11-09 15:19

hive on spark安装(hive2.3 spark2.1)

spark2.0引入了sparksession的概念，创建一个spark任务和之前也不一样，之前版本的hive并不能兼容spark2.0，所以推荐使用hive2.3以后的版本。
敲码的汉子·2017-11-01 18:08

hive on spark安装(hive2.3 spark2.1)

spark2.0引入了sparksession的概念，创建一个spark任务和之前也不一样，之前版本的hive并不能兼容spark2.0，所以推荐使用hive2.3以后的版本。
敲码的汉子·2017-11-01 18:08

Spark之分区

importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.sql.SparkSession
华盖参天·2017-10-23 19:46

Apache Spark 2.2.0 中文文档 - SparkR (R on Spark) | ApacheCN

SparkR(RonSpark)概述SparkDataFrame启动:SparkSession从RStudio来启动创建SparkDataFrames从本地的dataframes来创建SparkDataFrames
Joyyx·2017-09-27 10:38

Apache Spark 2.2.0 中文文档 - Spark SQL, DataFrames and Datasets Guide | ApacheCN

SparkSQL,DataFramesandDatasetsGuideOverviewSQLDatasetsandDataFrames开始入门起始点:SparkSession创建DataFrames无类型的
Joyyx·2017-09-27 10:48

Apache Spark 2.2.0 中文文档 - Spark SQL, DataFrames and Datasets Guide | ApacheCN

SparkSQL,DataFramesandDatasetsGuideOverviewSQLDatasetsandDataFrames开始入门起始点:SparkSession创建DataFrames无类型的
ApacheCN_Xy·2017-09-26 16:50

Apache Spark 2.2.0 中文文档 - SparkR (R on Spark) | ApacheCN

SparkR(RonSpark)概述SparkDataFrame启动:SparkSession从RStudio来启动创建SparkDataFrames从本地的dataframes来创建SparkDataFrames
片刻_ApacheCN·2017-09-26 12:03

Apache Spark 2.2.0 中文文档 - Spark SQL, DataFrames and Datasets Guide | ApacheCN

SparkSQL,DataFramesandDatasetsGuideOverviewSQLDatasetsandDataFrames开始入门起始点:SparkSession创建DataFrames无类型的
片刻_ApacheCN·2017-09-25 11:57

spark2.2.0源码学习过程记录：Day3

所以这部分内容看看书就可以了而3.2节的内容是讲SparkContext的初始化，比较重要，这部分要看完书后自己再看下源码2、源码学习书中3.2节讲的是SparkContext的初始化，但是我学习的版本是2.2.0，初始化是SparkSession
猫耳山大王·2017-09-02 16:42

spark 2.1.1访问hive2.3.0

支持依赖org.apache.sparkspark-hive_2.112.1.1拷贝hive-site，hdfs-site，core-site到resources中运行spark程序valspark=SparkSession.builder
Nougats·2017-08-22 14:20

利用 sparksession读取Parquet，Json格式文件

Spark支持的一些常见的格式：文本文件：无任何的格式json文件：半结构化parquet：一种流行的列式存储格式sequencefile：一种(k－v)的Hadoop文件格式.importorg.apache.spark.SparkConfimportorg.apache.spark.sql.SparkSessionobjectOpsWihtJson_and_parquet{defmain(ar
holomain·2017-07-09 16:22

Spark中的Application、SparkSession、SparkContext、RDD及其拓展

接触Spark的时候容易产生这样的疑惑，RDD是什么，SparkContext是什么，SparkSession又是什么...它们之间又是什么关系？
明仔很忙·2017-06-30 09:07

sparkSQL元数据缓存踩的坑

sparkmetadatacache背景最近一直忙着搞apm，也没时间写博客，眼看5月已经过半了，赶紧写一篇压压惊，先描述下背景：我们将sparkSession封装在actor中，每个actor都有自己独占的
cjuexuan·2017-05-16 11:53

Spark Scala DataFram join 操作

{Row,SparkSession}importorg.apache.spark.sql.types.{StringType,StructField,S
秉寒CHO·2017-03-15 20:59
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他