SparkRDD 第4页

spark篇1：Spark和SparkSql UDF数据倾斜之随机数前缀

spark篇1：Spark和SparkSqlUDF数据倾斜之随机数前缀废话不多说，直接上干货1sparkrdd思路：先加前缀一次聚会，再去前缀二次聚合packageRDDDFDSimportRDDDFDS

叮咚菜鸟许某人·2020-08-18 10:36

分布式文件系统：HDFS

1、分布式文件系统：HDFS技术上，核心问题是：（1）数据的存储：分布式的文件系统（∞）（2）数据的计算：分布式计算（MapReduce，SparkRDD等）补充：生活中，用的最多的分布式文件系统是网盘

Ancientear·2020-08-17 08:36

SparkSQL /DataFrame /Spark RDD谁快？

SparkDataFrame一定比SparkRDD快？NO如题所示，SparkSQL/DataFrame/SparkRDD谁快？

品途旅游·2020-08-16 23:13

spark算子使用总结

在日常工作中使用sparkRDD算子总是心里会泛起疑惑，仔细思考后发觉是对各算子的理解不够透彻，对各算子的输入输出的记忆不够深刻，对各算子的底层源码缺乏理解。

DeepRLearner·2020-08-16 22:03

SparkSQL /DataFrame /Spark RDD谁快？

如题所示，SparkSQL/DataFrame/SparkRDD谁快？

凝望远处的天鹅·2020-08-15 21:00

SparkSQL /DataFrame /Spark RDD谁快？

如题所示，SparkSQL/DataFrame/SparkRDD谁快？

凝望远处的天鹅·2020-08-15 21:00

记一次Phoenix写入优化

基于此方案数据的索引可通过Phoenix的SQLAPI、SparkRDD插件、以及Phoenix提供的批量加载工具”CsvBulkLoadTool”来实现数据写入,由于HDFS原始数据和Phoen

it小奋·2020-08-14 20:10

Spark 分区(Partition)的认识、理解和应用

SparkRDD是一种分布式的数据集，由于数据量很大，因此要它被切分并存储在各个结点的分区当中。从而当我们对RDD进行操作时，实际上是对每个分区中的数据并行操作。

zhangzeyuan56·2020-08-14 12:26

Spark RDD之Partitioner

概要SparkRDD主要由Dependency、Partition、Partitioner组成，这篇介绍最后一部分Partitioner。

Mr_JieLQ·2020-08-14 11:13

Spark Partition

partition是sparkrdd计算的最小单元。为什么是最小单元？先从分布式说起，分布式计算的特点就是批处理，将大量的数据分成若干批次，使得利用廉价机器搭建的集群也可以完成海量数据的计算。

thriving_fcl·2020-08-14 11:47

Spark 核心 RDD 剖析（上）

本文将通过描述SparkRDD的五大核心要素来描述RDD，若希望更全面了解RDD的知识，请移步RDD论文：RDD：基于内存的集群计算容错抽象Spark的五大核心要素包括：partitionpartitionercomputefuncdependencypreferredLocation

无尴尬不青春·2020-08-14 11:57

从0开始学习spark（5）RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！

，给大家来两个高级调优的聚合算子的用过：combineByKeyaggregateByKey**最后我们做一些练习巩固一下常用算子：**拉钩网职位数据练习题每日福利来一个，话不多说，我们直接开始今天的sparkRDD

蛋蛋淡淡定·2020-08-14 11:30

Spark 核心 RDD 剖析

本文将通过描述SparkRDD——弹性分布式数据集（RDD，ResilientDistributedDatasets）的五大核心要素来描述RDD，若希望更全面了解RDD的知识，请移步RDD论文：RDD：

盛装吾步·2020-08-14 10:31

Spark RDD 分区数

SparkRDD分区数基础知识本地模式伪集群模式其他模式产生rdd的几种方式：通过scala集合方式parallelize生成rdd通过textFile方式生成的rdd从HBase的数据表转换为RDD通过获取

爱吃甜食_·2020-08-14 09:26

Spark RDD之Partition

概要SparkRDD主要由Dependency、Partition、Partitioner组成，Partition是其中之一。

Mr_JieLQ·2020-08-14 09:28

从0开始学习spark（9）Spark性能优化-开发调优

4.SparkRdd常用算子和RDD必备知识3.sparkc

蛋蛋淡淡定·2020-08-14 09:45

《SparkSQL 1》--SparkSQL简介、RDD与DataFrame、搭建SparkSQL环境、创建DF、DataFrame常用操作、DataSet、SparkSQL的执行计划和执行流程

SparkRDD实现:valdata=sc.textFile("/data/input.txt").split("\t")data.map(x=>(x(0),(x(1).toInt,1))).reduceByKey

yk_3215123·2020-08-11 05:09

SparkRDD、SchemaRDD（dataFrame）和SparkSQL 之间的关系

普通数据--》SparkRDD-》SchemaRDD（dataFrame）-》sparkSQL1.普通数据的获取首先我们要先获取到一些数据，有以下这些方法：a)导入本地的文件这种方法我也不会用，但是有这种

G_scsd·2020-08-11 05:39

Pig源码分析: 简析执行计划的生成

摘要本文通过跟代码的方式，分析从输入一批Pig-latin到输出物理执行计划（与launcher引擎有关，一般是MR执行计划，也可以是SparkRDD的执行算子）的整体流程。

张包峰·2020-08-11 01:05

Spark RDD 持久化方式

SparkRDD持久化方式1.cache2.persist3.checkpoint区别1.cachecache调用persist，缓存级别为MEMORY_ONLY/***PersistthisRDDwiththedefaultstoragelevel

_林小凡·2020-08-09 14:16

Spark RDD编程API

SparkRDD编程API1.RDD的算子分类Transformation（转换）：根据数据集创建一个新的数据集，计算后返回一个新RDD；例如：一个rdd进行map操作后生了一个新的rdd。

Running_Tiger·2020-08-09 11:38

sparkCore之sparkRDD常用算子

前言：sparkRDD的操作，从宏观上分为：Transformation和Action，但是具体的还以分为：输入算子、变换算子、缓存算子，以及行动算子。

moshang_3377·2020-08-09 09:39

spark常用RDD算子汇总（java和scala版本）

github.com/zhaikaishun/spark_tutorialsparkRDD的算子挺多，有时候如何灵活的使用，该如何用一下子想不起来，这一段时间将spark的算子如何使用的例子给记录了下来，下面是sparkRDD

挡路人·2020-08-09 06:54

Spark RDD Action算子的基本使用（Java）

SparkRDDAction算子的基本使用（Java）最近在总结SparkRDD相关算子的使用，列出了一些基本使用方法，可供大家参考，快速上手。

Edward_Liao·2020-08-09 06:36

spark RDD概念及其算子举例讲解

作为之前对sparkRDD可以说是完全不懂的小白，在阅读部分网友的博客的基础上，我从自己理解的角度和方式来记录一下自己学习sparkRDD的过程。

anshuai_aw1·2020-08-09 04:57

SparkRDD的函数传递

在实际开发中，我们需要根据实际情况自定义一些RDD的操作，但是我们自定义的RDD操作在Driver端工作，而任务在Executor端工作，这就涉及到了跨进程通信，也就是必须进行序列化。传递函数packagecom.day1importorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDobjectSeriTe

寒暄·2020-08-05 01:08

Spark之GraphX

GraphX延伸SparkRDD通过引入新的图形的抽象：计算与连接到每个顶点和边缘性的向量。

清风笑丶·2020-08-04 06:55

sparkRDD中分组取TopN案例以及优化

文章目录分组取topN,使用的是集合中的List排序,会有性能瓶颈,内存溢出调用RDD的sortBy方法,对每个RDD中数据进行排序,采用内存+磁盘的方式自定义分区器,根据学科分区自定义分区的优化,减少shuffle分组取topN,使用的是集合中的List排序,会有性能瓶颈,内存溢出packagerddimportjava.net.URLimportorg.apache.spark.{SparkC

_张不帅·2020-08-03 08:41

Spark RDD/Core 编程 API入门系列之rdd案例（map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等）（四）

SparkRDD/Core编程API入门系列之rdd案例（map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等）（四）声明：大数据中，最重要的算子操作是

sysmedia·2020-08-03 04:16

用sparkRDD进行分组排序使用groupbykey+ flatmap + zipWithIndex

valconf=newSparkConf().setAppName(“name”).setMaster(“local[2]”)valcontext=newSparkContext(conf)//context.makeRDD(List[])valssh=List((“ma”,3),(“ma”,4),(“ma”,5),(“mb”,2),(“mb”,5))valunit:RDD[(String,Int

weixin_43283748·2020-08-02 21:09

Spark RDD分区知识总结

SparkRDD分区知识总结1.RDD1.1RDD定义RDD(ResilientDistributedDataset)——弹性分布式数据集，是Spark中最基本的数据抽象不可变（只读）分区自动容错位置感知调度可伸缩

thu16kevin·2020-08-02 14:30

Spark RDD容错原理

文章目录一、SparkRDD容错原理二、RDD容错的四大核心要点1．调度层（包含DAG生成和Task重算两大核心）1）DAG生成层2）Task计算层2．RDDLineage血统层容错3．checkpoint

逆水行舟如何·2020-07-30 13:57

【面试题】简述一下MapReduce和Spark的区别与联系

1）从功能上来说，MapReduce能够完成的各种离线批处理功能，以及常见算法（比如二次排序、TopN等），基于SparkRDD的核心编程都可以实现，而且是更好地、更容易地实现。

都市狼人·2020-07-30 13:24

Spark中RDD、DataFrame和DataSet的区别？

（真心不想重装2.0，但是没有办法啊）2.SparkRDD、DataFrame和DataSet的区别？（往期第33题写过一次，但没有解释清楚）3.如何选择RDD还是DataFrame/DataSet？

Shaun_Xi·2020-07-30 12:47

sparkCore之sparkRDD Persistence(sparkRDD持久化操作)

一、什么是持久化操作持久化操作就是以某种方式将一些数据或结果存储起来二、spark中为什么要有rdd的持久化的操作主要原因在于，如果我们相对一个RDD进行复用操作的时候，基于RDD的特性，当以rdd通过transformation转化为另外一个rdd的时候，前面的rdd就会被自动释放，此时还想在原来的rdd身上进行其它操作，需要从源头进行数据计算，这样效率自然会降低。为了能够在rdd重用的时候，直

moshang_3377·2020-07-30 12:30

Spark算子：RDD行动Action操作(1)–first、count、reduce、collect

关键字：Spark算子、SparkRDD行动Action、first、count、reduce、collectfirstdeffirst():Tfirst返回RDD中的第一个元素，不排序。

wisgood·2020-07-28 23:59

基于 Spark 的数据分析实践

本文主要分析了SparkRDD以及RDD作为开发的不足之处，介绍了SparkSQL对已有的常见数据

EAWorld·2020-07-28 23:18

sparkRDD练习题

给定数据如下：班级ID姓名年龄性别科目成绩12张三25男chinese5012张三25男math6012张三25男english7012李四20男chinese5012李四20男math5012李四20男english5012王芳19女chinese7012王芳19女math7012王芳19女english7013张大三25男chinese6013张大三25男math6013张大三25男engli

Ethan130·2020-07-28 20:30

Spark笔记整理（五）：Spark RDD持久化、广播变量和累加器

SparkRDD持久化RDD持久化工作原理Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。

weixin_30685047·2020-07-28 16:24

SparkRDD常用算子实践（附运行效果图）

目录1、简单算子说明2、复杂算子说明目录SparkRDD算子分为两类：Transformation与Action.Transformation：即延迟加载数据，Transformation会记录元数据信息

Magician~·2020-07-28 05:07

spark工作的一些总结

请描述sparkRDD原理与特征？sparkRDD原理：是一个容错的、并行的(弹性分布式)数据结构，可以控制数据存储至磁盘或者内存，能够获取数据的分区。

chengujun7940·2020-07-27 20:36

深入理解Spark RDD——RDD分区计算器Partitioner

在《深入理解SparkRDD——RDD依赖（构建DAG的关键）》一文，详细描述了RDD的宽窄依赖。

泰山不老生·2020-07-27 19:48

深入理解Spark RDD——RDD依赖（构建DAG的关键）

在《深入理解SparkRDD——为什么需要RDD?》

泰山不老生·2020-07-27 19:47

深入理解Spark RDD——RDD实现的初次分析

在《深入理解SparkRDD——为什么需要RDD?》一文解释了第二个问题，本文将开启对第一个问题的解答。有些读者可能对本文的

泰山不老生·2020-07-27 19:15

spark RDD常用函数/操作

sparkRDD常用函数/操作文中的代码均可以在spark-shell中运行。

pcz_x·2020-07-27 18:35

Spark入门(四)——Spark RDD算子使用方法

SparkRDD算子RDD算子实战转换算子map(function)传入的集合元素进行RDD[T]转换defmap(f:T=>U):org.apache.spark.rdd.RDD[U]scala>sc.parallelize

为了抽短袖·2020-07-27 16:32

Spark SQL编程指南（Python）【转】

它的核心是一个特殊类型的SparkRDD：SchemaRDD。

dianzhouyu2189·2020-07-15 22:04

【SparkSQL笔记】SparkSQL的入门实践教程（一）

与SparkRDD不同的是，SparkSQL提供数据的结构信息(源数据)和性能更好，可以通过SQL和DataSetAPI与SparkSQL进行交互。

sdut菜鸟·2020-07-15 15:57

RDD简介，spark-shell，spark-submit提交任务简单示例

sparkRDD简介弹性分布式数据集RDD是Spark框架中的核心概念。可以将RDD视作数据库中的一张表。其中可以保存任何类型的数据。Spark将数据存储在不同分区上的RDD之中。

yixl·2020-07-15 14:44

StructType can not accept object %r in type %s" % (obj, type(obj)))

在将string类型的数据类型转换为sparkrdd时，一直报这个错，StructTypecannotacceptobject%rintype%s”%(obj,type(obj)))...s=str(tree

gavenyeah·2020-07-15 11:50

推荐频道

SparkRDD

spark篇1：Spark和SparkSql UDF数据倾斜之随机数前缀

分布式文件系统：HDFS

SparkSQL /DataFrame /Spark RDD谁快？

spark算子使用总结

SparkSQL /DataFrame /Spark RDD谁快？

SparkSQL /DataFrame /Spark RDD谁快？

记一次Phoenix写入优化

Spark 分区(Partition)的认识、理解和应用

Spark RDD之Partitioner

Spark Partition

Spark 核心 RDD 剖析（上）

从0开始学习spark（5）RDD常用算子用法训练（附习题答案）（aggregateByKey与combineByKey）！！！

Spark 核心 RDD 剖析

Spark RDD 分区数

Spark RDD之Partition

从0开始学习spark（9）Spark性能优化-开发调优

《SparkSQL 1》--SparkSQL简介、RDD与DataFrame、搭建SparkSQL环境、创建DF、DataFrame常用操作、DataSet、SparkSQL的执行计划和执行流程

SparkRDD、SchemaRDD（dataFrame）和SparkSQL 之间的关系

Pig源码分析: 简析执行计划的生成

Spark RDD 持久化方式

Spark RDD编程API

sparkCore之sparkRDD常用算子

spark常用RDD算子 汇总（java和scala版本）

Spark RDD Action算子的基本使用（Java）

spark RDD概念及其算子举例讲解

SparkRDD的函数传递

Spark之GraphX

sparkRDD中分组取TopN案例以及优化

Spark RDD/Core 编程 API入门系列 之rdd案例（map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等）（四）

用sparkRDD进行分组排序使用groupbykey+ flatmap + zipWithIndex

Spark RDD分区知识总结

Spark RDD容错原理

【面试题】简述一下MapReduce和Spark的区别与联系

Spark中RDD、DataFrame和DataSet的区别 ？

sparkCore之sparkRDD Persistence(sparkRDD持久化操作)

Spark算子：RDD行动Action操作(1)–first、count、reduce、collect

基于 Spark 的数据分析实践

sparkRDD练习题

Spark笔记整理（五）：Spark RDD持久化、广播变量和累加器

SparkRDD常用算子实践（附运行效果图）

spark工作的一些总结

深入理解Spark RDD——RDD分区计算器Partitioner

深入理解Spark RDD——RDD依赖（构建DAG的关键）

深入理解Spark RDD——RDD实现的初次分析

spark RDD常用函数/操作

Spark入门(四)——Spark RDD算子使用方法

Spark SQL编程指南（Python）【转】

【SparkSQL笔记】SparkSQL的入门实践教程（一）

RDD简介，spark-shell，spark-submit提交任务简单示例

StructType can not accept object %r in type %s" % (obj, type(obj)))

spark常用RDD算子汇总（java和scala版本）

Spark RDD/Core 编程 API入门系列之rdd案例（map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等）（四）

Spark中RDD、DataFrame和DataSet的区别？