Spark的Core深入（二）标签（空格分隔）：Spark的部分一：日志清洗的优化二：SparkRDD三：SparkContext三大功能四：SparkonYARN五：sparkRDD的依赖一、日志清洗的优化

[TOC]SparkRDD持久化RDD持久化工作原理Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。

[TOC]SparkRDD非常基本的说明，下面一张图就能够有基本的理解：SparkRDD基本说明1、Spark的核心概念是RDD(resilientdistributeddataset，弹性分布式数据集

sparkcore-->sparkrdd,spark核心编程，MapReducesparksql-->hivesparkstreaming-->storm,流式实时计算sparkmllib-->机器学习

hive的执行引擎，只需要在hive中修改一个参数即可：#sethive.execution.engine=spark2、SparkSQLa.概述：SparkSQL是Spark处理数据的一个模块，跟基本的SparkRDD

SparkRDD是惰性求值的，而有时我们希望能多次使用同一个RDD。如果简单地对RDD调用行动操作，Spark每次都会重算RDD以及它的所有依赖。

每天在在技术群里沉水,搜刮些面试题目,留作备用~1.简述对大数据组件：Yarn，Spark，Hbase，Hive的理解2.hdf文件系统中Namenode和DataNode区别和联系3.请描述SparkRDD

遇到下面这种Executor报错的情况，多半是sparkRDD或者DataFrame定义的时候出了问题，因为sparkSql程序执行的机制是：transformation端不是真正的执行，只有action

在编写SparkRDD程序时，经常要将本地开发好的代码，在本地测试完后，要打包成jar，并发布到集群上去跑一跑。

写在开头本博客的目标是可以在不开启spark集群|Linux虚拟机的情况下，对SparkRDD程序的完美运行，旨在解放初学者应无Linux集群环境、无内存容量支撑的情况下运行spark程序，写这篇的灵感来源于自己在学习

SparkLocal模式直接在$SPARK_HOME/bin/spark-shell中运行sparkRDD程序，在UI界面http://nodename:4040/中可以看到jobs的执行情况[elon

SparkLocal模式直接在$SPARK_HOME/bin/spark-shell中运行sparkRDD程序，在UI界面http://nodename:4040/中可以看到jobs的执行情况[elon

sparkRdd的默认分区有两大因素决定：1.spark.default.parallelism2.文件块的大小spark.default.parallelism：（默认的并发数）本地模式下spark.default.parallelism

源码版本：2.2参考《Spark内核机制解析及性能调优》如有错误请指正一、Spark运行的核心概念Spark调度器的设计体现得非常简洁清晰和高效，其输入是SparkRDD，输出是Spark执行器(Executor

SparkRDD基本创建所需要的数据源（集合、本地文件、HDFS、Hbase和HiveSQL等）1利用集合创建RDD，就是为了方便测试。

使用SparkRDD或DataFrame，有时需要在foreachPartition或foreachWith里面保存数据到本地或HDFS。

SparkRDD（ResilientDistributedDatasets）论文概要1:介绍2:ResilientDistributedDatasets（RDDs）2.1RDD抽象2.2Spark编程接口

SparkRDD（ResilientDistributedDatasets）论文概要1:介绍2:ResilientDistributedDatasets（RDDs）2.1RDD抽象2.2Spark编程接口

关键字：Spark算子、SparkRDD键值转换、cogroup、joincogroup##参数为1个RDDdefcogroup[W](other:RDD[(K,W)]):RDD[(K,(Iterable

关键字：Spark算子、SparkRDD键值转换、cogroup、joincogroup##参数为1个RDDdefcogroup[W](other:RDD[(K,W)]):RDD[(K,(Iterable

一、spark原理图二、sparkRDD图解*三、什么是Spark开发（核心编程原理）1，定义初始的RDD，即创建最原始的RDD2，做最初始的RDD进行算子的转换操作（flatMap，map，filter

sparkrdd的创建有两种方式:1>从集合创建。也就是从父rdd继承过来2>从外部创建。import java.util.Arrays;import java.util.Iterator;impor

前几篇文章我们分别学习SparkRDD和PairRDD编程，本文小编将通过简单实例来加深对RDD的理解。

1.本实例主要假设有两个数据源，一个是使用了SparkSQL的API读取JSON文件，另一个数据源来自于自己构造的数据信息（实例中的peopleInformation）。2.实例演示了JSON文件的读取，和RDD的JOIN操作，以及Schema,RDD和ROW之间的有趣关系；3.具体实例如下：importorg.apache.spark.SparkConfimportorg.apache.spar

SparkRDD是惰性求值的，而有时由于业务需要，我们要复用一个RDD。对于这种情况，如果我们只是简单地对RDD调用行动操作，Spark将会每次都重算RDD以及它的所有依赖。

基本常识Spark2.0时代全面到来——2.0.1版本发布Spark生态系统中的图数据分析知识算法架构Spark任务调度流程及调度策略分析Sparkrdd转换过程Spark计算过程分析可靠保证华为叶琪：

基本常识Spark2.0时代全面到来——2.0.1版本发布Spark生态系统中的图数据分析知识算法架构Spark任务调度流程及调度策略分析Sparkrdd转换过程Spark计算过程分析可靠保证华为叶琪：

sparkRDD的常用操作RDD的操作分为两种，一种是转化操作，一种是执行操作，转化操作并不会立即执行，而是到了执行操作才会被执行转化操作：map()参数是函数，函数应用于RDD每一个元素，返回值是新的

1.1.1maptask端操作1.1.2reducetask端操作1.2spark现在的SortShuffleManager2Shuffle操作问题解决2.1数据倾斜原理2.2数据倾斜问题发现与解决2.3数据倾斜解决方案3sparkRDD

sparkrdd详解及开发优化文章英文来源：http://spark.apache.org/docs/latest/programming-guide.html一、SparkRDD详解1、RDD是什么？

packagel847164916importjava.sql.{DriverManager,ResultSet}importjava.util.Propertiesimportorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.sql.{Row,SQLContext,SaveMode}importorg.apache.s

RDD的具体描述:RDD（弹性数据集）是Spark提供的最重要的抽象的概念，它是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式编操作集合的方式，进行各种并行操作。可以将RDD理解为一个具有容错机制的特殊集合，它提供了一种只读、只能有已存在的RDD变换而来的共享内存，然后将所有数据都加载到内存中，方便进行多次重用.他是分布式的，可以分布在多台机器上，进行计算。他是弹性的，计算过程中内存不

不同于sparkrdd的基本API，sparksql接口更多关于数据结构本身与执行计划等更多信息。在spark内部，sqlsql利用这些信息去更好地进行优化。

全书包括五章内容，第一章介绍Spark生态圈以及SparkRDD的编程模型等内容；第二章介绍SparkRDD实战案例与解析，包含Spark应用程序的部署、Spark的各种应用案例与解析、SparkAPI

不像SparkRDD中的A

参考CollectionsStreamAPIMemoization技术详解场景SparkRDD相当于一个分布式的scala集合，而Spark本身是用scala写的。

SparkStreaming源码解读之Executor容错安全性Executor的容错性主要有两种方式1）WAL日志2）借助SparkRDD自身的容错机制分别体现在receivedBlockHandler

不像基础的sparkRDD的API那么抽象，该接口能够对数据和数据的计算提供更多的信息。SparkSQL使用这些额外的信息来增加额外的优化。

以下为SparkRDD解密课程学习心得：    在介绍SparkRDD之前，先简单的说下HadoopMapReduce，它是基于数据流的方式进行计算，从物理存储上加载数据，然后操作数据，最后写入到物理存储设备上

SparkRDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block

《SparkMLlib机器学习》第二章代码2.1SparkRDD操作importorg.apache.log4j.{Level,Logger} importorg.apache.spark.

在现有的sparksql,sparkstreaming,machinelearning,图计算以及sqparkR中，可以根据具体的领域的内容为基础扩充和私有化与自己业务相关的库，而它们的通用接口和基石就是SparkRDD.RDD

在使用sparkRDD中，需要进行二次排序，二次排序需要使用到scalaList的sortWith(compare)，需传递一个比较函数compare给sortWith，这个时候会报如标题所示的错误。

jQuery.prototype中定义了许多非常有趣的方法，同样对比SparkRDD的逻辑可以将其一部分划分为几个大的类型：transform类型及与之相关的方法集、action类型及与之相关的方法集，

本篇博客参照SparkRDD的Transformations和Actions对jQuery静态工具方法做一个简单的总结。一jQuery.each这里探究的的each是jQuery类

通过网络资源，整理出SparkRDD分区的一些总结。分区是为了更好的利用集群中的众多CPU，提高并行度。

SparkRDD最最常用的还是以键值对的形式存在，称作pairsRDDS,下面简称PRDDS。

容错负载均衡基于数据集的处理：从物理存储上加载数据，然后操作数据，然后写入物理存储设备；基于数据集的操作不适应的场景：1，不适合于大量的迭代2，交互式查询重点是：基于数据流的方式不能够复用曾经的结果或者中间计算结果;sparkRDD

容错负载均衡基于数据集的处理：从物理存储上加载数据，然后操作数据，然后写入物理存储设备；基于数据集的操作不适应的场景：1，不适合于大量的迭代2，交互式查询重点是：基于数据流的方式不能够复用曾经的结果或者中间计算结果;sparkRDD

第一阶段，彻底精通Spark第二阶段，从0起步，操作项目Hadoop是大数据的基础设施，存储等等Spark是计算核心所在1、RDD：基于工作集的应用抽象2、RDD内幕解密3、RDD思考不掌握RDD的人，不可能成为Spark的高手绝对精通RDD，解决问题的能力大大提高各种框架底层封装的都是RDD，RDD提供了通用框架RDD是Spark的通用抽象基石顶级SPark高手，1、能解决问题、性能调优；2、S