---SparkCore

SparkCore实现离线IDMapping

最近在开发一个IDMapping业务系统——识别数据上报中社交账号的关联关系，找到系统中哪些社交账号属于现实世界中的同一个人。简单来讲，如果同一条上报数据中出现了两个社交账号（比如一个手机号和一个QQ号），就认为这两个社交账号在现实世界属于同一个人。那么，如何计算这个关联关系呢？一开始我们解决这个问题的思路很直接：现实世界的每个人在系统中用唯一的UUID标识，每次社交账号（Account）上报，在
·2021-03-15 13:23

Spark Streaming原理与架构

计算流程:将流试计算分解成一系列短小的批处理作业,批处理引擎是SparkCore按照输入数据的batchsize（如1秒）,将数据分解成一段一段转换成RDDSparkStreaming中对DStream
刘啊福·2021-01-20 17:04

sparkcore分区_Spark学习：Spark源码和调优简介 Spark Core (二）

第一部分内容见：Spark学习：Spark源码和调优简介SparkCore(一）Task阶段下面是重头戏submitMissingTasks，这个方法负责生成TaskSet，并且将它提交给TaskScheduler
蒲牢森·2020-12-27 16:59

Spark(18) -- SparkCore总结

 Spark的核心是根据RDD来实现的，SparkScheduler则为Spark核心实现的重要一环，其作用就是任务调度。Spark的任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，将每个Stage中的任务发到指定节点运行。基于Spark的任务调度原理，可以合理规划资源利用，做到尽可能用最少的资源高效地完成任务计算。 以词频统计Wor
erainm·2020-10-06 10:14

spark架构与原理

Sparkcore：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他spark的库都是构
thxiong1234·2020-09-16 23:49

Spark中saveAsTextFile至stage划分和job提交的源代码分析

现在回过头来，打算看一下sparkcore部分代码，就先找了下saveAsTextFile这个方法作为入口，看一下是怎么保存文档到hadoop中，并且怎么切分stage以及提交Task。
zhouxucando·2020-09-16 21:21

《Spark大数据分析》一书的书评和采访

\\t了解SparkCore及加载项库，包括SparkSQL、SparkStreaming、GraphX、Mllib和SparkML。
weixin_34242509·2020-09-16 19:53

6.Spark streaming技术内幕 : Job动态生成原理与源码解析

转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/)Sparkstreaming程序的运行过程是将DStream的操作转化成RDD的操作，SparkStreaming和SparkCore
听风的蜗牛·2020-09-16 17:00

Spark2.0版本新特性学习笔记

一、SparkCore&SparkSQLAPI1、dataframe与dataset统一，dataframe只是dataset[Row]的类型别名2、SparkSession：统一SQLContext和
风中的大数据·2020-09-16 13:38

[大数据]连载No9之SparkCore核心篇-资源调度

本次总结见目录stage切割规则1:每一个stage的并行度由task个数决定，task由partition个数决定，partitio由数据大小决定，或者说，stage并行度由最后一个RDD的partiton决定2：每个task的处理逻辑就是每条线贯穿的Stage的所有的partition的处理逻辑，以递归函数的展开式整合起来的见图Spark任务调度流程代码：1）varconf=newSparkC
小石头2014·2020-09-16 12:04

Spark1.6新特性简介及个人的理解

1.DatasetAPI目前Spark有两大类API:RDDAPI(SparkCore),DataFrameAPI(S
u011180846·2020-09-16 12:10

二。spark相关Rdd

Spark模块-------------SparkCore//核心库SparkSQL//SQLSparkStreaming//准实时计算。
皓月青风·2020-09-16 11:51

Spark学习笔记三之RDD是个什么东西

RDD可以说是SparkCore最核心的内容，这一篇开始我将根据自己的理解针对RDD进行深入的剖析。
Shockang·2020-09-16 11:06

SparkCore-核心概念和集群架构（第一天）

SparkCore-核心概念和集群架构（第一天）一、核心概念spark是基于内存的计算框架，是大规模数据处理的统一分析引擎。
果不其燃·2020-09-16 11:45

大数据知识点—spark概念，核心架构，运行流程

核心架构SparkCore包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。
BAO7988·2020-09-16 10:45

SparkCore-RDD的概述，特性，核心属性，执行原理介绍

文章目录RDD的概述、特性核心属性分区列表分区计算函数RDD之间的依赖关系分区器（可选）首选位置（可选）执行原理RDD的概述、特性RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的一种数据处理的模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。RDD是Spark提供的最重要的抽象概念，它是一种有容错机制
Demik·2020-09-16 10:58

SparkCore-核心组件，核心概念，提交流程

文章目录核心组件核心概念提交流程核心组件Spark框架可以大致分三个部分：第一部分：Driver+Executor，任务执行和调度第二部分：Master+Worker，Saprk自身的资源调度框架，只有Standalone模式下才有Master和Worker.第三部分：ClusterManager，集群管理中间件，协调任务的调度Application：Spark应用程序：SparkApplicat
Demik·2020-09-16 10:58

RDD Join 性能调优

SparkCore和SparkSQL的基本类型都支持join操作。虽然join很常用而且功能很强大，但是
卓寿杰_SoulJoy·2020-09-15 23:20

SparkSQL与SparkCore出指标

scala：2.10.6pom.xml4.0.0job2JobNew1.0-SNAPSHOT-->org.apache-->spark-assembly-1.6.0-hadoop-2.6.0-->1.6.0-->-->log4jlog4j1.2.17mysqlmysql-connector-java5.1.31org.apache.sparkspark-graphx_2.101.6.0com.ty
weixin_30413739·2020-09-15 18:49

sparkcore, sparksql, sparkstreaming,sparkmlib

MapReduce–>sparkcore(1)MR的shuffle过程中数据要频繁的落地
醉糊涂仙·2020-09-15 18:55

spark-core 和spark-sql的区别

转自：http://www.cnblogs.com/zlslch/p/6685679.htmlSparkSQL构建在SparkCore之上，专门用来处理结构化数据(不仅仅是SQL)。
光圈1001·2020-09-15 16:39

Spark(1)——Spark的安装

一.Spark简介支持多种开发语言：Scala，Java，Python,R涉及的领域SparkCore数据的离线分析->MapReduceSparkStreaming数据在在线分析->(实时处理)StromSparkSQL
lime_·2020-09-15 14:04

5.大数据技术之SparkCore_第三到五章:键值对RDD数据分区/读取保存/RDD编程进阶

Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None(2)每个RDD的分区ID范围：0~numPartitions-1，决定这
卡其色的夏日·2020-09-15 02:41

【Spark-Core】架构、部署、WC-Demo

SparkCore一、什么是Spark？（官网：http://spark.apache.org）1、什么是Spark？*我的翻译：Spark是一个针对大规模数据处理的快速通用引擎。
双椒叔叔·2020-09-14 15:46

Spark代码练习——充值SparkSQL实现

数据文件为：“JsonTest02.json”用SparkCore或SparkSQL实现均可，需求如下：统计每个用户充值总金额并降序排序（10分）统计所有系统类型登录总次数并降序排序（10分）统计所有用户在各省登录的次数的
嘉平11·2020-09-14 02:55

Spark系列--SparkCore(一)RDD简介

前言RDD是Spark的基石，是实现Spark数据处理的核心抽象。那么RDD为什么会产生呢？Hadoop的MapReduce是一种基于数据集的工作模式，面向数据，这种工作模式一般是从存储上加载数据集，然后操作数据集，最后写入物理存储设备。数据更多面临的是一次性处理。MR的这种方式对数据领域两种常见的操作不是很高效。第一种是迭代式的算法。比如机器学习中ALS、凸优化梯度下降等。这些都需要基于数据集或
淡淡的倔强·2020-09-14 02:05

spark的四大核心组件

位于底层的是SparkCore，其实现了Spark的作业调度、内存管理、容错、与存储系统交互等基本功能，并针对弹性分布式数据集提供了丰富的操作。
Root-Brain·2020-09-14 02:12

大数据项目架构选型和集群规划

日志文件:页面数据、埋点数据数据采集sqoop、kettleflumeshell.数据存储：HDFS、Hive、HBASE数据清洗Mapreduce、hive、sparkCore数据处理（分析）Hive
leson-xu·2020-09-13 09:53

spark系列二：sparkcore和sparksql综合案例

数据格式：日期用户搜索词城市平台版本需求：1、筛选出符合查询条件（城市、平台、版本）的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数，倒序排序4、将数据保存到hive表中1、针对原始数据（HDFS文件），获取输入的RDD2、使用filter算子，去针对输入RDD中的数据，进行数据过滤，过滤出符合查询条件的数据。2.1普通的做法：直接在fitler算子函数中，
cjx42518041·2020-09-13 08:31

spark系列二：jdbc数据源实例

读取的数据，依然由DataFrame表示，可以很方便地使用SparkCore提供的各种算子进行处理。这里有一个经验之谈，实际上用SparkSQL处理JDBC中的数据是非常有用的。
cjx42518041·2020-09-13 08:31

Spark知识点总结导航

Spark知识点总结导航-Spark基础-----第一章spark概述-----第二章spark集群安装-SparkCore-----第一章SparkShell-----第二章执行spark程序----
落落free·2020-09-11 22:04

Spark Streaming——DStream Transformation操作

SparkStreaming——DStreamTransformation操作Spark的各个子框架都是基于sparkcore的，SparkStreaming在内部的处理机制是，接收实时流的数据，并根据一定的时间间隔拆分成一批数据
yanzhelee·2020-09-11 21:39

Spark源码解读(6)——Shuffle过程

Shuffle应该说是SparkCore中较为复杂的部分，本文主要从一个最简单的WordCount例子出发分析Spark的Shuffle过程：1，概述sc.parallelize(1to1000).map
scalahome·2020-09-11 16:06

Spark的WordCount到底产生了多少个RDD

Spark的WordCount到底产生了多少个RDD不少的同学在面试中会被问到：这样的一句标准的sparkcore的wordcount的代码到底能要产生几个RDD呢。
中琦2513·2020-09-11 12:45

Intellij idea配置Spark开发环境，统计哈姆雷特词频(2)

idea新建maven项目输入maven坐标maven坐标编辑maven文件Spark体系中间层Spark，即核心模块SparkCore，必须在maven中引用。
weixin_33743248·2020-09-11 10:20

在 IntelliJ IDEA 中配置 Spark(Java API) 运行环境

1.新建Maven项目初始Maven项目完成后，初始的配置（pom.xml）如下：2.配置Maven向项目里新建SparkCore库4.0.0net.libaoquanTestSpark1.0-SNAPSHOTorg.apache.sparkspark-core
weixin_30508309·2020-09-11 10:47

SparkCore-RDD编程

一、编程模型在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count,collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运
我是星星我会发光i·2020-09-11 05:21

Zeppelin组件配置和使用：连接Spark

Spark的核心分析栈包括SparkCore、SparkSQL、SparkStreaming、MLlib、GraphX等，面向批处理、流处理、图计算、机器学习等场景，实现了生态融合统一，基于相同的数据结构
机器熊技术大杂烩·2020-09-10 15:14

第1章 初探大数据

主站最受欢迎的TopN课程大数据的到来任职要求.熟悉Linux操作系统，熟悉Linuxshell编程.熟悉Java或者scala语言，具有一年以上实际开发经验.熟悉sparksql或sparkstreaming或sparkcore
weixin_SAG·2020-08-26 09:10

Spark基础

Spark的组件SparkCore包括Spark的基本功能，包含任务调度，内存管理，容错机制。内部定义了RDDs(弹性分布式数据集)。提供了很多APIs来创建和操作这些RDDs。
班得瑞的猫·2020-08-25 17:11

性能优化

sparkcore部分一：Spark性能优化核心基石1，Spark是采用Master-slaves的模式进行资源管理和任务执行的管理：a)资源管理：Master-Workers，在一台机器上可以有多个Workers
漠小浅·2020-08-24 16:19

SparkCore（2）：Spark源码导入IDEA（blog很经典）

参考blog：https://www.cnblogs.com/zlslch/p/5881893.html
RayBreslin·2020-08-24 16:08

IDEA开发Spark应用程序

Spark应用程序运行词频统计案例迭代之输出结果到HDFS词频统计案例迭代之处理多个输入文件词频统计案例迭代之输入文件规则匹配带排序的词频统计案例开发及运行过程深度剖析求用户访问量的TopN的Hive实现以及SparkCore
liweihope·2020-08-24 01:30

SparkCore之运行架构

参考官网：http://spark.apache.org/docs/latest/cluster-overview.htmlClusterModeOverview集群模式概述ThisdocumentgivesashortoverviewofhowSparkrunsonclusters,tomakeiteasiertounderstandthecomponentsinvolved.Readthrou
liweihope·2020-08-24 01:30

理解Spark的运行机制

iteye.com/upload/attachment/0127/9048/acc4fb45-3278-3491-bf21-2be4bd608d2a.png[/img]spark的核心主要由3个模块组成：（1）sparkcore
三劫散仙·2020-08-23 19:21

解析SparkStreaming和Kafka集成的两种方式

sparkstreaming是基于微批处理的流式计算引擎，通常是利用sparkcore或者sparkcore与sparksql一起来处理数据。
菲橙·2020-08-23 03:32

SparkSQL编程之用户自定义函数

IDEA创建SparkSQL程序IDEA中程序的打包和运行方式都和SparkCore类似，Maven依赖中需要添加新的依赖项org.apache.sparkspark-sql_2.112.1.1程序如下
大数据小同学·2020-08-23 03:49

Spark系列--SparkCore(七)广播变量和累加器

一、广播变量通常情况下，当一个RDD的很多操作都需要使用driver中定义的变量时，每次操作，driver都要把变量发送给worker节点一次，如果这个变量中的数据很大的话，会产生很高的传输负载，导致执行效率降低。使用广播变量可以使程序高效地将一个很大的只读数据发送给多个worker节点，而且对每个worker节点只需要传输一次，每次操作时executor可以直接获取本地保存的数据副本，不需要多次
淡淡的倔强·2020-08-22 18:28

Sort-based Shuffle的设计与实现

原文http://www.cnblogs.com/hseagle/p/3979744.html[size=large][b]概要[/b][/size][size=medium]Spark1.1中对sparkcore
snwz5588668·2020-08-22 18:21

spark(四)checkpoint源码阅读

对于SparkCore则适合那些计算链条超级长或者计算耗时的关键点进行Checkpoint,便于故障恢复。
文子轩·2020-08-22 18:55
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他