sparkcore

SparkCore

SparkCore========================================MapReduce分布式计算框架缺点：-1.执行速度慢IO瓶颈：磁盘IO、网络IOshuffle的机制：
weixin_40652340·2020-06-29 00:22

【Python3实战Spark大数据分析及调度】第9章 Spark Streaming

SparkStreaming概述SparkStreaming是SparkCore的扩展，能够水平扩展，高吞吐量，有容错机制的进行对实时数据进行流处理。
Melo丶·2020-06-28 21:17

Spark的介绍：前世今生

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，
weixin_33724570·2020-06-28 04:03

spark－概念

运行环境基本概念Spark生态圈以SparkCore为核心，从HDFS、AmazonS3和HBase等持久层读取数据，以MESS、YARN和自身携带的Standalone为资源管理器调度Job完成Spark
双斜杠少年·2020-06-27 03:27

Spark-core之RDD核心概念

一、Spark包括什么spark的核心是SparkCore，其中上面的SparkSql对接的是Hive等结构化查询，SparkStreaming是对接的流式计算，后面的那两个也是主要用在科学任务中，但是他们的基础都是
student__software·2020-06-26 15:15

Spark>简答题

文章目录Spark1、什么是Spark2、Spark特点3、Spark运行模式4、Spark编写代码SparkCore1、什么是RDD2、RDD的主要属性3、RDD的算子分为两类:4、Rdd数据持久化什么作用
千千匿迹·2020-06-26 03:35

SparkCore>RDD容错机制Checkpoint

文章目录引入代码演示查看结果:总结引入持久化的局限持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。问题解决Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在在HDFS上，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的容错和高可用使用
千千匿迹·2020-06-26 03:35

基于Spark的机器学习实践 (二) - 初识MLlib

1MLlib概述1.1MLlib介绍◆是基于Sparkcore的机器学习库,具有Spark的优点◆底层计算经过优化,比常规编码效率往往要高◆实现了多种机器学习算法,可以进行模型训练及预测1.2SparkMLlib
公众号:JavaEdge·2020-06-25 07:23

基于Spark的机器学习实践 (二) - 初识MLlib

1MLlib概述1.1MLlib介绍◆是基于Sparkcore的机器学习库,具有Spark的优点◆底层计算经过优化,比常规编码效率往往要高◆实现了多种机器学习算法,可以进行模型训练及预测1.2SparkMLlib
JavaEdge·2020-06-24 18:08

Hadoop学习路线

Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,sparkcore
jiang_hadoop·2020-06-23 21:11

94、Spark Streaming之与Spark SQL结合使用之top3热门商品实时统计案例实战

与SparkSQL结合使用SparkStreaming最强大的地方在于，可以与SparkCore、SparkSQL整合使用，之前已经通过transform、foreachRDD等算子看到，如何将DStream
ZFH__ZJ·2020-06-23 14:18

[flow]Kafka+Spark Streaming+Redis实时计算整合

://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/关于SparkSteamingSparkStreaming模块是对于SparkCore
葡萄喃喃呓语·2020-06-23 14:48

大数据学习笔记之Spark（二）：SparkCore应用解析

文章目录小笔记第1章RDD概念番外篇RDD基础RDD的创建RDD的操作1.1RDD为什么会产生1.2RDD概述1.2.1什么是RDD1.2.2RDD的属性1.3RDD弹性1.4RDD特点1.4.1分区1.4.2只读1.4.3依赖1.4.4缓存1.4.5checkpoint第2章RDD编程2.1编程模型2.2创建RDD2.3RDD编程2.3.1TransformationmapfilterflatM
Leesin Dong·2020-06-23 03:46

Spark系列课程-0020Spark RDD图例讲解

我们从这节课开始，讲Spark的内核，英文叫做SparkCore，在讲SparkCore之前我们先讲一个重要的概念，RDD，image.png我们Spark所有的计算，都是基于RDD来计算的，我们所有的计算都是通过
Albert陈凯·2020-06-22 15:07

RDD的处理方法（创建、转换、行动、分区）

spark生态系统：底层是sparkcore，在sparkcore的基础上开发了其他组件，可以支持不同的应用场景。
Rachel_nana·2020-06-22 12:14

大数据学习之路 --- Spark（内存计算框架）

--->Spark中有很多内容，本篇文章只讲其中的Sparkcore，Sparksql，Sparkstream。
Mai_Noe·2020-06-22 01:47

Spark2.x详解

Spark2.x1.Spark初始1.1:什么是Spark1.2:Spark与mapreduce的区别2.SparkCore2.1:RDD2.2:Spark任务执行原理2.3:代码流程2.4:Transformations
LssTwl·2020-06-22 00:47

sparkCore

SparkCore讲解1、RDD基本概念1.1、什么是RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区
Imflash·2020-06-21 22:43

大数据Spark和Hadoop以及区别（干货）

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
BAO7988·2020-06-21 17:47

Spark Streaming 基本概念及操作

1SparkStreamingSparkStreamingisanextensionofthecoreSparkAPI(sparkcore的拓展)thatenablesscalable（高可用）,high-throughput
wong小尧·2020-06-21 16:20

Spark Streaming

具备容错机制的实时流数据的处理•支持多种数据源获取数据：•SparkStreaming接收Kafka、Flume、HDFS等各种来源的实时输入数据，进行处理后，处理结构保存在HDFS、DataBase等各种地方SparkCore
Coding Now·2020-06-21 06:01

必看！Spark 进阶之路之「SparkSQL」入门概述 | 博文精选

作者|Alice菌责编|Carol来源|CSDN博客封图|CSDN付费下载于视觉中国在之前的文章中，我们已经完成了对于Spark核心SparkCore的详细介绍。
CSDN云计算·2020-06-20 22:08

WordCount

sparkCore：算子实现：objectWordCount{defmain(args:Array[String]):Unit={//创建valconfig=newSparkConf().setMaster
USTC_IT·2020-05-18 10:41

Spark从入门到精通33:Spark Streaming：大数据实时计算介绍

它的底层，其实，也是基于我们之前讲解的SparkCore的。基本的计算模型，还是基于内存的大数据实时计算模型。而且，它的底层的组件或者叫做概念，其实还是最核心的RDD。
勇于自信·2020-04-14 22:33

spark从入门到放弃五十二:Spark Streaming(12)结合spark Sql

文章地址：http://www.haha174.top/article/details/2536271.简介SparkStreaming强大的地方在于，可以于sparkcore和sparksql整合使用
意浅离殇·2020-04-10 13:34

Spark内核流程概要

因此，对于SparkCore了解不够详细的读者可以先阅读之前的这篇
liuzx32·2020-04-08 07:34

1. 通过案例对SparkStreaming 透彻理解三板斧之一：解密SparkStreaming另类实验

SparkStreaming很像是基于SparkCore之上的一个应用程序。不像其他子框架，
milkfan·2020-04-07 01:27

Spark组件简介

Spark组件SparkCore：包含Spark基本功能，包括任务调度，内存管理，容错机制等内部定义了RDDs（弹性分布式数据集）提供了许多APIs来创建和操作这些RDDs为其他组件提供底层服务SparkSQLSpark
小透明苞谷·2020-04-06 22:18

Spark Streaming - Receiver启动流程

在SparkStreaming整个架构体系里面，数据接收其实最为关键的一个流程，在数据接收完之后，后面的数据处理上面就是复用SparkCore的数据处理架构(包括BlockManager来管理数据)，之后就是
regrecall·2020-04-06 22:36

Spark从入门到精通1:spark概述

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
勇于自信·2020-04-03 16:55

Spark Sql 源码剖析（一）：sql 执行的主要流程

本文基于Spark2.1，其他版本实现可能会有所不同之前写过不少SparkCore、SparkStreaming相关的文章，但使用更广泛的SparkSql倒是极少，恰好最近工作中使用到了，便开始研读相关的源码以及写相应的文章
牛肉圆粉不加葱·2020-03-31 20:06

2. 通过案例对透彻理解三板斧之二：解密SparkStreaming运行机制和架构进阶之运行机制和架构

Sparkcore上面有4个流行的框架：SparkSQL、流计算、机器学习、图计算。从框架入手可以更清晰地了解SparkCore的内容。
milkfan·2020-03-31 19:11

Spark介绍及搭建

Spark提供了大数据处理的一站式解决方案，以SparkCore为基础推出了SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等组件。
零度沸腾_yjz·2020-03-31 04:31

贯通Spark Streaming JobScheduler内幕实现和深入思考

JobScheduler的地位非常的重要，所有的关键都在JobScheduler，它的重要性就相当于是SparkCore当中的DAGScheduler，因此，我们要花重点在JobScheduler上面。
阳光男孩spark·2020-03-28 00:05

Spark Core

SparkCore是什么Spark之一行写WordCount:sc.textFile("/home/data.txt").flatMap(_.split("/t")).map((_,1)).reduceBykey
终生学习丶·2020-03-06 03:11

2 通过案例对SparkStreaming透彻理解之二

SparkCore是基于RDD形成的，RDD之间都会有依赖关系。
海纳百川_spark·2020-03-05 13:14

Spark生态圈

Spark生态圈的五大组件：SparkCore、SparkStreaming、SparkSQL、SparkMLlib和SparkGraphX。
终生学习丶·2020-02-16 13:54

如何将Apache Spark用于不同类型的大数据分析用例

了解SparkCore及加载项库，包括SparkSQL、SparkStreaming、GraphX、Mllib和SparkML。了解开发者在项目中使用Spark时可能需要用到的开发和测试工具。
丨程序之道丨·2020-02-13 15:32

spark从入门到放弃四十四:Spark Streaming(4)world count 开发

http://www.haha174.top/article/details/251693简介前三篇主要说了一些定义的东西本篇主要实现一个入门案例的worldcount其实这个worldcount和之前sparkcore
意浅离殇·2020-02-11 15:08

Spark介绍和集群模式搭建

Spark提供了大数据处理的一站式解决方案，以SparkCore为基础推出了SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等组件。
零度沸腾_yjz·2020-02-07 13:30

SparkStreaming基础

请参看SparkCore基础（二）的最后部分。在SparkCore中，我们操作的数据都在RDD中，是Spark的一个抽象概念，也是一个抽象类，是由SparkContext对象sc转换得到的。
Z尽际·2020-02-06 21:19

GeoMesa Spark

GeoMesaSpark一、SparkJTS1.1示例1.2配置1.3地理空间用户定义的类型和功能1.4geojson输出1.5Building二、SparkCore2.1示例2.2配置2.3简单功能序列化
达微·2020-02-06 11:49

『_海纳百川』1 Spark Streaming 透彻理解之一

/5471477.html1SparkStreaming透彻理解之一-http://www.jianshu.com/p/8de6ec8513ca本文内容基于Spark最新版1.6.1Spark最初只有SparkCore
葡萄喃喃呓语·2020-02-01 19:57

1 Spark Streaming 透彻理解之一

本文内容基于Spark最新版1.6.1Spark最初只有SparkCore，通过逐步的发展，现在已扩展出SparkSQL、SparkStreaming、SparkMLlib(machinelearning
海纳百川_spark·2020-02-01 04:00

spark学习笔记

1.2、SparkCore包含任务调度、内存管理、错误恢复、与存储系统交互等模块。
seafreak·2020-01-31 02:36

spark学习（四）spark基本原理及安装

（一）spark生态环境：Mesos和YARN都是资源调度管理器HDFS：分布式系统存储组件S3：亚马逊提供的云端的简单的存储服务Tachyon：基于内存的分布式文件系统SparkCore：复杂批量数据处理
寂天风·2020-01-28 20:00

Spark学习之路 （十五）SparkCore的源码解读（一）启动脚本[转]

启动脚本分析独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。启动master和slaves主要是执行/usr/dahua/spark/sbin目录下的start-master.sh和start-slaves.sh
C君。·2020-01-26 17:00

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
Alukar·2020-01-06 21:49

184、Spark 2.0之Spark 2.x与1.x对比以及分析

Spark2.x与1.x对比Spark1.x：SparkCore（RDD）、SparkSQL（SQL+Dataframe+Dataset）、SparkStreaming、SparkMLlib、SparkGraphxSpark2
ZFH__ZJ·2019-12-31 21:48

Spark Streaming 实现原理

SparkStreaming实现思路SparkStreaming与SparkCore的关系可以用下面的经典部件图来表述：可以看到SparkStreaming是建立在SparkCore基础上的，所以DStream
灯火gg·2019-12-28 10:17
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他