sparkSteaming

Spark Streaming任务中的容错机制盘点

刚好最近我负责一个实时流计算的项目，由于对接Spark比较方便，所以采用的是SparkSteaming。在处理流式数据的时候使用的数据源搭档是kafka，这在互联网公司中比较常见。
死亡之翼归来·2023-09-01 05:43

SparkSteaming运行流程分析以及CheckPoint操作

本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作注：下面源码只贴出跟分析内容有关的代码，其他省略1分析流程应用程序入口：valsparkConf=newSparkConf().setAppName("SparkStreaming")valsc=newSparkContext(sparkConf)valssc=newStre
朝和(zixi0825)·2023-06-23 08:42

Spark Streaming实时计算实例

SparkStreaming实时计算实例一、实验内容编写SparkSteaming应用程序，实现实时词频统计。二、实验步骤1．运行nc，模拟数据源。nc-lk9999启动服务端且监听Socket服务。
兜里没有一毛钱·2023-06-19 11:23

yarn 的知识要点

yarn是一个资源调度系统，也可以视为一个在hadoop2.0平台上的插件系统，在HDFS的基础上，可以在yarn上运行多个计算框架，例如spark、sparksteaming、flink、MR等。
风暴之芽·2023-06-17 01:34

sparksql java 实例_sparkStreaming结合SparkSql实例

但如果在SparkSteaming中也使用SQ
碧海云天97·2023-04-09 12:43

sparksteaming 和 flink的区别

1、spark无状态，flink有状态spark本身是无状态的，所以我们可以把它看成一个rdd一个算子一个rdd的去处理，就是说可以看成分段处理。但是flink是事件驱动型应用是一类具有状态的应用，我们要把它看成一个个event记录去处理，当遇到窗口时会进行阻塞等待，窗口的聚合操作是无状态的。过了窗口后DataStream的算子聚合操作就是有状态的操作了，所以flink要把聚合操作都放到窗口操作之
程序员的隐秘角落·2022-05-13 16:30

第90讲，Spark streaming基于kafka 以Receiver方式获取数据 原理和案例实战

1：SparkSteaming基于kafka获取数据的方式，主要有俩种，即Receiver和Derict，基于Receiver的方式，是sparkStreaming给我们提供了kafka访问的高层api
Android进阶·2020-09-11 22:49

spark streaming ,预写日志（write-ahead logging）和checkpoint。

sparksteaming是sparkCoreAPI的一种扩展，它可用于大规模、高吞吐量、容错的实时数据流处理。
贾公子·2020-08-07 14:41

SparkStreaming（SparkSQL）+Kafka+Oracle 使用SQL完成的实时累加统计（更新）

但如果在SparkSteaming中也使用SQL来做统计分
lhxsir·2020-07-30 13:15

理解SparkSteaming窗口函数操作window()

需求场景：一些业务场景，例如网站记录，每隔1个小时计算最近两个小时的pv量，还有一种业务场景的话先在内存中做累加再更新到redis中做累加，比如说每隔5秒统计最近5秒的数据的总和，再刷到redis中做累加，因为频繁操作redis的话会存在问题。重要参数：1.批处理间隔2.窗口间隔3.滑动时间间隔原理介绍：在SparkStreaming中，数据处理是按批进行的，而数据采集是逐条进行的，因此在Spar
杨鑫newlfe·2020-07-30 01:51

flume+kafka+spark streaming日志流式处理系统搭建实验

不同于storm采用基于事件(event)级别的流处理，尽管sparksteaming以mini-batch方式的近似流处理的微型批处
江畔独步·2020-07-02 09:45

第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础

11-1-课程目录基于SparkSteaming&Flume&kafka打造通用流处理平台整合日志框架输出到flume整合flume到kafka整合kafka到sparkstreamingsparkstreaming
weixin_SAG·2020-06-28 21:47

CDH 5.16.1 使用 flume、kafka、sparkstreaming做实时

本文的主要目的就是为了实现以下需求：通过flume收集日志；将收集到的日志分发给kafka；通过sparksteaming对kafka获取的日志进行处理；然后将处理的结果存储到hdfs的指定目录下。
大壮vip·2020-06-25 07:03

Flume到MongoDB的日志行为收集

需求概述某公司需要对玩家行为日志进行统一收集，收集后全部存入MongoDB，同时部分写入Kafka，对接SparkSteaming做实时计算处理。
chengpu9127·2020-06-22 21:30

spark streaming框架简介

1.sparksteaming概述在《spark基础（上篇）》中，sparkstreaming是spark体系中的一个流式处理框架。
ZPPenny·2020-03-23 22:56

【2020/2/2】寒假自学——学习进度报告9

因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。
limitCM·2020-02-02 21:00

Spark Streaming 架构原理分析

、ReceiveTracker组件3、DStreamGraph组件4、JobGenerator组件5、JobScheduler组件1、StreamingContextstreamingContext是sparksteaming
tamir_2017·2019-06-23 22:20

基于spark streaming的流数据处理和分析

，streamcontextssc.start()执行之后，上面代码段才会执行一系列不停的RDDReceives接收器创建多个receivers你需要在cluster里Nifi可以往kafka送，或者sparksteaming
null_水金admin·2018-11-06 14:15

SparkStreaming（SparkSQL）+Kafka+Oracle 使用SQL完成的实时累加统计

但如果在SparkSteaming中也使用SQL来做统计分
lhxsir·2018-08-24 16:56

Spark学习（一）：Spark独立应用

包括SparkSql,SparkSteaming,MLlib,GraphX,集群管理器等等。
acm160920007·2018-08-02 15:15

SparkSteaming运行流程分析以及CheckPoint操作

本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作注：下面源码只贴出跟分析内容有关的代码，其他省略1结论先行SparkStreaming的启动、任务生成、任务结束、Checkpoint操作流程如下：SparkStreamingContext.start()启动JobSchedulerJobScheduler的启动操作JobS
_和_·2018-02-23 19:12

sparkstreaming官方文档笔记

1、sparksteaming入门例子注：代码摘自spark官方文档http://spark.apache.org/docs/latest/streaming-programming-guide.html
风筝中有风·2017-12-07 15:35

第90讲，Spark streaming基于kafka 以Receiver方式获取数据 原理和案例实战

1：SparkSteaming基于kafka获取数据的方式，主要有俩种，即Receiver和Derict，基于Receiver的方式，是sparkStreaming给我们提供了kafka访问的高层api
qq_21234493·2016-05-07 20:00

Spark学习体系

Spark安装简介Spark的源码编译SparkStandalone安装SparkStandaloneHA安装Spark应用程序部署工具spark-submitSpark生态Spark（内存计算框架）SparkSteaming
John00000001·2014-07-21 09:06
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他