sparkStreaming 第14页

消息队列一点点总结

订阅系统实现一个微服务级系统间的观察者模式用户活动的追踪用户在web或者App的活动行为，通过消费kafka的topic做分析或者存储；限流、削峰填谷对激增场景限流；电商商城、订单、支付；流式处理连接计算任务和数据、流式计算框架sparkstreaming

keeeepcodeing·2021-05-25 16:12

揭开Spark Streaming神秘面纱① - DStreamGraph 与 DStream DAG

在SparkStreaming中，DStreamGraph是一个非常重要的组件，主要用来：通过成员inputStreams持有SparkStreaming输入源及接收数据的方式通过成员outputStreams

牛肉圆粉不加葱·2021-05-21 10:35

Spark基础知识

的任务调度执行机制，减少了迭代计算时的I/O开销；Spark的设计遵循“一个软件栈满足不同应用场景”的理念，形成了一套完整的生态系统，既能够提供内存计算框架，也可以支持SQL即席查询（SparkSQL）、流计算（SparkStreaming

冰科技·2021-05-19 19:53

[Kafka]整合到Spark Streaming

整合Kafka到SparkStreaming——代码示例和挑战-stark_summer的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/stark_summer/article

葡萄喃喃呓语·2021-05-18 22:50

spark streaming 窗口操作和join 操作

WindowOperationSparkStreaming也可以提供基于窗口的计算，这样允许你操作一个滑动窗口时间内的数据。

pcqlegend·2021-05-16 19:48

22list『DT_Spark 』第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本

第114课:SparkStreaming+Kafka+SparkSQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本)-段智华的博客-博客频道-CSDN.NEThttp

葡萄喃喃呓语·2021-05-16 12:49

2018-09-14 Spark Streaming 实时计算在甜橙金融监控系统中的应用及优化

目前公司对实时性计算的需要及应用越来越多，本文选取了其中之一的SparkStreaming来介绍如何实现高

四火流年·2021-05-13 23:13

【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统

目录万事具备之巧借东风预备知识环境搭建Spark安装Kafka安装Kafka核心知识介绍Kafka开启及测试服务Python依赖库PyCharm安装搭建总结八仙过海之各显神通数据预处理运行效果代码代码展示神笔马良之画龙点睛SparkStreaming

王小王-123·2021-05-13 20:51

海量数据分流处理-------一致性哈希算法

掌握了不少我只认为是工具的东西，比如Hadoop中的HDFS、Mapreduce、Yarn、HBase、Hive、Sqoop、Flume、Mahout、Pig、Zookeeper等和Spark中的SparkSQL、SparkStreaming

狼牙战士·2021-05-12 16:04

Spark Streaming Backpressure分析

1、为什么引入Backpressure默认情况下，SparkStreaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batchprocessingtime>batchinterval

尼小摩·2021-05-12 16:13

PySpark之SparkStreaming基本操作

PySpark之SparkStreaming基本操作前言流数据具有如下特征：•数据快速持续到达，潜在大小也许是无穷无尽的•数据来源众多，格式复杂•数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃，

张先生-您好·2021-05-11 15:15

Spark Streaming一致性、容错机制分析

SparkStreaming容错机制保障参考https://databricks.com/blog/2015/01/15/improved-driver-fault-tolerance-and-zero-data-loss-in-spark-streaming.html

分裂四人组·2021-05-10 23:42

2.2 kafka-manager的安装与配置

目录1.系统架构2.环境搭建2.1本地环境下kafka批量导入数据2.2kafka-manager的安装与配置3.1SparkStreaming性能调优(一):解决并行度3.2SparkStreaming

PigPIgAutumn·2021-05-10 02:02

Spark的那些事（一）

一Spark生态：1111.png支持SparkSql用于sql和结构化数据查询处理；支持MLlib用于机器学习；支持GraphX用于图形处理；支持SparkStreaming和StructuredSql

假文艺的真码农·2021-05-09 06:46

第4课:Spark Streaming 事务处理彻底掌握

本期内容：1.Exactlyonce容错2.数据输出不重复一.SparkStreaming中的事务场景:在SparkStreaming中事务是指能够处理且只处理一次,能够输出且只输出一次.以银行转帐一次为例

kaden·2021-05-08 11:28

Spark Streaming如何消费Kafka的大消息(30M-40MB)

版本虽然很少有生产环境用Kafka传递超过1M消息的场景（因为高吞吐、低延时的要求，Kafka发布-订阅模型中Producer-Broker-Consumer3方的相关默认配置都是1M），但由于手上项目的特殊需求，希望SparkStreaming

俺是亮哥·2021-05-07 14:29

spark streaming源码分析之job、rdd、blocks之间是如何对应的？

假设你已经了解job是如何被划分及提交的，若不了解请前往sparkstreaming流程详解当前位置是JobGenerator类的generateJobs的方法，我们重点看上面的generateJobs

cclucc·2021-05-07 11:05

python玩storm趟坑记

storm是最有名的实时流处理，spark虽然也有sparkstreaming，出来得比较晚，要趟的坑比storm要多，首选还是storm。

小木胆·2021-05-03 09:49

Spark计算《西虹市首富》短评词云

阿坤的博客·2021-05-03 06:21

Spark Streaming 数据清理机制

大家刚开始用SparkStreaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast系统会帮忙自己清理掉么？还是说必须自己做清理？

祝威廉·2021-05-03 00:29

【翻译】Spark Streaming 管理 Kafka Offsets 的方式探讨

ClouderaEngineeringBlog翻译：OffsetManagementForApacheKafkaWithApacheSparkStreamingSparkStreaming应用从Kafka

_和_·2021-05-01 14:54

让Spark成为你的瑞士军刀

很感慨Spark用好了，真的是大数据的瑞士军刀依托于SparkStreaming/SparkSQL，封装了一套通过配置和SQL就能完成批处理和流式处理的引擎，这样可以很好的完成复杂的ETL处理过程，实现了数据的流转和变换

祝威廉·2021-05-01 06:04

Spark Streaming源码解读之Receiver生成全生命周期彻底研究和思考

SparkStreaming源码解读之Receiver生成全生命周期彻底研究和思考-http://www.jianshu.com/p/dff0dbf0ced0一：Receiver启动的方式设想1.SparkStreaming

葡萄喃喃呓语·2021-04-30 22:45

2.1 本地环境下kafka批量导入数据

目录1.系统架构2.环境搭建2.1本地环境下kafka批量导入数据2.2kafka-manager的安装与配置3.1SparkStreaming性能调优(一):解决并行度3.2SparkStreaming

PigPIgAutumn·2021-04-30 19:08

Spark Streaming整合Kafka

前几章介绍了Kafka、SparkStreaming入门、SparkStreaming进阶。在这一章一起学习SparkStreaming和Kafka的整合。

董二弯·2021-04-28 01:22

16.Spark Streaming源码解读之数据清理机制解析

本期内容：一、SparkStreaming数据清理总览二、****SparkStreaming****数据清理过程详解三、****SparkStreaming****数据清理的触发机制SparkStreaming

飞帅记忆·2021-04-26 22:05

Flume+Kafka+SparkStreaming 进行WordCounts实例

1.flumeflume的安装配置就不说了，网上一大堆。我还是给一个网址吧，https://www.jianshu.com/p/82c77166b5a3编写flume配置文件cd/opt/apache-flume-1.8.0-binvimconf/flume_kafka_and_hdfs.conf填写内容如下：a1.sources=r1a1.sinks=k1k2a1.channels=c1c2a1

盗梦者_56f2·2021-04-25 05:56

Spark Streaming 原理剖析

通过源码呈现SparkStreaming的底层机制。

三万_chenbing·2021-04-24 02:24

Spark学习_01_概述

通过sparkSQL，用户可以使用SQL或者apacheHive版本的HQL来查询数据·sparkstreaming是spark平台上针对实时数据进行流式计算的组件，提供

?CaMKII·2021-04-23 19:28

2021年大数据Spark（三十四）：Spark Streaming概述

SparkStreaming在很多实时数据处理的场景中，都需要用到流式处理（StreamProcess）框架，Spark也包含了两个完整的流式处理框架SparkStreaming和StructuredStreaming

Lansonli·2021-04-21 19:39

背压

举例SparkStreaming这句话怎么理解？？？首先，服务中心的服务能力是有限的，要处理的事件时多时少，资源浪费?资源不够?在系统架构设计中，要思考2个问题：1、服务中心要抗住峰值事

___Hello·2021-04-21 14:59

Spark案例

Spark实战，第1部分:使用Scala语言开发Spark应用程序Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统Spark实战，第3部分:使用SparkSQL

Albert陈凯·2021-04-20 20:45

【Flink 精选】如何分析及处理反压?

阐述Flink、Storm，SparkStreaming的反压机制，Flink如何定位及分析反压？概念反压（backpressure）是流式计算中十分常见的问题。

熊本极客·2021-04-19 15:29

十年编程大佬带你复盘Flink，SparkStreaming，Storm经典对战，谁将最终胜出？

1.Flink架构及特性分析Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供highlevel的API。Flink也提供API来像Spark一样进行批处理，但两者处理的基础是完全不同的。Flink把批处理当作流处理中的一种特殊情况。在Flink中，所有的数据都看作流，是一种很好的抽象，因为这更接近于现实世界。1.1基本架构下面我们介绍下Flin

Java架构领域·2021-04-18 14:44

Flink 原理与实现：如何处理反压问题

目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli

尼小摩·2021-04-17 23:30

slf4j、log4j、log4j2、logback到底用哪些jar

前言SparkStreaming用久了，打算学习一下Flink，就从官网下载了Flink1.11，打算搞一个客户端，将程序提交在yarn上。

Seven0007_·2021-04-17 18:40

(转)Spark Streaming 流计算优化记录(5)-分区与内存的优化

8.不一定非得每秒处理一次由于SparkStreaming的原理是microbatch,因此当batch积累到一定数量时再发放到集群中计算,这样的数据吞吐量会更大些.这需要在StreamingContext

达微·2021-04-17 17:28

Kafka+Spark Streaming如何保证exactly once语义

在Kafka、Storm、Flink、SparkStreaming等分布式流处理系统中（没错，Kafka本质上是流处理系统，不是单纯的“消息队列”），存在三种消息传递语义（messagedeliverysemantics

LittleMagic·2021-04-17 15:54

kakfa连接sparkstreaming时候offset保存问题

官网的scala代码stream.foreachRDD{rdd=>valoffsetRanges=rdd.asInstanceOf[HasOffsetRanges].offsetRanges//sometimelater,afteroutputshavecompletedstream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges)}

大数据修行·2021-04-17 15:15

sparkStreaming处理离线任务

方案使用sparkStreaming将任务分发到sparkexecutors上去做

·2021-04-13 14:52

Spark Streaming + Canal + Kafka打造Mysql增量数据实时进行监测分析

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源Spark中的SparkStreaming可以用于实时流项目的开发，实时流项目的数据源除了可以来源于日志、文件、网络端口等，常常也有这种需求，那就是实时分析处理

王知无-大数据技术与架构·2021-04-01 07:00

数据结构与算法的实际应用——根据表关系构建SQL语句

背景需求最近在项目中有一个场景，根据前端可视化模式传入的参数构建一组SQL语句，应用在SparkStreaming应用的数据同步中。

·2021-03-25 22:52

Spark-Broadcast的生命周期

事情起因是一位同事写的SparkStreaming程序，总会出现部分Executor上请求broadcast不成功的错误，鉴于此，我专门走读了一下broadcast的相关代码，尝试找到原因主要计算流程是

蠟筆小噺没有烦恼·2021-03-23 12:23

Flink简介、快速上手及部署

文章目录Flink简介Flink是什么为什么要用Flink传统数据架构流处理的演变lambda架构新的流式架构Flink的主要特点Flink的其他特点FlinkVSSparkStreamingFlink

patrick_wang_bigdata·2021-03-17 01:58

【转载】Yarn上常驻Spark-Streaming程序调优

对于长时间运行的SparkStreaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。

大数据技术进阶·2021-03-11 19:16

流式处理框架storm浅析

前言前一段时间参与哨兵流式监控功能设计，调研了两个可以做流式计算的框架：storm和sparkstreaming，我负责storm的调研工作。

Java大生·2021-03-10 16:07

spark从入门到放弃五十三:Spark Streaming(13)缓存于持久化

与RDD类似，sparkStreaming也可以让开发人员手动控制，将数据流中的数据持久化到内存中。

意浅离殇·2021-03-10 15:03

流式处理框架storm浅析（上篇）

本文来自网易云社区作者：汪建伟前言前一段时间参与哨兵流式监控功能设计，调研了两个可以做流式计算的框架：storm和sparkstreaming，我负责storm的调研工作。

网易数帆·2021-03-10 14:43

SparkStreaming入门教程(四)有状态和无状态的转化操作

本文全部手写原创，请勿复制粘贴、转载请注明出处，谢谢配合！Dstream的转化操作分为无状态的(stateless)和有状态的(stateful)无状态转化：每个批次处理都不依赖于先前批次的数据，如map()filter()reduceByKey()等均属于无状态的有状态转化：依赖之前的批次数据或者中间结果来计算当前批次的数据，包括updateStatebyKey()和window()有状态转换操

胖滚猪学编程·2021-03-10 10:53

Spark Streaming实时流处理项目实战(七)Spark Streaming入门

SparkStreaming入门概述应用场景集成Spark生态系统的使用SparkStreaming发展史词频统计概述SparkStreaming是核心SparkAPI的扩展，可实现实时数据流的可伸缩，

怒上王者·2021-03-08 20:20

推荐频道

sparkStreaming