sparkstreaming

SparkStreaming Backpressure分析

—————☼—————☼—————☼—————☼—————☼—————SparkStreaming概述SparkStreaming初始化过程SparkStreamingReceiver启动过程分析SparkStreaming
荒湖·2019-12-28 10:16

是时候学习真正的 spark 技术了

sparksql可以说是spark中的精华部分了，我感觉整体复杂度是sparkstreaming的5倍以上，现在spark官方主推structedstreaming，sparkstreaming维护的也不积极了
捌跃科技3343874032·2019-12-27 22:13

Spark Streaming 数据准备阶段分析（Receiver方式）

—————☼—————☼—————☼—————☼—————☼—————SparkStreaming概述SparkStreaming初始化过程SparkStreamingReceiver启动过程分析SparkStreaming
荒湖·2019-12-27 13:33

Spark Streaming使用Kafka保证数据零丢失

原文链接https://github.com/jacksu/utils4s/blob/master/spark-knowledge/md/spark_streaming使用kafka保证数据零丢失.mdsparkstreaming
jacksu在简书·2019-12-27 09:51

如何正确地开启SparkStreaming的动态分配？

如何正确地开启SparkStreaming的动态分配？
分裂四人组·2019-12-27 04:16

[flow]Flume+SparkStreaming+Kafka已经发展为一个比较成熟的实时日志收集与计算架构

SparkSQL结合SparkStreaming，使用SQL完成实时计算中的数据统计–lxw的大数据田地http://lxw1234.com/archives/2015/11/552.htm关键字：SparkSQL
葡萄喃喃呓语·2019-12-26 18:13

[spark streaming] 动态生成 Job 并提交执行

前言SparkStreamingJob的生成是通过JobGenerator每隔batchDuration长时间动态生成的，每个batch对应提交一个JobSet，因为针对一个batch可能有多个输出操作
BIGUFO·2019-12-26 10:21

每日一读 12.07

资源：ApacheSparkStreaming+Kafka0.10整合http://www.abo
Vicor·2019-12-26 09:37

Spark Streaming/Flink广播实现作业配置动态更新

SparkStreaming和Flink的广播机制
LittleMagic·2019-12-25 21:17

如何优雅的关闭Spark Streaming作业

SparkStreaming应用定位是长期执行的。但如何优雅的关闭它，使正在被处理的消息在作业停止前被妥善处理？很多博文建议我们必须通过JVM关闭的钩子，可在此查看相关代码。
数大招疯·2019-12-25 12:05

Spark Streaming（一）：DStream

1、SparkStreaming简介SparkStreaming：Spark提供的，对于大数据进行实时计算的一种框架；它的底层，也是基于SparkCore的；其基本的计算模型，还是基于内存的大数据实时计算模型
张凯_9908·2019-12-25 07:23

1. Spark概述

SparkCore：离线计算SparkSQL：交互式查询SparkStreaming：实时流计算SparkMLlib：机器学习SparkGraphX：图计算Sp
泊牧·2019-12-24 22:25

Spark 2017欧洲技术峰会摘要（流计算分类）

下载全部视频和PPT，请关注公众号(bigdata_summit)，并点击“视频下载”菜单ApacheSparkStreaming+Kafka0.10:AnIntegrationStorybyJoanViladrosaRiera
大数据技术峰会解读·2019-12-24 19:45

flume-kafka-spark streaming(pyspark)-hdfs实时日志实时计算

学习了差不多一个星期，终于把flume-kafka-sparkstreaming贯通了，直接上流程图：至于为什么要这样，当然是方便咯参考某博客一、环境部署hadoop集群2.7.1zookeerper集群
玄月府的小妖在debug·2019-12-24 14:59

flink 配置流

sparkstreaming可以使用广播变量的形式来实现，flink可以通过配置流和数据流连接来实现。接口主要使用CoFlatMapFunction这个接口。
Moon_Storm·2019-12-24 03:24

通过案例对spark streaming透彻理解三板斧之一

spark的核心是sparkcore,sparkstreaming，sparkgraph,sparkmlib其实是构建在sparkcore之上的一个应用程序，如果要构建一个强大的spark应用程序，sparkstreaming
阳光男孩spark·2019-12-23 01:12

Spark Streaming 检查点机制

SparkStreaming若需要24/7不间断的运行，因此Streaming必须对诸如系统错误，JVM出错等与程序逻辑无关的错误(failures)具体很强的弹性，具备一定的非应用程序出错的容错性。
博弈史密斯·2019-12-23 01:12

Apache Storm简介及安装部署

它与SparkStreaming的最大区别在于它是逐个处理流式数据事件，而SparkStreaming是微批次处理，因此，它比SparkStreaming更实时。
风火数据·2019-12-22 23:48

Spark Streaming vs. Structured Streaming

简介SparkStreamingSparkStreaming是spark最初的流处理框架，使用了微批的形式来进行流处理。
upupfeng·2019-12-22 21:19

Spark Streaming vs. Structured Streaming

简介SparkStreamingSparkStreaming是spark最初的流处理框架，使用了微批的形式来进行流处理。
upupfeng·2019-12-22 12:00

Spark Streaming vs. Structured Streaming

简介SparkStreamingSparkStreaming是spark最初的流处理框架，使用了微批的形式来进行流处理。
upupfeng·2019-12-22 12:00

一些需要补充的点

receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。
博弈史密斯·2019-12-22 12:58

Spark Streaming 的玫瑰与刺

前言说人话：其实就是讲SparkStreaming的好处与坑。好处主要从一些大的方面讲，坑则是从实际场景中遇到的一些小细节描述。玫瑰篇玫瑰篇主要是说SparkStreaming的优势点。
祝威廉·2019-12-22 03:12

Spark性能优化

how-to-tune-your-apache-spark-jobs-part-1how-to-tune-your-apache-spark-jobs-part-2tuning_spark_streamingSparkStreaming
这个该叫什么呢·2019-12-21 19:22

sparkstreaming和kafka整合

SparkStreaming提供了一个叫做DStream（DiscretizedStream）的高级抽象，DStream表示一个持续不断输入的数据流，可以基于Kafka、TCPSocket、Flume等输入数据流创建
felix_feng·2019-12-21 16:42

Spark的前世今生

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
义焃·2019-12-21 09:06

spark认知

Spark体系结构Spark是一种基于内存的开源计算框架，不同于Hadoop的MapReduce和HDFS，Spark主要包括SparkCore和在SparkCore基础之上建立的应用框架SparkSQL、SparkStreaming
CodeFarmerChen·2019-12-21 07:01

超越Spark，大数据集群计算的生产实践

本文会介绍Spark核心社区开发的生态系统库，以及MLMLlib及SparkStreaming的Spark库的具体用法，对于企业的各种用例及框架也进行了说明。
大数据首席数据师·2019-12-21 02:19

SparkStreaming DStream转换

1、无状态转换操作（1）无状态转化操作就是把简单的RDD转化操作应用到每个批次上，也就是转换DStream中的每一个RDD。部分无状态转化操作：（2）尽管这些函数韩起来像作用在整个流上一样，但事实上每个DStream在内部是由许多RDD（批次）组成，且无状态转化操作是分别应用到每个RDD上。例如：reduceByKey（）会化简每个事件区间中的数据，但不会化简不同区间之间的数据。（3）在wordc
hyunbar·2019-12-19 17:00

Spark流处理中的DStrem.foreachRDD()方法

但现在Spark通过其SparkStreaming模块也实现了一定的流处理的功能。Spark流处理的过程Spark中的流处理实际上并不是真正的流处理。
耀凯考前突击大师·2019-12-19 12:51

大数据学习资源整理

github地址后面继续更新在githubutils4sscala语法学习common库BigData库SparkSparkcoreSparkStreamingSparkSQLSpark机器学习Spark
jacksu在简书·2019-12-19 07:52

sparkstreaming消费kafka数据

具体的配置参考kafka配置启动zookeepercd/home/hadoop-2.6.4/zookeeper-3.4.6/bin./zkServer.shstart从节点一样执行以上命令#查看zk集群状态root@node03-58:/home/hadoop-2.6.4/zookeeper-3.4.6/bin#./zkServer.shstatuskafka启动cd/home/hadoop-2.
caibobit·2019-12-18 19:32

spark streaming checkpoint详解

sparkstreaming提供了两种数据的checkpoint：metadatacheckpoint用以恢复sparkstreaming的运行状态，存储媒介是org.apache.spark.streaming.Checkpoint
tinyMonkey·2019-12-17 20:59

SparkStreaming源码：启动StreamingContext

源码目录1.程序入口//初始化StreamingContextSparkConfconf=newSparkConf().setAppName("SparkStreaming_demo").set("spark.streaming.stopGracefullyOnShutdown
Jorvi·2019-12-17 15:40

SparkStreaming源码：初始化StreamingContext

源码目录1.程序入口//初始化StreamingContextSparkConfconf=newSparkConf().setAppName("SparkStreaming_demo").set("spark.streaming.stopGracefullyOnShutdown
Jorvi·2019-12-17 15:19

剖析Spark数据分区之Spark RDD分区

第一篇：主要分析Hadoop中的分片；第二篇：主要分析SparkRDD的分区；第三篇：主要分析SparkStreaming，TiSpark中的数据分区；转载请注名作者，同时欢迎关注OPPO互联网技术团队的公众号
OPPO互联网技术·2019-12-16 21:27

Spark Streaming（一）入门介绍

SparkStreaming是一个实时流处理框架，实时流处理产生的背景是时效性高，数据量大，个人认为从严格意义上讲，SparkStreaming并不能算是实时流处理，只不过批次可以设置的特别小，接近实时而已
Sx_Ren·2019-12-16 16:04

深入理解Spark Streaming流量控制及反压机制

目录流量控制简介SparkStreaming流控基本设置SparkStreaming反压机制的具体实现动态流量控制器基于PID机制的速率估算器通过RPC发布流量阈值借助Guava令牌桶完成流量控制TheEnd
LittleMagic·2019-12-15 20:56

Spark中RDD算子的foreachRDD使用注意

基于这样的逻辑，我们就需要通过SparkStreaming读取Kafka的消息，获得的结果其实是一个RDD。
Cheava·2019-12-15 18:36

大数据应用场景-推荐系统

为了能够快速的提供服务,一般通过nosql非关系数据库,有时也叫缓存数据库作为中间介质进行交换,为前端提供服务.2.nearline部分-近线:采用的技术主要有流行比较的是流式计算框架storm(毫秒级别),sparkstreaming
夏光辉·2019-12-14 09:17

Spark 踩坑记—Spark Streaming+Kafka

本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结
大数据首席数据师·2019-12-14 05:06

SparkStreaming之读取Kafka数据

本文主要记录使用SparkStreaming从Kafka里读取数据，并计算WordCount主要内容：1.本地模式运行SparkStreaming2.yarn-client模式运行相关文章：1.Spark
阿坤的博客·2019-12-14 04:22

Apache Spark概述

SparkStreaming-API允许您构建可扩展d的容错的流应用程序。MLlib**-实现通用机器学习算法的API。GraphX-
miaoiao·2019-12-12 21:07

Hadoop、storm和Spark Streaming简单介绍（非原创）

文章大纲一、Hadoop是什么二、storm是什么三、SparkStreaming是什么四、Spark与storm比较五、参考文章一、Hadoop是什么1.简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构
故事爱人c·2019-12-12 20:47

代码工具 流数据分析 华为

诺亚方舟实验室的资深研究员AlbertBifet等最近在GitHub上发布了SparkStreaming上的流数据分析工具包，这个叫做StreamDM的开源软件现在包括5个算法，今后还会有更多算法被加入
hzyido·2019-12-12 15:44

2018-07-19

sparkStreaming之checkPoint的作用解析checkPoint的几大作用：第一：如遇突发情况，导致sparkStreaming进程停止，从新启动sparkStreaming时，用于恢复历史数据
大数据集·2019-12-12 13:46

spark streaming + kafka

sparkstreaming+kafka官网下载sparkspark-2.0.1-bin-hadoop2.7java代码测试packagedouzi.risk;importjava.util.HashMap
Jerry_Hao·2019-12-11 22:03

RocketMq在SparkStreaming中的应用总结

其实Rocketmq的给第三方的插件已经全了，如果大家有兴趣的话请移步https://github.com/apache/rocketmq-externals。本文主要是结合笔者已有的rmq在spark中的应用经验对rocketmq做简单介绍以及经验总结，当然免不了会将rocketmq和如今特别火爆的kafka做一些对比（Ps：为了方便打字rmq后面会是rocketmq的缩写）。首先对rocktm
wing1995·2019-12-10 21:00

spark streaming常用调优

1、SparkStreaming第一次运行不丢失数据kafka参数auto.offset.reset参数设置成earliest从最初始偏移量开始消费数据。
手写伪代码·2019-12-08 21:00

Spark Streaming连接Kafka入门教程

转载请务必注明原创地址为：https://dongkelun.com/2018/05/17/sparkKafka/前言首先要安装好kafka,这里不做kafka安装的介绍,本文是SparkStreaming
董可伦·2019-12-08 13:53
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他