E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sparkStreaming
Spark-Broadcast的生命周期
事情起因是一位同事写的
SparkStreaming
程序,总会出现部分Executor上请求broadcast不成功的错误,鉴于此,我专门走读了一下broadcast的相关代码,尝试找到原因主要计算流程是
蠟筆小噺没有烦恼
·
2021-03-23 12:23
Flink简介、快速上手及部署
文章目录Flink简介Flink是什么为什么要用Flink传统数据架构流处理的演变lambda架构新的流式架构Flink的主要特点Flink的其他特点FlinkVS
SparkStreaming
Flink
patrick_wang_bigdata
·
2021-03-17 01:58
Flink
大数据
flink
【转载】Yarn上常驻Spark-Streaming程序调优
对于长时间运行的
SparkStreaming
作业,一旦提交到YARN群集便需要永久运行,直到有意停止。任何中断都会引起严重的处理延迟,并可能导致数据丢失或重复。
大数据技术进阶
·
2021-03-11 19:16
流式处理框架storm浅析
前言前一段时间参与哨兵流式监控功能设计,调研了两个可以做流式计算的框架:storm和
sparkstreaming
,我负责storm的调研工作。
Java大生
·
2021-03-10 16:07
spark从入门到放弃五十三:Spark Streaming(13)缓存于持久化
与RDD类似,
sparkStreaming
也可以让开发人员手动控制,将数据流中的数据持久化到内存中。
意浅离殇
·
2021-03-10 15:03
流式处理框架storm浅析(上篇)
本文来自网易云社区作者:汪建伟前言前一段时间参与哨兵流式监控功能设计,调研了两个可以做流式计算的框架:storm和
sparkstreaming
,我负责storm的调研工作。
网易数帆
·
2021-03-10 14:43
SparkStreaming
入门教程(四)有状态和无状态的转化操作
本文全部手写原创,请勿复制粘贴、转载请注明出处,谢谢配合!Dstream的转化操作分为无状态的(stateless)和有状态的(stateful)无状态转化:每个批次处理都不依赖于先前批次的数据,如map()filter()reduceByKey()等均属于无状态的有状态转化:依赖之前的批次数据或者中间结果来计算当前批次的数据,包括updateStatebyKey()和window()有状态转换操
胖滚猪学编程
·
2021-03-10 10:53
Spark Streaming实时流处理项目实战(七)Spark Streaming入门
SparkStreaming
入门概述应用场景集成Spark生态系统的使用
SparkStreaming
发展史词频统计概述
SparkStreaming
是核心SparkAPI的扩展,可实现实时数据流的可伸缩,
怒上王者
·
2021-03-08 20:20
spark
spark
尚硅谷Flink入门到实战-学习笔记1
(有界流、无界流)分层API越顶层越抽象,表达含义越简明,使用越方便越底层越具体,表达能力越丰富,使用越灵活1.1Flinkvs
SparkStreaming
数据模型Spark采用RDD模型,sp
weixin_771432311
·
2021-03-02 13:00
java
flink
什么是Flink?Flink能用来做什么?
文章目录概述特点应用场景FlinkVS
SparkStreaming
概述Flink是什么?ApacheFlink是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。
凌桓丶
·
2021-02-08 17:05
Flink
大数据
分布式
flink
实时计算
实时
大数据开发-Spark-开发Streaming处理数据 && 写入Kafka
1.
SparkStreaming
简介
SparkStreaming
从各种输入源中读取数据,并把数据分组为小的批次。新的批次按均匀的时间间隔创建出来。
·
2021-02-08 00:50
大数据
大数据开发-Spark-开发Streaming处理数据 && 写入Kafka
1.
SparkStreaming
简介
SparkStreaming
从各种输入源中读取数据,并把数据分组为小的批次。新的批次按均匀的时间间隔创建出来。
·
2021-02-08 00:34
大数据
Apache Hudi使用简介
ApacheHudi使用简介[TOC]数据实时处理和实时的数据实时分为处理的实时和数据的实时即席分析是要求对数据实时的处理,马上要得到对应的结果Flink、
SparkStreaming
是用来对实时数据的实时处理
·
2021-01-24 16:39
大数据
关于
SparkStreaming
的DStream原理以及代码详解
1.什么是DStreamDiscretizedStream是
SparkStreaming
的基础抽象,代表持续性的数据流和经过各种Spark算子操作后的结果数据流。
刘啊福
·
2021-01-20 19:19
Spark
Spark Streaming原理与架构
简介:
SparkStreaming
是基于spark的流式批处理引擎,其基本原理是把输入数据以某一时间间隔批量的处理,当批处理间隔缩短到秒级时,便可以用于处理实时数据流。
刘啊福
·
2021-01-20 17:04
Spark
SparkStreaming
的介绍
探讨SparkSreaming之前,先要了解什么是批处理,什么是流处理.批处理:也叫离线处理T+1的模式,以Hive+Spark为主流处理:水流也叫实时处理,
SparkStreaming
(秒级别,微批次处理
刘啊福
·
2021-01-20 12:47
Spark
第十篇
SparkStreaming
手动维护Kafka Offset的几种方式
SparkStreaming
NoReceivers方式的createDirectStream方法不使用接收器,而是创建输入流直接从Kafka集群节点拉取消息。
大数据技术与数仓
·
2021-01-06 02:12
spark-streaming
大数据计算引擎MapReduce、Storm、Spark、
Sparkstreaming
、Flink到底哪家强?
自大数据的概念被提出以来,企业对于数据信息变为数据资产的诉求越来越强烈,进而在技术领域出现了很多大数据计算引擎服务,最著名、使用最广的莫过于MapReduce、Storm、Spark、
Sparkstreaming
AI课工场
·
2021-01-04 14:37
Flink、Spark、Storm技术对比列表
ApacheFlink
SparkStreaming
Storm架构架构介于Spark和Storm之间,主从结构与
SparkStreaming
相似,DataFlowGrpah与Storm相似架构依赖Spark
李奇峰1998
·
2021-01-03 23:43
大数据
spark
Flink
flink
spark
storm
SparkStreaming
推测机制:面试被问遇到什么问题,说这个显水平!
背景老刘最近晚上会刷刷牛客网的大数据开发面经,总是会看到一个高频的面试题,那就是你在学习过程中遇到过什么问题吗?这个问题其实有点难回答,如果我说的太简单了,会不会让面试官觉得水平太低,那我应该讲什么东西呢?我一个自学的不可能遇到什么高级问题呀!对于这个问题的答案网上也是众说纷纭,老刘也讲讲对这个问题的看法,分享一下自己的见解,欢迎各位伙伴前来battle!过程在寻找这个问题答案的过程中,老刘正好在
努力的老刘
·
2021-01-02 15:28
大数据spark
spark
编程语言
大数据
面试
java
sqoop读取postgresql数据库表格导入到hdfs中的实现
最近再学习
sparkstreaming
做实时计算这方面内容,过程中需要从后台数据库导出数据到hdfs中,经过调研发现需要使用sqoop进行操作,本次操作环境是Linux下。
·
2020-12-31 13:56
大数据面试3分钟自我介绍_大数据开发工程师面试主要面试内容
大数据开发包括Hadoop(ETL,Mapreduce),Spark(SparkSql和
SparkStreaming
),Python等,这是偏向技术。另外大数据开发看是否偏向数仓
诗和远方越远越脏
·
2020-12-31 12:27
大数据面试3分钟自我介绍
Spark Streaming + Kakfa 编程指北
本文简述如何结合
SparkStreaming
和Kakfa来做实时计算。
牛肉圆粉不加葱
·
2020-12-31 10:03
sparkStreaming
之transform的细节
valsocketLineDStream:ReceiverInputDStream[String]=streamingContext.socketTextStream('linux1',8888)//TODODriver中执行一次//例如vala=1在Driver中只执行一次//首先看一下DStream的其他Transformations(转换)操作socketLineDStream.map({c
幡然醒悟的研二狗-致敬所有受压迫的博士
·
2020-12-30 18:58
spark
Apache Hudi使用简介
ApacheHudi使用简介[TOC]数据实时处理和实时的数据实时分为处理的实时和数据的实时即席分析是要求对数据实时的处理,马上要得到对应的结果Flink、
SparkStreaming
是用来对实时数据的实时处理
西北偏北
·
2020-12-28 00:47
大数据
Spark学习(二)——RDD和WordCount程序
SparkSQL主要用作离线海量数据分析
SparkStreaming
主要用作对数据实时处理Spark的工作原理与MapReduce是如出一辙的,区别在于MapReduce是在HDFS上做计算,而Spark
大数据阶梯之路
·
2020-12-17 09:59
Kafka集群消息积压问题及处理策略
对于一些实时任务,比如
SparkStreaming
/Structured-Streaming、Flink和Kafka集成的应用,消费端不存在长时间
大数据学习与分享
·
2020-12-10 09:52
Kafka
大数据
kafka
分布式消息系统
消息队列
Spark Streaming WebUI监控,查看Streaming Statistics,Batch(job stage task)
摘要:
SparkStreaming
,yarn,StreamingStatistics,ActiveBatches,CompletedBatches总结一下
SparkStreaming
Application
xiaogp
·
2020-12-04 10:33
Spark Streaming 对接 Kafka 的那些事儿
1.BackgroundKafka作为
SparkStreaming
数据的最重要的来源,官方为此专门提供了二者整合的jar包。这使得我们可以很方便的对接二者,但是其中的细节还是很繁杂的。
xiaoc024
·
2020-11-12 19:58
Spark快速大数据分析(1)
Spark数据分析导论第2章Spark下载与入门第3章RDD基础第4章键值对操作第5章数据读取与存储第6章Spark编程进阶第7章在集群上运行Spark第8章Spark调优与调试第9章SparkSQL第10章
SparkStreaming
天线嘟嘟茄
·
2020-10-28 00:08
实时数据流计算引擎Flink和Spark剖析
在过去几年,业界的主流流计算引擎大多采用
SparkStreaming
,随着近两年Flink的快速发展,Flink的使用也越来越广泛。
程小舰
·
2020-10-22 18:39
Spark学习之Spark Streaming(一)
SparkStreaming
实时数据流处理一、
SparkStreaming
基础1、
SparkStreaming
简介官方文档
SparkStreaming
是核心SparkAPI的扩展,可实现可扩展、高吞吐量
羋学僧
·
2020-10-20 15:04
【offset管理策略】Spark Streaming消费Kafka
摘要:offset管理,
SparkStreaming
,Kafka
SparkStreaming
offset的管理方式offset的三种管理方式自动提交offset(彻底放弃使用这种方式吧):enable.auto.commit
xiaogp
·
2020-10-13 10:43
(一)
SparkStreaming
简单介绍
Internally,itworksasfollows.
SparkStreaming
receivesliveinputdatastreamsanddividesthedataintobatches,whicharethenprocessedbytheSparkenginetogeneratethefinalstreamofresultsinbatches.
sparkstreaming
白面葫芦娃92
·
2020-10-11 08:59
Apache Spark ecosystem
ApacheSparkEcosystem–CompleteSparkComponentsGuide2.ApacheSparkEcosystem3.edurekapostsaboutspark5.SparkSQLTutorial–UnderstandingSparkSQLWithExamples6.
SparkStreaming
Tutorial–Se
一路向北_c6e6
·
2020-10-10 09:03
流式处理框架storm浅析(上篇)
本文来自网易云社区作者:汪建伟前言前一段时间参与哨兵流式监控功能设计,调研了两个可以做流式计算的框架:storm和
sparkstreaming
,我负责storm的调研工作。
yijian2595
·
2020-10-09 20:59
Spark(36) -- Spark Streaming原理与架构
1.
SparkStreaming
原理
SparkStreaming
是基于spark的流式批处理引擎,其基本原理是把输入数据以某一时间间隔批量的处理,当批处理间隔缩短到秒级时,便可以用于处理实时数据流。
erainm
·
2020-10-08 08:24
Spark
spark
Spark Streaming架构原理详解!
目录一、
SparkStreaming
功能介绍(1)概述(2)DStream概述(3)Storm和
SparkStreaming
比较二、
SparkStreaming
服务架构及工作原理三、StreamingContext
<一蓑烟雨任平生>
·
2020-09-30 11:57
Spark
spark
Spark简介一、简介二、特点三、集群架构四、核心组件3.1SparkSQL3.2
SparkStreaming
3.3MLlib3.4Graphx一、简介Spark于2009年诞生于加州大学伯克利分校AMPLab
陌生的心酸
·
2020-09-17 16:37
spark
DStream操作实战:4.
SparkStreaming
开窗函数统计一定时间内的热门词汇
packagecn.testdemo.dstream.socketimportorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.streamin
NicholasEcho
·
2020-09-17 06:50
Spark Streaming 快速入门(实操)
教程目录0x00教程内容0x01
SparkStreaming
编程1.启动SparkShell2.创建StreamingContext对象3.创建DStream对象4.对DStream进行操作5.输出数据
邵奈一
·
2020-09-17 05:33
spark
大数据
大数据
spark
spark
streaming
bigdata
流处理
Spark Streaming 快速入门(理论)
教程目录0x00教程内容0x01
SparkStreaming
相关概念1.
SparkStreaming
介绍2.DStream介绍0x02
SparkStreaming
编程基础1.StreamingContext
邵奈一
·
2020-09-17 05:32
spark
大数据
spark
spark
streaming
大数据
bigdata
hadoop
大数据ETL工具收集
1、Flinkjob+sql2、
Sparkstreaming
+sql3、Kafkastream+ksql4、apacheNIFI/StreamSets/product-sp5、airflowetchttps
grefen
·
2020-09-17 01:54
大数据
Spark中saveAsTextFile至stage划分和job提交的源代码分析
之前看了
SparkStreaming
和SparkSQL,自己还花了一些时间去玩了些machinelearning的算法,像线性回归,kmeans,协同过滤等。
zhouxucando
·
2020-09-16 21:21
Spark
《Spark大数据分析》一书的书评和采访
\\t了解SparkCore及加载项库,包括SparkSQL、
SparkStreaming
、GraphX、Mllib和SparkML。
weixin_34242509
·
2020-09-16 19:53
scala
运维
数据库
6.Spark streaming技术内幕 : Job动态生成原理与源码解析
原创文章,转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/)
Sparkstreaming
程序的运行过程是将DStream的操作转化成RDD的操作,
SparkStreaming
听风的蜗牛
·
2020-09-16 17:00
spark
streaming内幕
Spark项目实战经验
1.参数设置spark.streaming.kafka.maxRatePerPartition控制
sparkstreaming
消费kafka速度spark.streaming.backpressure.enabled
同道大叔
·
2020-09-16 17:56
Spark
spark
数据仓库
大数据
[转]三种流处理框架比较:Storm,Spark和Flink
storm、
sparkstreaming
、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API
大仁哥哦~
·
2020-09-16 13:11
大数据
数据研发学习笔记4.9:流计算
流计算处理流程2.1概述2.2数据实时采集2.3数据实时计算2.4实时查询服务3流计算应用4流计算开源框架–Storm4.1Storm简介4.2Storm的特点4.3Storm设计思想4.4Storm框架设计5
SparkStreaming
5.1
SparkStreaming
Lynn Wen
·
2020-09-16 13:15
数据研发学习笔记
分布式
大数据
hadoop
spark
数据挖掘
Spark Streaming 教程文档--概述、基本概念、性能调优
SparkStreaming
教程本文章主要讲述
SparkStreaming
概念原理、基本概念、以及调优等一些知识点。
sunyang098
·
2020-09-16 11:58
spark
上一页
11
12
13
14
15
16
17
18
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他