E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sparkStreaming
Kafka集成
SparkStreaming
SparkStreaming
+Kafka集成指南Kafka项目在版本0.8和0.10之间引入了一个新的消费者API,因此有两个独立的相应
SparkStreaming
包可用。
weixin_42073629
·
2022-07-16 15:00
消息队列
Kafka
Spark
Spark Streaming与流处理
SparkStreaming
与流处理一、流处理1.1静态数据处理在流处理之前,数据通常存储在数据库,文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。
Keven He
·
2022-07-16 15:00
#
Spark
spark
big
data
scala
大数据
hadoop
sparkstreaming
实时接收rabbitmq的数据(包含scala以及pyspark版本)
目录背景1:scala版本2:pyspark版本注意:以下都是采坑点RabbitMQ启用MQTT功能背景平常我们会实时监听kafka的数据,并且与流处理框架比如
sparkstreaming
和flink进行连接进行消费处理
只会写demo的程序猿
·
2022-07-16 15:58
rabbitmq
sparkstreaming
pyspark
rabbitmq
大数据
Spark总结(SparkCore,SparkSQL,
SparkStreaming
)
SparkCore1.一句话介绍Hadoop和Sparkspark是基于内存的分布式计算框架。hadoop是一个分布式计算开源框架,包含分布式文件系统HDFS、MapReduce分布式计算的软件架构和Yarn资源管理调度系统。2.Spark和MR的区别1.MR是基于磁盘迭代处理数据,Spark是基于内存处理数据2.Spark有DAG有向无环图做优化3.MR是细粒度资源申请,application执
ambitfly
·
2022-07-16 15:58
大数据
大数据
spark
hadoop
java
数据仓库
实时分析:Flume+Kafka+
SparkStreaming
商品评分排行榜
本文主要介绍用流计算
SparkStreaming
对数据进行实时处理。
与李
·
2022-07-16 15:58
大数据
flume
kafka
spark
websocket
大数据
Spark3.x入门到精通-阶段五(
SparkStreaming
详解原理&java&scala双语实战)
SparkStreaming
简介
SparkStreaming
是Spark的一个子模块,用于快速构建可扩展,高吞吐量,高容错的流处理程序。
顶尖高手养成计划
·
2022-07-16 15:26
spark
spark
scala
大数据
实时数据仓库-从0到1实时数据仓库设计&实现(
SparkStreaming
3.x)
简介从数据库的设计,到前端,后端,实时数据仓库一套打通实时数据仓库设计与实现,这个项目的特点就是,麻雀虽小,五脏俱全,一般的实时数据仓库复制粘贴里面的代码就能够实现功能。数据流程图需求利用学生的好强心理,促进学生的好学的习惯,设计这一套全国各地区毕业学生成绩贡献总分数统计,最后按各地区学生所得总分排名(学生提交每一课最优的成绩)代码前期web应用开发springboot,mybatis-plus,
顶尖高手养成计划
·
2022-07-16 15:54
实时数据仓库
数据仓库
数据库
关于 Flink 状态与容错机制
就从我自身的视角看,最近也是在数据团队把一些原本由Flume、
SparkStreaming
、Storm编写的流式作业往Flink迁移,它们之间的优劣对比本篇暂不讨论。近期会总结一些F
Single_Yam
·
2022-07-13 13:00
kafka从入门到精通 以及 kafka 与
sparkStreaming
的俩种连接方式 kafka 对接flume
文章目录一、kafka入门及概述1.定义作用2.Kafka基础架构3.安装部署4.Kafka命令行操作二、kafka架构深入1.Kafka工作流程及文件存储机制2.Kafka生产者3.Kafka消费者4.Kafka高效读写数据的原因5.Zookeeper在Kafka中的作用三、KafkaAPI1.ProducerAPI2.ConsumerAPI3.自定义Interceptor四、Flume对接Ka
野子shining
·
2022-07-13 08:57
kafka
spark
大数据高级开发工程师——Spark学习笔记(1)
四大特性1.速度快2.易用性3.通用性4.兼容性内置组件1.集群资源管理2.SparkCore(核心库)3.SparkSQL(SQL解析)4.
SparkStreaming
(实时处理)5.SparkMLlib
yangwei_sir
·
2022-07-08 11:36
大数据
大数据
spark
standalone
cluster
shuffle
spark java 推荐系统_基于Spark的电影推荐系统(推荐系统~7)
2.
SparkStreaming
+kakfa开始Coding步骤一:在streaming包
仓颉的诗
·
2022-07-06 15:48
spark
java
推荐系统
使用IntelliJ Idea开发Spark Streaming流应用程序
使用IntelliJIdea开发
SparkStreaming
流应用程序一、实验目的二、实验内容三、实验原理四、实验环境五、实验步骤5.1启动IntelliJIdea并创建spark项目5.2编写spark
不懂开发的程序猿
·
2022-07-05 19:09
Spark
intellij-idea
spark
java
基于
SparkStreaming
对银行日志处理系列--整体技术框架
基于
SparkStreaming
对银行日志分析,实时技术架构图通过flume实时采集原日志,送到kafka缓存,
SparkStreaming
准实时从kafka拿数据,经过ETL、聚合计算送到redis,
leep-li
·
2022-07-04 15:20
BigData
Life
工作总结
SparkStreaming
ETL
实时处理框架
大数据----Hadoop----Spark入门介绍
文章目录Spark1.SparkCore2.SparkSQL3.
SparkStreaming
4.MLlibMachineLearningLibrary5.GraphXHadoop生态圈包含多种组件,貌似各不相同
noworldling
·
2022-07-02 07:33
大数据
hadoop
Spark
hadoop
大数据
spark
分布式编程工具Akka Streams、Kafka Streams和Spark Streaming大PK
下面,我将和您讨论分布式编程工具AkkaStreams、KafkaStreams和
SparkStreaming
的主要特点、优缺点、以及如何在一个简单的字数统计应用中使用它们。文
java_beautiful
·
2022-06-30 14:08
Java
Java编程
Spring
kafka
分布式
spark
java
mysql
DStream窗口操作
在
SparkStreaming
中,为DStream提供窗口操作,即在DStream流上,将一个可配置的长度设置为窗口,以一个可配置的速率向前移动窗口。
鄙人阿彬
·
2022-06-26 07:08
scala
spark
开发语言
SparkStreaming
有几种方式消费 Kafka 中的数据(与 kafka 集成的方式)
基于Receiver的方式Reciever的问题是offset都会存到zk中,容易造成zk压力过大,而且Reciever获取数据和处理数据的线程不是同一批,可能会导致数据的积压,数据存储是在Sparkexecutor的内存中,大量数据积压容易导致OOM的情况,为了数据不丢失,还需要启动预写日志机制,把Kafka数据同步写入到HDFS中。虽然可以保证数据零丢失但是无法实现exactly-once(只
星空下的那个人影
·
2022-06-20 01:26
大数据面试
spark
spark
Spark Streaming词频统计实例
本实例旨在:通过
SparkStreaming
流式地处理一个数据服务从TCP套接字中接收到的数据。
蜗牛杨哥
·
2022-06-14 22:47
Spark
StructuredStreaming知识总结
一、StructuredStreaming的简介1.1为什么要引入StructuredStreamingspark生态系统中的
sparkStreaming
是一个micro-batch的准实时计算框架,它也需要一个实时计算框架
默主归沙
·
2022-06-08 13:00
大数据那些事
spark
big
data
scala
图解大数据 | 流式数据处理-Spark Streaming
tutorials/84本文地址:http://www.showmeai.tech/article-detail/179声明:版权所有,转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容1.
SparkStreaming
ShowMeAI
·
2022-05-30 07:08
图解大数据技术
从入门到精通系列教程
spark
big
data
hadoop
大数据
Spark——安装及使用
目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、
SparkStreaming
、GraphX、MLlib等子项目,S
wangzhangni
·
2022-05-03 07:45
Spark ML流式在线学习模型初步构建分析-Spark商业ML实战
1SparkML流式在线学习初步讲解目前
SparkStreaming
支持StreamingLinearRegression和St
神兽牛
·
2022-05-03 07:13
大数据
spark
机器学习
大数据Hadoop之——Spark Streaming原理
一、概述
SparkStreaming
是对核心SparkAPI的一个扩展,它能够实现对实时数据流的流式处理,并具有很好的可扩展性、高吞吐量和容错性。
大数据老司机
·
2022-05-02 11:53
Scala_Spark-电商平台离线分析项目-需求七广告黑名单实时统计
Scala_Spark-电商平台离线分析项目-需求七广告黑名单实时统计第四模块:广告流量实时统计统计技术点:
SparkStreaming
、kafka集群补充知识点:DStream中:foreachRDD
大数据小阿姨
·
2022-04-24 15:47
scala
spark
项目
scala
sparkStreaming
kafka
实时数据分析
大数据
Apache Flink 在蔚来汽车的应用
主要内容包括:实时计算在蔚来的发展历程实时计算平台实时看板CDP实时数仓其他应用场景点击查看直播回放&演讲PDF一、实时计算在蔚来的发展历程18年5月份左右,我们开始接触实时计算的概念,最初是用
SparkStreaming
·
2022-04-22 14:05
Flink 流批一体在小米的实践
本篇内容主要分为三个部分:小米的大数据发展演变流批一体的平台建设流批一体应用场景未来规划点击查看直播回放&演讲PDF一、小米的大数据发展演变2019年之前,小米的实时计算主要以
SparkStreaming
·
2022-04-18 11:47
Flink on K8s 在京东的持续优化实践
在2017年左右,我们实时计算是多个引擎并存的,包括Storm、
SparkStreaming
以及正在引入的新一代
·
2022-04-07 10:46
Spark Streaming(二)Spark Streaming整合Kafka
主要分为以下几个方面,均附有实际代码:
SparkStreaming
简介
SparkStreaming
架构基础概念作业提交
SparkStreaming
窗口操作
SparkStreaming
容错性分析WAL工作原理
Yuan_CSDF
·
2022-03-18 04:51
#
Spark
Streaming
Spark Streaming(一)简介与架构
主要分为以下几个方面,均附有实际代码:
SparkStreaming
简介
SparkStreaming
架构基础概念作业提交
SparkStreaming
窗口操作
SparkStreaming
容错性分析WAL工作原理
Yuan_CSDF
·
2022-03-18 04:50
#
Spark
Streaming
图解大数据 | 流式数据处理-Spark Streaming
www.showmeai.tech/tutorials/84本文地址:http://www.showmeai.tech/article-detail/179声明:版权所有,转载请联系平台与作者并注明出处1.
SparkStreaming
·
2022-03-08 23:03
sparkstreaming
读取文件读取不到数据
今天用了下
sparkstreaming
读取hdfs文件或本地目录文件,发现文件内容一直不会被处理,使用了下面两种方法都不行,阅读源码并开启DEBUG后发现,textFileStream后面也是调用fileStream
朱继业1993
·
2022-03-07 15:16
大数据处理经验
spark
streaming
spark
Spark+Hadoop+中台实战pdf -阿里巴巴资深架构师熬几个通宵肛出来的
架构与运行逻辑弹性分布式数据集2、Spark开发与环境配置Spark应用开发环境2置使用Intellii开发Spark远程调试Spark程序Spark编译配置Spark源码阅读环境3、BDAS简介SQLonSpark
SparkStreaming
GraphXMIlib4
Java技术小吴
·
2022-02-22 13:13
阿里巴巴资深架构师熬几个通宵肛出来的Spark+Hadoop+中台实战pdf
架构与运行逻辑弹性分布式数据集2、Spark开发与环境配置Spark应用开发环境2置使用Intellii开发Spark远程调试Spark程序Spark编译配置Spark源码阅读环境3、BDAS简介SQLonSpark
SparkStreaming
GraphXMIlib4
写代码的珏秒秒
·
2022-02-22 12:36
Java
程序员
编程
spark
hadoop
big
data
DStream 以及基本工作原理
SparkStreaming
基本工作原理
SparkStreaming
内部的基本工作原理如下:接收实时输入数据流,然后将数据拆分成多个batch,比如每收集1秒的数据封装为一个batch,然后将每个batch
·
2022-02-22 12:10
大数据
基于Spark的电影推荐系统(推荐系统~7)
SparkStreaming
+kakfa在这里插入图片描述开始Coding步骤一:在streaming包下,新建PopularMovies2packagecom.csy
留歌_36
·
2022-02-21 09:34
SparkStreaming
和kafka整合
1.
SparkStreaming
1.6+kafka0.8.2Receiver模式1):采用receiver模式,
SparkStreaming
需要Executor线程池开启一个线程接收kafka数据;2)
XtHhua
·
2022-02-19 14:41
Spark Steaming Abstract
SparkSteamingAbstract
SparkStreaming
是SparkCoreAPI的扩展,它支持弹性的,高吞吐的,容错的实时数据流的处理。
右左君
·
2022-02-18 22:54
spark从入门到放弃五十四:Spark Streaming(14)checkpoint
1.概述每一个
sparkstreaming
应用正常来说都要7*24小时运转的,这就是实时计算程序的特点。因为要持续不断的对数据进行计算。
意浅离殇
·
2022-02-18 11:33
大数据生态圈技术整理
ZookeeperYARNAmbariClouderaManagerHue数据存储HDFSHBaseCarbonDataAccumulo消息系统KafkaRabbitMQActiveMQ数据收集LogstashFlumeNIFIFluentd数据处理Spark
SparkStreaming
StormFlin
非常强壮的蚂蚁
·
2022-02-18 02:41
5. 基于案例一节课贯通Spark Streaming流计算框架的运行源码
在
SparkStreaming
程序的入口,我们都会定义一个batchDuration,就是需要每隔多长时间就按照DStreamGraph来动态生成一个RDDDAG实例。
milkfan
·
2022-02-17 11:53
Spark Streaming进阶
在前面
SparkStreaming
入门的基础上继续深入学习
SparkStreaming
StreamingContext初始化一个
SparkStreaming
程序时必须要创建StreamingContext
董二弯
·
2022-02-16 21:33
kafka 简介
它与Apache
SparkStreaming
非常好地集成,用
博弈史密斯
·
2022-02-15 16:53
如何管理Spark Streaming消费Kafka的偏移量(二)
上篇文章,讨论了在
sparkstreaming
中管理消费kafka的偏移量的方式,本篇就接着聊聊上次说升级失败的案例。
尼小摩
·
2022-02-15 15:59
Spark多语言开发
目录1多语言开发-说明2Java-Spark-掌握2.1SparkCore2.2
SparkStreaming
2.3SparkSQL2.4StructuredStreaming2.5线性回归算法-房价预测案例
赵广陆
·
2022-02-15 11:45
spark
spark
scala
big
data
【零基础学flink】Flink核心原理、源码解析
关于Flink与其它主流实时大数据处理引擎Storm、
SparkStreaming
的不同与优势,可参考https://blog.csdn.net/cm_chenmin/article/details/53072498
大菜鸟_
·
2022-02-13 17:44
Dag图,Job生成
最近在负责
SparkStreaming
结合SparkSql的相关项目,语言是Java,留下一些笔记,也供大家参考,如有错误,请指教!
jason__huang
·
2022-02-13 11:11
简介
而我的需求就是定位问题与解决问题,这里就特意写个文集来记录自己学习该大数据日志分析系统的心得目录1.系统架构2.环境搭建2.1本地环境下kafka批量导入数据2.2kafka-manager的安装与配置3.1
SparkStreaming
PigPIgAutumn
·
2022-02-13 06:55
kafka =>
SparkStreaming
=>kudu集成kerberos
本文档主要介绍在cdh集成kerberos情况下,
sparkstreaming
怎么消费kafka数据,并存储在kudu里面假设kafka集成kerberos假设kudu集成kerberos假设用非root
阿甘骑士
·
2022-02-12 23:48
05 Spark Streaming Programming Guide
转载请注明出处,谢谢合作~该篇中的示例暂时只有Scala版本~
SparkStreaming
编程指南概述(Overview)快速示例(AQuickExample)基础概念(BasicConcepts)启用
Whaatfor
·
2022-02-12 04:18
5W字总结Spark(二)(建议收藏)
四、
SparkStreaming
SparkStreaming
是一个基于SparkCore之上的实时计算框架,可以从很多数据源消费数据并对数据进行实时的处理,具有高吞吐量和容错能力强等特点。
坨坨的大数据
·
2022-02-10 18:47
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他