sparkStreaming 第8页

Flink on K8s 在京东的持续优化实践

在2017年左右，我们实时计算是多个引擎并存的，包括Storm、SparkStreaming以及正在引入的新一代计算引擎Flink，其中St

Apache Flink·2023-04-14 17:09

SparkStreaming将结果输出到单个文件以及小文件的合并

SparkStreaming将结果输出到单个文件以及小文件的合并sparkStreaming消费kafka数据…每个duration批次时间数据量不一定多少，若数据量太少，首先每个批次处理数据后会有多个分区的小文件

C_time·2023-04-14 07:48

hadoop重要流程图汇总

sparkrdd算子sparkyarncluster模式下提交任务task的创建和执行sparkstreamingsparkstreaming运行流程

匪_3f3e·2023-04-14 05:38

儒猿秒杀季！互联网大厂的企业级风控系统项目实战

===课程介绍===|SparkStreaming企业级项目实战-金融风控风控的的风控等级，在实际项目中分为警告和风险两个等级。当达到风险等级时，会触发发短信给用户进行提醒的机制。

石杉的架构笔记·2023-04-12 06:05

风控系统，Flink+Clickhouse实现！

599元特惠价原价1899元的《互联网大厂的企业级风控系统项目实战》===课程介绍===|SparkStreaming企业级项目实战-金融风控风控的的风控等级，在实际项目中分为警告和风险两个等级。

石杉的架构笔记·2023-04-12 06:05

Spark Streaming集成Kafka调优

本本摘自：https://www.cnblogs.com/xlturing/p/6246538.html调优SparkStreaming集成Kafka时，当数据量较小时默认配置一般都能满足我们的需要，但是当数据量大的时候

Sx_Ren·2023-04-12 04:56

Spark Streaming运行架构分析

韩晶晶严律黄春超简介SparkStreaming是SparkCore的扩展，是构建于SparkCore之上的实时流处理系统。

senju·2023-04-10 20:00

使用Docker搭建Data Pipeline

这里以一个基于Kafka和SparkStreaming的实时流datapipeline为例，介绍如何使用dockercompose分别搭建各个服务并实现快速demo。

表现力·2023-04-10 14:13

SparkStreaming -- 02 【SparkStreaming和kafka的整合的offset的维护，常用算子】

文章目录1、SparkStreaming与kafka的整合1.1、比较1.2、maven依赖1.3、案例11.4、使用0-10的Direct方法的优点1.5、两种自动维护offset的说明1.5.1、0

xiaoxiao______·2023-04-09 13:18

spark第六篇：Spark Streaming Programming Guide

预览SparkStreaming是Spark核心API的扩展，支持高扩展，高吞吐量，实时数据流的容错流处理。

weixin_33801856·2023-04-09 12:14

Spark官方文档整理：spark-core

它同样也一系列丰富的高级工具包括：Sparksql用于sql和结构化数据处理，MLlib用于机器学习，Graphx用于图数据处理，以及SparkStreaming用于流数据处理。

stay_running·2023-04-09 12:14

sparksql java 实例_sparkStreaming结合SparkSql实例

Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括

碧海云天97·2023-04-09 12:43

Spark定制班第1课：通过案例对Spark Streaming透彻理解三板斧之一：解密Spark Streaming另类实验及Spark Streaming本质解析

我们最开始将从SparkStreaming入手。为何从SparkStreaming切入Spark定制？Spark的子框架已有若干，为何选择SparkStreaming？让我们细细道来。

rolin-刘瑞·2023-04-09 12:12

sparkStreaming:实时流数据详解

目录一、概述二、wordCount示例三、初始化StreamingContext四、DStreams(离散数据流)五、输入DStream和接收器BasicsourcesFileStreamsCustomReceivers六、Transformations算子updateStateByKeytransform七、window算子window算子reduceByWindow算子八、DStream输出算

小五家的二哈·2023-04-09 12:11

201.Spark（八）：SparkStreaming基本概念，DStream创建，转换，输出，关闭

目录一、SparkStreaming基本概念1.数据处理2.SparkStreaming基础概念3.SparkStreaming架构4.背压机制

鹏哥哥啊Aaaa·2023-04-09 12:10

Spark：Streaming

目录01：上篇回顾02：今日目标03：SparkStreaming基本原理04：DStream的设计05：DStream的函数06：无状态计算模式场景07：有状态计算模式场景08：滑动窗口计算模式场景09

多么哇塞的陈哇塞·2023-04-09 12:35

SparkStreaming

SparkStreaming1.SparkStreaming简介SparkStreaming是流式处理框架，是SparkAPI（RDD）的扩展，支持可扩展、高吞吐量、容错的准实时数据流处理实时数据的来源可以是

爱过java·2023-04-09 12:34

Spark Streaming及示例

SparkStreaming及示例一、SparkStreaming介绍SparkStreaming是近实时(nearrealtime)的小批处理系统。

Joker_Jiang3·2023-04-09 12:59

Spark大数据分与实践笔记（第七章 Spark Streaming实时计算框架-02）

第七章SparkStreaming实时计算框架7.3.6DStream实例——实现网站热词排序接下来,以实现网站热词排序为例外分析出用户对网站哪些词感兴趣或者不感兴趣，以此来增加用户感兴趣词的内容，减少不感兴趣词的内容

妉妉师姐·2023-04-09 12:59

spark第七章：SparkStreaming实例

系列文章目录系列文章目录spark第一章：环境安装spark第二章：sparkcore实例spark第三章：工程化代码spark第四章：SparkSQL基本操作spark第五章：SparkSQL实例spark第六章：SparkStreaming

超哥--·2023-04-09 12:57

记一次spark源码的bug排查,顺便简单看一下spark sql底层引擎catalyst处理的流程

场景：hive中事先创建好分区表test_table_name，然后通过sparkstreaming任务处理数据，将rdd转为dataframe后写hive。

zxfBdd·2023-04-09 02:03

实时计算Flink

实时计算Flink三种实时计算框架storm、sparkstreaming和flink的对比storm延迟低但吞吐量小sparkstreaming吞吐量大，但延迟高flink是一种兼具低延迟和高吞吐量特点的流计算技术

code__online·2023-04-08 23:55

ES-Hadoop插件介绍

Hadoop两个非常优秀的框架，我们既可以把HDFS的数据导入到ES里面做分析，也可以将es数据导出到HDFS上做备份，归档，其中值得一提的是ES-Hadoop全面的支持了Spark框架，其中包括Spark，SparkStreaming

三劫散仙·2023-04-08 04:44

spark第六章：SparkStreaming基本操作

系列文章目录spark第一章：环境安装spark第二章：sparkcore实例spark第三章：工程化代码spark第四章：SparkSQL基本操作spark第五章：SparkSQL实例spark第六章：SparkStreaming

超哥--·2023-04-07 20:31

sparkstreaming消费kafka报错：Invalid url in bootstrap.servers

20/03/0616:46:10ERRORstreaming.StreamingContext:Errorstartingthecontext,markingitasstoppedorg.apache.kafka.common.KafkaException:Failedtoconstructkafkaconsumeratorg.apache.kafka.clients.consumer.Kafka

xiaoge～·2023-04-07 00:06

Spark Core 学习笔记

围绕着Spark还推出了SparkSQL、SparkStreaming、MLlib和GraphX等组件。

senju·2023-04-06 20:03

Flink初探

storm是基于流计算的,但是也可以模拟批处理,sparkstreaming也可以进行微批处理,虽说在性能延迟上处于亚秒级别,但也不足以说明Flink崛起如此迅速(毕竟从spa

活长擅运动·2023-04-06 19:46

如何设置python2，python3，并添加环境变量

公众号后续将会持续更新clickhouse，sparkstreaming，flink，数仓建模，用户画像，实时计算，推荐系统，实时数仓等内容，感兴趣的朋友可以关注不定期会有朋友的面经分享1、添加python2

大数据私房菜·2023-04-05 23:14

Spark从入门到放弃—Spark Streaming介绍

简介SparkStreaming是核心SparkAPI的扩展，可对实时数据流进行可扩展，高吞吐量，容错处理。

HaloZhang·2023-04-05 22:25

Spark框架

一、Spark框架Spark框架模块包含：SparkCore、SparkSQL、SparkStreaming、SparkGraphX、SparkMLlib，而后四项的能力都是建立在核心引擎之上。

万里长江横渡·2023-04-05 20:33

Flink State状态机制

SparkStreaming在状态管理这块做的不好，很多时候需要借助于外部存储(例如Redis)来手动管理状态。

王亭_666·2023-04-05 18:54

[spark streaming] 状态管理 updateStateByKey&mapWithState

前言SparkStreaming7*24小时不间断的运行，有时需要管理一些状态，比如wordCount，每个batch的数据不是独立的而是需要累加的，这时就需要sparkStreaming来维护一些状态

达微·2023-04-05 10:23

Serverless计算应用场景与潜力

通过与Flink，SparkStreaming这样的流式大数据处理平台结合，Serverl

小星敐·2023-04-05 04:13

87、Spark Streaming之输入DStream之Kafka数据源实战（基于Receiver的方式）

receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。

ZFH__ZJ·2023-04-05 01:46

大数据框架：Spark生态实时流计算

在Spark框架当中，提起流计算，那么主要就是SparkStreaming组件来负责。

成都加米谷大数据·2023-04-03 21:24

Flink基本架构

既可以处理streamdata也可以处理batchdata，可以同时兼顾Spark以及Sparkstreaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是

hellozhxy·2023-04-03 16:21

Flinl(二)：Flink基础概念及架构介绍

SparkStreaming无法保障低延迟，Storm无法

大罗LuoSir·2023-04-03 15:00

Spark高手之路1—Spark简介

从功能上来看3.SparkOrHadoop4.Spark4.1速度快4.2易用4.3通用4.4兼容5.Spark核心模块5.1Spark-Core和弹性分布式数据集(RDDs)5.2SparkSQL5.3SparkStreaming5.4SparkMLlib5.5SparkGraphXSpark

W_chuanqi·2023-04-03 07:30

Spark 动态资源分配(Dynamic Resource Allocation) 解析

前言最近在使用SparkStreaming程序时，发现如下几个问题：1.高峰和低峰SparkStreaming每个周期要处理的数据量相差三倍以上,预分配资源会导致低峰的时候资源的大量浪费。

此木Y·2023-04-03 06:51

Spark任务动态伸缩机制介绍

但是在实际线上生产环境使用过程就存在资源浪费和不足的问题，特别是SparkStreaming类型的任务。例如很多日志数据在一天中量并不是均匀分布的，而是一个“双驼峰”。

数据科学和工程·2023-04-03 06:40

Spark Streaming 动态资源配置

文章目录前言参数配置源码解析注意事项示例参考前言此文章基于spark3.0.1版本对于SparkStreaming流处理任务，Spark官方并未在文档中给出介绍,同反压机制一样，SparkStreaming

南风知我意丿·2023-04-03 05:41

用户画像基础之数据架构

除去基础设施外，系统主体还包括SparkStreaming、ETL、产品端3个重要组成部分

电光闪烁·2023-04-03 02:46

大数据最佳实践-sparkstreaming

目录概述架构案例Dstream创建3.1文件数据源3.2RDD队列自定义数据源Kafka数据源ReceiverDirectDStream转换有状态转化操作4.2.2WindowOperationsreducelast30secondsofdata,every10second4.3.1Transform4.3.2JoinDStream输出累加器和广播变量DataFrameansSQLOperatio

猿与禅·2023-04-02 22:31

数据采集中间件技术对比V1.0

2.1支持的数据源2.2支持的数据格式2.3支持的上下游中间件2.4任务监控3MYSQL的BINLOG日志工具分析：CANAL、MAXWELL4有赞大数据：FLUME数据采集服务最佳实践5基于NIFI+SPARKSTREAMING

陈舟的舟·2023-04-02 03:19

Apache Hudi使用简介

Flink、SparkStreaming是用来对实时数据的实时处理，数据要求实时，处理也要迅速。数据不实时，处理也不及时的场景则是我们的数仓T+1数据。

youngflyer·2023-04-01 23:41

spark Streaming 集成 kafka

SparkStreaming在数据流动的过程中实时地进行捕捉和处理，并根据业务需求对数据进行计算分析。

博弈史密斯·2023-04-01 12:27

Flink简述

相比较传统的SparkStreaming区别？1、简单介绍一下Flink？

咏春-阿良·2023-04-01 07:04

Spark Streaming

SparkStreaming介绍随着大数据的发展，人们对大数据的处理要求也越来越高，传统的MapReduce等批处理框架在某些特定领域（如实时用户推荐、用户行为分析）已经无法满足人们对实时性的需求，因此诞生了一批如

@Heartworm·2023-04-01 07:45

推荐频道

sparkStreaming