SaprkStreaming

SaprkStreaming广告日志分析实时数仓

一、系统简介参考尚硅谷的spark教程中的需求，参考相关思路，详细化各种代码，以及中间很多逻辑的实现方案采用更加符合项目开发的方案，而不是练习，包括整体的流程也有很大的差别，主要是参考需求描述和部分代码功能实现。需求一：广告黑名单实现实时的动态黑名单机制：将每天对某个广告点击超过100次的用户拉黑。注：黑名单保存到MySQL中。1）读取Kafka数据之后，并对MySQL中存储的黑名单数据做校验；2
是阿威啊·2023-11-18 21:50

Spark-SaprkStreaming(概述、架构、原理、DStream转换、案例)

文章目录SparkStreaming概述特点架构原理DStream和RDD的区别DAG如何读取数据(※)WordCount案例实操代码解析RDD队列用法及说明案例实操自定义数据源Kafka数据源DStream转换无状态转化操作Transformjoin有状态转化操作UpdateStateByKeyWindowOperationsDStream输出优雅关闭案例实操依赖数据生成需求一：广告黑名单需求二
迷雾总会解·2022-12-18 19:44

Flume直接对接SaprkStreaming的两种方式

一、flume对接sparkStreaming的两种方式：Push推送的方式Poll拉取的方式第一种Push方式：代码如下：packagecn.itcast.spark.day5importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.flume.FlumeUtilsimportorg.apache.spark.streami
weixin_30725467·2020-09-11 22:21

saprkStreaming NetworkWordCount案例

NetworkWordCount.scala源码importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.streaming.StreamingContext._importorg.apache.spark.storage.Sto
zghgchao·2020-08-18 11:09

Spark Streaming中序列化问题：org.apache.spark.SparkException: Task not serializable

利用saprkstreaming实时分析数据时报的一些问题：打印日志如下：org.apache.spark.SparkException:Tasknotserializableatorg.apache.spark.util.ClosureCleaner
FLEMMINGS·2019-07-07 12:07

Flink WaterMark机制白话分析

最近遇见一个流处理的数据严重迟到乱序的场景，基于SaprkStreaming开发的统计用户页面停留时间。使用的思想是：迟到数据的时间补偿机制。
javartisan·2017-09-14 00:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他