sparkStreaming

Spark各种问题汇总

1.sparkstreaming与kafka报错不能序列化ConsumerRecord,描述：objectnotserializable(class:org.apache.kafka.clients.consumer.ConsumerRecord
DevinShuai·2023-06-21 13:23

flink Spark 和 Flink对比

除了计算速度快、可扩展性强，Spark还为批处理（SparkSQL）、流处理（SparkStreaming）、机器学习（SparkMLlib）、图计算（SparkGraphX）
但行益事莫问前程·2023-06-20 04:49

spark 和 flink 的对比

初期的SparkStreaming是通过将数据流转成批(micro-batches)，即收集一段时间(time-window)内到达的所有数据，并在其上进行常规批处理，所以严格意义上，还不能算作流式处理
five小点心·2023-06-19 23:03

SparkStreaming

1、SparkStreaming概述数据处理类型分类静态数据数据源是不变的、有限的、显式离散的多适用于批量计算、离线计算流数据数据是变动的、无限的、连续的多适用于实时计算，能在秒级、秒内处理完成实时数据分类小时级分钟级秒级
SparkSql·2023-06-19 18:47

【Apache Spark】

文章目录ApacheSpark的安装与配置ApacheSpark用法ApacheSpark的组件1.SparkCore2.SparkSQL3.SparkStreaming4.MLib5.GraphX6.
我是廖志伟·2023-06-19 16:58

Spark01-Spark快速上手、运行模式、运行框架、核心概念

TheGoogleFileSystem)MapReduce总结：性能横向扩展变得容易，横向拓展:增加更多的计算节点来扩展系统的处理能力Hbase：分布式数据库SparkSparkCoreSparkSQLSQL方言（HQL)SparkStreaming
:Concerto·2023-06-19 14:49

Spark Streaming实时计算实例

SparkStreaming实时计算实例一、实验内容编写SparkSteaming应用程序，实现实时词频统计。二、实验步骤1．运行nc，模拟数据源。nc-lk9999启动服务端且监听Socket服务。
兜里没有一毛钱·2023-06-19 11:23

Flink概述

前言Sparkstreaming可以说是根据时间分区的批处理系统。Fink则是基于事件驱动的。也就是说可以把时间定义成事件，也可以把数量定义成事件…也就是说Fink的场景更灵活。
懒猫gg·2023-06-19 06:47

flink概述

文章目录flink概述flink应用场景重要特点事件驱动型(Event-driven)流与批的世界观分层api其它特点对比sparkstreamingflink概述ApacheFlink是一个框架和分布式处理引擎
sgxmr·2023-06-19 06:16

Structured Streaming 入门（整合、数据分析）

#博学谷IT学习技术支持#Sink扩展:三种消息语义流式数据处理步骤针对任何流式应用处理框架（Storm、SparkStreaming、StructuredStreaming和Flink等）处理数据时，
y鱼鱼·2023-06-19 05:16

【Spark手机流量日志处理】使用SparkSQL按月统计流量使用量最多的用户

大数据小禅”文章简介：本篇文章属于Spark系列文章，专栏将会记录从spark基础到进阶的内容内容涉及到Spark的入门集群搭建，核心组件，RDD，算子的使用，底层原理，SparkCore，SparkSQL，SparkStreaming
大数据小禅·2023-06-19 05:44

spark-streaming笔记

SparkStreaming笔记框架的类型：1.离线批处理：mapreduce、hive、SparkCore、Sparksql=》mapreducespark2.SQL的交互式查询：hive、SparkSQL3
最美不过你回眸·2023-06-18 23:34

Spark 环境搭建 阿善没用

入门案例-WordCount4.完成将Spark任务提交到Yarn1.课程说明1.1课程安排整个Spark框架课程分为如下9个部分，如下图所示：第1章：Spark环境搭建第2章：SparkCore第3章：SparkStreaming
okbin1991·2023-06-18 23:03

Spark高频面试题(建议收藏)

它内部的组成模块，包含SparkCore，SparkSQL，SparkStreaming，SparkMLlib，SparkGraghx等...它的特点：快Spark计算速度是MapReduce计算速度的
无精疯·2023-06-16 22:12

Spark

简介高效性基于内存Spark比MapReduce快100倍易用性函数式编程代码体积小通用性用于批处理、交互式查询（SparkSQL）、实时流处理（SparkStreaming）、机器学习（SparkMLlib
mengml_smile·2023-06-16 12:46

Spark大数据处理技术

，呈现一个现代大数据框架的架构原理和实现细节透彻讲解Spark原理和架构，以及部署模式、调度框架、存储管理及应用监控等重要模块Spark生态圈深度检阅：SQL处理Shark和SparkSQL、流式处理SparkStreaming
weixin_33935777·2023-06-16 02:15

2.1 初识Spark

在Spark生态圈中包含了SparkSQL、SparkStreaming、GraphX、
不喜欢编程的我·2023-06-15 20:23

大数据项目实战之在线教育（04实时实现）

第1章项目需求及架构设计1.1项目需求分析一、数据采集平台搭建二、Kafka、Zookeeper中间件准备三、下游SparkStreaming对接Kafka接收数据，实现vip个数统计、栏目打标签功能、
okbin1991·2023-06-15 20:50

4.SparkStreaming-spark streaming windows netcat

问题描述SparkStreaming的WordCountCentos下安装nc命令工具netcat(nc)是一个简单而有用的工具，被誉为网络安全界的“瑞士军刀”，不仅可以通过使用TCP或UDP协议的网络连接读写数据
__元昊__·2023-06-15 19:03

Flink

1Flink跟SparkStreaming的区别?  1）Flink是标准的实时处理引擎，基于事件驱动。
满床清梦覆星河·2023-06-15 06:02

尚硅谷大数据技术Spark教程-笔记09【SparkStreaming（概念、入门、DStream入门、案例实操、总结）】

尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】视频地址：尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili尚硅谷大数据技术Spark教程-笔记01【SparkCore（概述、快速上手、运行环境、运行架构）】尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，RDD-核心属性-执行原理-基础编程-并行度与分区-转换算子）】尚硅谷大数据技术Spark教
upward337·2023-06-14 14:07

Spark大数据处理学习笔记2.1 初识Spark

文章目录一、学习目标二、spark概述（一）Spark的组件1、SparkCore2、SparkSQL3、SparkStreaming4、MLlib5、GraphX6、独立调度器、Yarn、Mesos（
人生苦短@我用python·2023-06-14 06:03

第三次学flink

第一问Flink为何而出现人们想要高吞吐，低延迟处理数据，以前的storm只能低延迟，做不到高吞吐，sparkStreaming可以高吞吐，但是更多的场景是要根据事件数据切割，或者说要实现比较复杂。
编程爱上我吧·2023-06-13 01:43

sparkcore分区_Spark Core 学习笔记

围绕着Spark还推出了SparkSQL、SparkStreaming、MLlib和GraphX等组件。
晋成公·2023-06-12 23:12

Spark/Flink广播实现作业配置动态更新

SparkStreaming和Flink的广播机制
mylife512·2023-06-12 12:28

Spark大数据分析案例之平均心率检测[2021]

整体流程是模拟平均心率信息，然后发送给Kafka，接下来SparkStreaming再接收进行处理，将其写入MySQL数据库。Web通过间隔若干时间查询某个时间段内的心跳，并对其进行可视化。
Windalove·2023-06-12 11:13

2.1 初识Spark

在Spark生态圈中包含了SparkSQL、SparkStreaming、GraphX、
zl202111·2023-06-12 00:02

Kafka Streams 还是 Spark Streaming

现在开源流处理框架越来越多，大家都熟知的有SparkStreaming,NiFi,Flink等等。KafkaStreams也是其中一员。
表现力·2023-06-11 07:40

大数据流式计算

目录流式计算简介流式计算常⻅的离线和流式计算框架StormV.S.SparkStreamingV.S.Flink如何选择⼀款合适的流式处理框架流式计算简介流式计算如何去理解流式计算，最形象的例⼦，就是⼩
CyAuroras·2023-06-11 06:14

2.SparkStreaming-SparkStreaming 窗口操作

热点搜索词滑动统计，每隔10秒钟，统计最近60秒钟的搜索词的搜索频次，并打印出排名最靠前的3个搜索词以及出现次数普通SparkStreaming处理方式，如果将时间间隔设置成60s，无法每隔10s输出一次结果
__元昊__·2023-06-07 08:35

【大数据学习篇11】广告点击流实时统计

学习目标/Target掌握广告点击流实时统计实现思路掌握利用Kafka生产用户广告点击流数据了解数据库设计掌握如何创建SparkStreaming连接掌握利用SparkStreaming读取业务数据掌握利用
小杰911·2023-06-06 21:38

面试题百日百刷-flink篇(一)

请看到最后就能获取你想要的,接下来的是今日的面试题：1.Flink相比传统的SparkStreaming区别?**这个问题是一个非常宏观的问题，因为两个框架的不同点非常之多。
·2023-04-20 22:18

SparkStreaming源码：构建处理链

源码目录1.程序入口//初始化StreamingContextSparkConfconf=newSparkConf().setAppName("SparkStreaming_demo").set("spark.streaming.stopGracefullyOnShutdown
Jorvi·2023-04-19 20:41

SparkStreaming入门教程(六)容错性保障:检查点机制和预写日志

SparkStreaming若需要24/7不间断的运行，那么必然要有强大的容错性保障，当出现故障的时候，即使是驱动器程序错误，也需要做到就好像没有发生任何节点失败一样。
胖滚猪学编程·2023-04-19 14:07

记录一次服务器重启后sparkStreaming任务启动失败原因及排查过程

因特殊原因公司服务器从晚上6点开始CPU资源使用率飙升至100%然后运维重启服务器，重新构建此服务器上所有作业然而第二天早上查看日志发现，有一个job作业启动失败，经过一系列排查最终解决，特此记录一下此作业是sparkStreaming
高世之智·2023-04-19 01:58

关于SparkStreaming 缓存KafkaCosumer导致多个线程使用一个Cosumer对象报错解决思路

现象[INFO]2020-06-2823:23:22,092method:org.apache.spark.internal.Logging$class.logInfo(Logging.scala:54)RemovingCacheKey(spark-executor-GPBPAnalysis-group-prodtest,gshopper_logs,0)fromcache[INFO]2020-06
你值得拥有更好的12138·2023-04-18 03:07

DStream是什么?怎样对DStream进行操作?

DStream的本质DStream(DiscretizedStream)是SparkStreaming提供的基本数据抽象。
是一只萨摩耶·2023-04-17 14:35

sparkstreaming将offset存到hbase

之前一直将offset存到zookeeper，由于streaming程序会对zk有大量的读取操作，故将offset存到zk不太好，现已将offset都改到hbase中kafka版本：0.10.2.0spark版本：2.0hbase表结构：groupid名字作为表名，topic名字作为rowkey，列族为info，分区号作为列名kafka_offset:groupidinfo:0info:1info
码仙丶·2023-04-17 00:00

(十五)大数据学习之Spark

Spark一.Spark生态圈：(1)SparkCore：RDD（弹性分布式数据集）(2)SparkSQL(3)SparkStreaming(4)SparkMLLib：协同过滤，ALS，逻辑回归等等--
Movle·2023-04-16 11:10

Spark Streaming＋Kafka的offset管理方法

本篇主要介绍一下SparkStreaming在消费Kafka过程中，当出现程序挂掉重启后，找到上次消费过的最后一次数据，确保kafka数据精确消费一次(exactly-once)的目的。
星星之火在心中·2023-04-15 11:48

【SparkStreaming + Spark Core】案例实操需求二和需求三、Spark内核概述和部署模式再回顾

文章目录一需求二：广告点击量实时统计（1）思路分析（2）MySQL建表（3）代码实现DateAreaCityAdCountHandlerRealTimeApp二需求三：最近一小时某个广告点击量趋势统计（1）思路分析（2）代码实现LastHourAdCountHandlerRealTimeApp三spark内核概述1Spark核心组件回顾（1）Driver（2）Executor2Spark通用运行流
OneTenTwo76·2023-04-15 00:05

Spark 案例实操（Spark Streaming之WordCount）

SparkStreaming是什么SparkStreaming用于流式数据的处理。
好好踢球啦·2023-04-15 00:29

SparkStreaming WordCount入门案例

packagecom.lqs.sparkstreamingimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming.dstream
小雏菊的成长·2023-04-15 00:29

SparkStreaming 案例实操 完整使用 (第十七章)

SparkStreaming案例实操一、环境准备1、pom文件2、生产数据二、需求一：广告黑名单1)思路分析2)存放黑名单用户的表3)存放单日各用户点击每个广告的次数4)代码实现5)优化三、需求二：广告点击量实时统计
小坏讲微服务·2023-04-15 00:28

SparkStreaming

目录SparkStreaming概述SparkStreaming是什么SparkStreaming特点SparkStreaming架构DstreamDstream入门DStream创建DStream转换无状态转化操作有状态转化操作自定义数据源
阿德小仔·2023-04-15 00:28

SparkStreaming入门+WordCount案例

SparkStreaming入门+WordCount案例1.SparkStreaming概述1.1离线和实时的概念1.2批量和流式的概念1.3SparkStreaming是什么1.4SparkStreaming
布莱恩特888·2023-04-15 00:28

Flume-Kafka-SparkStreaming对接案例实操

1.准备工作①一个java程序，需要有一些操作能够打印特定log日志,并打成jar包；②在linux服务器上安装flume、zookeeper、kafka；2.案例思路当我把jar包程序部署在linux服务器上时，每当我访问特定接口，就会产生特定日志文件，这时候flume监听该日志文件，然后并且对日志进行过滤，一些springboot应用启动日志需要过滤，然后发送给kafka对应主题，最后对接Sp
AiryView·2023-04-15 00:51

1.Spark Streaming基础—Spark Streaming架构图、背压机制、WordCount 案例实操、WordCount 解析

本文目录如下：第1章SparkStreaming概述1.1SparkStreaming是什么1.2SparkStreaming架构1.2.1架构图1.2.2背压机制第2章Dstream入门2.1WordCount
页川叶川·2023-04-15 00:50

第七课 大数据技术之Spark-SparkStreaming

第七课大数据技术之Spark-SparkStreaming文章目录第七课大数据技术之Spark-SparkStreaming第一节SparkStreaming概述1.1SparkStreaming介绍1.2SparkStreaming
道教儒佛电磁波·2023-04-15 00:49

202.Spark（九）：SparkStreaming案例实操

目录一、启动zookeeper，kafka基础环境二、项目导好jar包，并且创建源数据，并在kafka中测试能否消费到数据
鹏哥哥啊Aaaa·2023-04-15 00:47
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他