sparkstream

kafka消费者重复消费同一个topic

场景是sparkstreaming消费kafka数据在这里sparkstream和kafka都是单节点的集群模式。同时起两个不同的groupid的应用，发现会发生后起来的应用消费不到数据。
小琳ai·2024-09-05 10:06

SparkStreaming与Kafka整合

SparkStream
Guff_hys·2023-12-29 06:55

sparkstream消费kafka序列化报错

本篇介绍在window运行环境下，使用spark消费kafka数据遇到的几个坑。。调试环境IDEA//依赖org.apache.sparkspark-core_2.122.4.7org.apache.sparkspark-streaming_2.122.4.7org.apache.sparkspark-streaming-kafka-0-10_2.122.4.71.设置checkpoint在本地运
小爽123·2023-11-22 09:12

IDEA本地执行Spark报错：is not a valid DFS filename

报错，程序代码：defmain(args:Array[String]):Unit={valspark=SparkSession.builder.master("local[2]").appName("sparkStream2hudi
头顶榴莲树·2023-11-04 04:48

sparkstream 2.2.0 结合 kafka_2.10-0.10.2.1 的消费示例演示

今天讲了kafka和sparkstream的一个简单结合，试着在网上找了一个例子进行实现1、相关配置spark2.2.0，scala2.11.8，kafka_2.10-0.10.2.1,jdk1.82、
maketubu7·2023-10-19 19:47

spark 尽量避免数据源的数据倾斜

比如数据源是Kafka：以SparkStream通过DirectStream方式读取Kafka数据为例。
鸭梨山大哎·2023-07-31 15:43

SparkStream

SparkStreaming的核心思路：把无边界的数据流抽象成DStream，在时间方向上，按照某个指定的时间间隔，把DStream切割成一个离散的RDD的序列，然后每一个都交给spark执行引擎进行处理。SparkStreaming在内部的处理机制是，接收实时流的数据，并根据一定时间间隔拆分成一批批的数据，然后通过SparkEngine处理这些数据，最终得到处理后的一批批结果数据。对应的批数据，
docsz·2022-12-07 11:39

Flink电商数仓项目复盘笔记-01

例如下图：例如：我们在普通实时SparkStream
岁月的眸·2022-09-23 15:26

Spark3.x入门到精通-阶段五(SparkStreaming详解原理&java&scala双语实战)

简单易用；支持多种语言，如Java，Scala和Python；良好的容错性，SparkStreaming支持快速从失败中恢复丢失的操作状态；能够和Spark其他模块无缝集成，将流处理与批处理完美结合；SparkStream
顶尖高手养成计划·2022-07-16 15:26

SparkStreaming入门案例Wordcount

@[TOC](sparkStream入门案例))一、准备工作centos7环境spark环境搭建nc安装（netcat）：yum-yinstallnc二、案例分析将nc作为服务端，用户在场产生数据；启动
数据是个宝·2021-11-15 13:37

SparkStream mapWithState编程练习

SparkStream在处理流数据时，按时间间隔把数据分成小批，在一个小批中利用RDD的函数完成各种运算。
达微·2021-06-27 22:06

spark从入门到放弃四十二:Spark Streaming(2) 工作原理

文章地址：http://www.haha174.top/article/details/2564731.SparkStream简介SparkStream是sparkcoreApi的一种扩展，他可以用于大规模
意浅离殇·2021-06-25 22:53

Spark学习(1)-架构原理

处理流工作负载，交互式查询，机器学习等；它可以通过standalone模式，yarn-client或者yarn-cluster等模式在hadoop集群中运行；而依托在spark数据处理之上的有SparkSql,SparkStream
技术蜗牛·2021-06-21 07:26

sparkstream

image.pngKafka分布式的单位是Partition。如何保证消息有序，需要分几个情况讨论。同一个Partition用一个writeaheadlog组织，所以可以保证FIFO的顺序。不同Partition之间不能保证顺序。但是绝大多数用户都可以通过messagekey来定义，因为同一个key的message可以保证只发送到同一个Partition。比如说key是userid，tablero
明明德撩码·2021-06-09 09:30

spark stream

当sparkstream窗口函数的间隔不是batchDuration的倍数时会报错。
Hystrix_Hu·2021-05-12 05:03

【Spark篇】---SparkStream初始与应用

一、前述SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter,ZeroMQ或者TCPsockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。二、SparkStr
L先生AI课堂·2020-09-16 11:43

Flume和SparkStream结合的两种方式--pull

大家好：flume对接SparkStream的pull的方式，简单的介绍下:是SparkStream从flume中拉的方式获取数据----flume的配置文件flume-poll.conf#Namethecomponentsonthisagenta1
善若止水·2020-09-11 23:26

Spark学习八：spark streaming与flume和kafka集成

集成一Kafka二flume和kafka的集成三kafka和sparkstreaming的集成方式一kafka推送四kafka和sparkstreaming的集成方式一sparkstreaam主动获取五sparkstream
forrestxingyunfei·2020-09-11 06:51

SparkStreamingOffsetMysql将偏移量保存到MySQL中

mysqlmysql-connector-java5.1.26org.scalikejdbcscalikejdbc-core_2.112.5.0org.scalikejdbcscalikejdbc-config_2.112.5.0packagecom.sparkStream
C_time·2020-08-26 09:25

实战SparkStream+Kafka+Redis实时计算商品销售额

天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka
赵侠客·2020-08-26 09:44

Spark Stream 实时读kafka写redis，rdd转换其他类型

做一个实时系统，用到了kafka，redis，sparkStream，很经典的一个架构。kafka的生产者就不写了，这边只涉及sparksteam写消费者代码，存到redis。
wx740851326·2020-08-26 09:13

实战SparkStream+Kafka+Redis实时计算商品销售额

天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka
小小的_我·2020-08-26 09:21

SparkStream流处理

输入流文件输入流//sparkstreaming文件输入流//valinputFile="file:///usr/local/spark/mycode/wordcount/word.txt"valinputFile="hdfs://192.168.126.130:9000/usr/local"valconf=newSparkConf().setAppName("streamingApp").set
宁缺100·2020-08-24 15:35

Sparkstream小结

Sparkstream与storm的区别storm实时流计算框架是一条一条数据处理，sparkstream准实时流式框架，微批处理，延迟比storm高；两者都支持动态调整资源；sparkstream支持复杂的业务逻辑
花掏尽·2020-08-24 12:04

spark源码阅读-KafkaUtils代码-Direct方式

之前有一个文章介绍了sparkstream创建kafka的数据流有两种方式，一种是Receiver一种是Direct方式。
pcqlegend·2020-08-21 23:11

SparkStreaming 监控文件目录

SparkStream监控文件目录时，只能监控文件内是否添加新的文件，如果文件名没有改变只是文件内容改变，那么不会检测出有文件进行了添加。
weixin_30813225·2020-08-18 12:24

spark笔记之DStream操作实战

yuminstall-ync（2）通过netcat工具向指定的端口发送数据nc-lk9999（3）编写SparkStream
我是楠楠·2020-08-18 11:56

Spark中RDD与DF与DS之间的转换关系

这里的DS区别于sparkstream里的DStream！！转换关系RDD的出现早于DS,DF。由于scala的扩展机制，必定是要用到隐式转换的！所以在RDD下要转DF或者DS，就应该导隐式对象包！
威尼斯的星期天·2020-08-18 11:11

flume整合kafka

在很多实时分析的系统中，经常需要使用Flume+Kafka收集数据，然后Strom或者SparkStream从Kafka取出数据实时分析。
coder_rad·2020-08-09 08:44

第99课：使用Spark Streaming+Kafka实战对论坛网站动态行为的多维度分析及java.lang.NoClassDefFoundError问题解决完整内幕版本解密

频道现场授课频道68917580*//****第99课：使用SparkStreaming实战对论坛网站动态行为的多维度分析*论坛数据自动生成代码，该生成的数据会作为Producer的方式发送给Kafka，然后SparkStream
段智华·2020-08-02 23:14

sparkstream接收kafka信息

spark接收kafka发送的消息，本来很简单的，由于不熟的原因，被卡了几个小时。知道是什么问题的时候简单到哭。Error:scalac:badsymbolicreference.AsignatureinKafkaUtils.classreferstotermserializerinpackagekafkawhichisnotavailable.Itmaybecompletelymissingfr
myguobang·2020-07-30 18:29

用Spark Streaming+Kafka实现订单数和GMV的实时更新

本文将介绍一个简单的Demo，讲解如何通过SparkStream消费来自Kafka中订单信息，然后计算订单的数量和金额。总体流程一个完整的流程大概如下图所示。
wangjinming1976·2020-07-30 17:47

SparkStream文件监控和数据读取

代码packagemain.scalaimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.slf4j.LoggerFactory/***Createdbysilentwolfon2016/5/23.*/objectFileRead{vallog=Lo
北京小辉·2020-07-30 16:54

spark读取不到kafka中的数据，本人踩坑记录

并且将sparkstream2kafka程序发布到spark集群也是正常运行，但是获取不到kafka中的数据。后来经过自己大量的测试终于找到了答案（百度了好久没有）：代码：package
学习笔记记录不为别人只为自己·2020-07-30 16:11

Kafka+SparkStream+Hive

目前的项目中需要将kafka队列的数据实时存到hive表中。1、场景介绍：数据发往kafka，用spark读取kafka的数据，写入到hive表里面（ORC压缩算法，一个分区字段）2、hive的介绍：hive表是分区表/***SparkStreaming2.3版本读取kafka中数据：*1.采用了新的消费者api实现，类似于1.6中SparkStreaming读取kafkaDirect模式。并行度
曹雪朋·2020-07-30 15:34

SparkStream：5)Spark streaming+kafka整合实战

Sparkstreaming+kafka整合实战kafka的部署请参考：http://blog.csdn.net/jiangpeng59/article/details/53241693本文主要是参加Spark提供的官网文档进行实际操作，文档地址:http://spark.apache.org/docs/1.6.0/streaming-kafka-integration.html测试环境：Spar
PJ-Javis·2020-07-30 15:34

SparkStream读取Kafka消息

importorg.apache.kafka.common.serialization.StringDeserializerimportorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.kafka010._impo
王凯凯之猿·2020-07-30 13:44

sparkStreaming结合kafka取存数据

KafkaSink,并广播(3)使用广播变量发送数据到Kafka三、完整业务程序展示1、配置文件sparkStreaming.properties2、动态加载配置文件LoadParameter类3、主程序Kafka2SparkStream
时不我待，一日千里·2020-07-30 13:10

SparkStream的两种经典使用方式:

SparkStream的两种经典使用方式，仅仅涉及到SparkStream，没有涉及到各种对接，数据来源是tcp的端口号第一种:按照间隔对数据进行计算，对历史数据不做处理packageSparkStreamimportorg.apache.spark
善若止水·2020-07-30 06:19

SparkStream消费kafka消息delay，但job处理很快

在场景系统中，通过SparkStream直接消费kafka数据，出现处理逻辑耗时在毫秒级，但是很多的jobdelay。
凡尔Issac·2020-07-29 09:59

大数据测试学习笔记之基准测试HiBench

具体的工作负载有：SortWordCountTeraSortSleepSQLPageRankNutchindexingBayesKmeansNWeightenhancedDFSIO等等同样的它还可以用于评估SparkStream
zhusongziye·2020-07-29 03:50

Spark概述、Spark特点

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStream
to.to·2020-07-28 12:09

Flink结合canal同步数据

来说是一种灾难；而且对于mysql来说，同一时间还要给多个开发人员和用户操作；所以经过调研，将mysql数据实时同步到hbase中；最开始使用的架构方案：Mysql---logstash—kafka---sparkStream
Share-Get·2020-07-28 11:16

Spark进阶（二）

SparkStream将Stream数据分成小的时间片段，以类似batch批处理的方式来处理这一部分数据，兼容实时数据处理的逻辑和算法和兼容批量处理。
a_victory·2020-07-27 18:23

SparkStream2.0.0 和kafka的无缝结合

Kafka是一个分布式的发布-订阅式的消息系统，简单来说就是一个消息队列，好处是数据是持久化到磁盘的（本文重点不是介绍kafka，就不多说了）。Kafka的使用场景还是比较多的，比如用作异步系统间的缓冲队列，另外，在很多场景下，我们都会如如下的设计：将一些数据（比如日志）写入到kafka做持久化存储，然后另一个服务消费kafka中的数据，做业务级别的分析，然后将分析结果写入HBase或者HDFS;
天天随笔·2020-07-27 13:10

数据采集与存储(一、数据接入消息队列)

技术上实施流程为，爬虫将采集数据发送到消息队列(kafka)数据缓冲接入，队列后端通过sparkstream进行消息流数据的清洗，并存储到hadoop平台，整个流程如图所示：1.创建kafkatopic
猎阳·2020-07-15 18:31

Spark Streaming缓存、Checkpoint机制

SparkStreaming缓存、Checkpoint机制1SparkStream缓存Dstream是由一系列的RDD构成的，它同一般的RDD一样，也可以将流式数据持久化，采用同样的persisit方法
yanzhelee·2020-07-15 00:35

spark读取kafka数据 createStream和createDirectStream的区别

per-topic,partitions])使用了receivers来接收数据，利用的是Kafka高层次的消费者api，对于所有的receivers接收到的数据将会保存在sparkexecutors中，然后通过SparkStream
Dino系我·2020-07-13 23:09

spark2- submit提交任务报错

在安装完成cdh5.13.3之后，写了个sparkstream的代码，然后准备用spark2-submit提交任务，结果遇到了一系列的错误：1.spark2-submit提交任务的时候直接报错Exceptioninthread"main"java.lang.NoClassDefFoundError
wx740851326·2020-07-13 21:22

Mysql数据实时同步

来说是一种灾难;而且对于mysql来说，同一时间还要给多个开发人员和用户操作;所以经过调研，将mysql数据实时同步到hbase中;最开始使用的架构方案:Mysql---logstash—kafka---sparkStream
diaojing1918·2020-07-09 15:18
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他