Sparkstreaming

sparkstreaming同时消费多个topic的数据实现exactly-once的语义

最近很多人问我,sparkstreaming怎么消费多个topic的数据,自己维护offest,其实这个跟消费一个topic是一样的,但还是有很多问我,今天就简单的写一个demo,供大家参考,直接上代码吧
JasonLee'blog·2020-08-18 12:41

SparkStreaming之WordCount案例（一）

一、案例简介使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数。
Lan_xuaner·2020-08-18 12:14

从头学习Spark：SparkStreaming编程实践_WordCount

WordCount例子需求介绍：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数过程（1）在xml文件中添加streaming的依赖并等待刷新
宇宙爱人·2020-08-18 12:13

Spark：实时数据微批处理（5.Spark Streaming及项目实战）

文章目录1.SparkStreaming概述1.1SparkStreaming是什么？
卖女孩的小火柴Jaffe·2020-08-18 12:41

Spark Streaming连接TCP Socket

SparkStreaming连接TCPSocket1.SparkStreaming是什么SparkStreaming是在Spark上建立的可扩展的高吞吐量实时处理流数据的框架，数据可以是来自多种不同的源
Harvard_Fly·2020-08-18 12:34

（三）ES基于Rest Client的JAVA API开发

JAVAAPI开发介绍2：基于restclient开发demo2.1maven依赖2.2构建客户端连接2.3：数据写入2.4：get查询api2.5：bulk批量操作api2.6：关闭客户端3：kafka+sparkstreaming
猿来如此dj·2020-08-18 12:03

SparkStreaming简介 - 与第一个Spark实时计算程序，使用netcat来写数据 - wordcount

官方文档SparkStreaming火花流是sparkAPI的扩展，它支持可伸缩、高吞吐量、容错的实时数据流处理。
春_·2020-08-18 12:30

SparkStreaming - 自定义数据源(自定义采集器)

//声明采集器//1）继承Receiver//2)重写方法onStart，onStoppackagedate_10_16_SparkStreamingimportjava.io.
春_·2020-08-18 12:59

sparkStreaming自定义数据源

要求自定义数据源，实现监控某个端口号，获取该端口号内容需要继承Receiver，并实现onStart、onStop方法来自定义数据源采集代码实现packagecom.atguiguimportjava.io.{BufferedReader,InputStreamReader}importjava.net.Socketimportjava.nio.charset.StandardCharsetsim
雪妮shining·2020-08-18 12:27

Spark大数据分析入门笔记

目录一、相关术语二、Spark特征三、Spark整体工作流程四、Spark运行方式五、SparkSQL六、SparkMLlib七、PySpark八、SparkStreaming集成Kafka一、相关术语
LatinoCaribo·2020-08-18 12:26

Spark Streaming程序怎么才能做到不丢数据

SparkStreaming在接收数据的时候有两种模式，第一种是基于Receiver模式，第二种是KafkaDirect模式，两者不丢数据的处理方式不一样，下面我们就来聊聊这两种模式不丢数据的处理策略基于
没有合适的昵称·2020-08-18 12:43

SparkStreaming——实例1：批处理网络上的数据

目的：使用socketTextStream("192.168.0.160",9999)接收192.168.0.160的9999端口数据，并wordcount启动hdfs：start-all.sh使用netcat向192.168.0.160的9999端口传送数据启动netcat：nc-l-p9999可以不断向端口传送数据，查看结果importorg.apache.spark.SparkConfimp
ant_yi·2020-08-18 12:43

SparkStreaming——实例2：批处理目录

简单：使用textFileStream替代socketTextStream即可可以向目录不断添加文件查看结果importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.{Seconds,StreamingContext}objecttest1{defmain(args:Array[String]):Unit={//创建spark
ant_yi·2020-08-18 12:43

在win10环境下运行spark streaming中的NetworkWordCount

NetworkWordCount测试sparkstreamingwordcount，在学习streaming时候官方教程中有个NetworkWordCount栗子，通过TCP套接字连接，从流数据中创建一个
学渣渣_宇·2020-08-18 12:11

sparkStreaming中用sparksql时遇到的问题总结

问题一今天准备用sparkStreaming接入kafka再写入hive，准备在流里面执行sparksql，按照官网的写法，一开始的代码是这样的：SparkConfsparkConf=newSparkConf
Hello Guava·2020-08-18 12:39

Kafka 安装完整版

kafka的安装都基本一个样，如果安装kafka是为了用sparkstreaming，建议安装kafka_2.11-0.10.2.2版本。
羲凡丞相·2020-08-18 12:06

Spark Streaming从Kafka中接收数据的两种方式

sparkstreaming流式处理kafka中的数据，首先是把数据接收过来，然后转换为sparkstreaming中的数据结构Dstream。
Enzo_bigdata·2020-08-18 12:05

Spark Streaming分析Kafka数据

Win10开发工具：scala-eclipse-IDE项目管理工具：Maven3.6.0JDK1.8Scala2.11.11Spark2.4.3spark-streaming-kafka-0-10_2.11（SparkStreaming
碣石观海·2020-08-18 12:22

Spark之SparkStreaming的DStream操作

DStream的转换操作和输出、累加器等：转换DStream上的原语分为Transformations（转换）和OutputOperations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey()、transform()以及各种Window相关的原语。TransformationMeaningmap(func)将源DStream中的每个元素通过一个函数fun
清风笑丶·2020-08-18 12:50

SparkStreaming详解

Sparkcore的扩展，支持弹性，高吞吐，容错，实时数据流处理。多数据源，kafka、flume、TCPsocket等也可进行如map，reduce，join，window等高阶函数组成的复杂算法处理。处理结果写入文件系统、数据库、实时表盘中。内部工作原理是把实时输入数据流切分成多个批数据，交给spark引擎处理并分批生成数据流。提供高度抽象离散流（discretizedstream）或者DSt
卷曲的葡萄藤·2020-08-18 12:50

SparkStreaming入门（DStream ,Receiver，input DStream)

流计算简介数据总体上分为静态数据和流数据。对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量计算和实时计算。批量计算以“静态数据”为对象，可以在很充裕的时间内对海量数据进行批处理，计算得到有价值的信息。Hadoop就是很典型的批处理模型，有HDFS和HBase存放大量的静态数据，由MapReduce负责对海量数据执行批量计算。流数据必须采用实时计算，实时计算最重要的一个需求是能够实时得到
提灯寻梦在南国·2020-08-18 12:15

运行sparkstreaming的NetworkWordCount不能出现

官网：https://spark.apache.org/docs/2.2.0/streaming-programming-guide.html#points-to-remember-1代码：frompysparkimportSparkContextfrompyspark.streamingimportStreamingContextsc=SparkContext("local[2]","Netwo
小白programmer·2020-08-18 12:14

Cris 的 Spark Streaming 笔记

一、SparkStreaming概述1.1SparkStreaming是什么SparkStreaming用于流式数据的处理。
weixin_34306593·2020-08-18 12:32

【spark】26.Spark Streaming：DStream输入（数据源）

2019独角兽企业重金招聘Python工程师标准>>>简介SparkStreaming原生支持一些不同的数据源。
weixin_34214500·2020-08-18 12:56

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、SparkStreaming简介1.1概述SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的
weixin_34194551·2020-08-18 12:25

spark streaming中使用flume数据源

有两种方式，一种是sparkstreaming中的driver起监听，flume来推数据；另一种是sparkstreaming按照时间策略轮训的向flume拉数据。
weixin_33691817·2020-08-18 12:30

运行SparkStreaming的NetworkWordCount实例出错：Error connecting to localhost:9999 java.net.ConnectException...

一、背景首先按照Spark的官方文档来运行此实例，具体方法参见这里，当运行命令$nc-lk9999开启端口后，再运行命令$./bin/run-examplestreaming.NetworkWordCountlocalhost9999，却出现错误“Errorconnectingtolocalhost:9999java.net.ConnectException:Connectionrefused”，
weixin_30933531·2020-08-18 12:29

59、Spark Streaming与Spark SQL结合使用之top3热门商品实时统计案例

一、top3热门商品实时统计案例1、概述SparkStreaming最强大的地方在于，可以与SparkCore、SparkSQL整合使用，之前已经通过transform、foreachRDD等算子看到，
weixin_30830327·2020-08-18 12:25

SparkStreaming 监控文件目录

objectSparkStreaming_TextFile{defmain(args:Array[String]):Unit={Logger.getLogger("org.apache.spark").
weixin_30813225·2020-08-18 12:24

Spark Streaming从Flume Poll数据案例实战和内幕源码解密

本节课分成二部分讲解：一、SparkStreamingonPollingfromFlume实战二、SparkStreamingonPollingfromFlume源码第一部分：推模式(FlumepushSparkStreaming
weixin_30646505·2020-08-18 12:48

【大数据Spark_SparkSQL系列_1】Spark SQL基础（五星重要）

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、Graph
weixin_30384031·2020-08-18 12:39

Spark Streaming保证Exactly-Once语义

在流计算引擎如ApacheStorm、ApacheKafka(KafkaStreams)、ApacheSpark(SparkStreaming、SparkStructuredStreaming)、ApacheFlink
wangpei1949·2020-08-18 12:58

SparkStreaming入门：通过socket读取流数据

开始前的准备1.因为我们等会要在linux创建一个socket，然后不停的读入数据，所以首先在linux上开启一个虚拟机，然后启动一个端口，命令：nc-lk9999，此时就创建了一个端口是9999的进程，可以在控制台输入数据了，如果提示你nc状态不支持，需要安装nc,命令是：yuminstallnc2.配置hosts文件，使能够根据主机名进行访问。实际操作的代码如下：importorg.apach
一颗向上的草莓·2020-08-18 12:13

spark streaming 广播变量空指针异常问题&广播变量更新

spark中的用到了广播变量，大致逻辑是从Redis中读取黑名单配置，然后广播到各个节点用于异常监控，但是在使用过程中总是报空指针异常，后面百度了很多资料，发现有说Yarn集群中不支持广播变量的，有说Sparkstreaming
张老七没脾气·2020-08-18 12:39

Spark Streaming广播变量更新问题

最近在使用SparkStreaming进行流式计算过程中，遇到在过滤函数中需要用到外部过滤条件列表，且列表会随时更新，一开始只是在main函数中获取过滤条件列表，但是后来发现streaming程序每次触发并非重新执行一遍
张老七没脾气·2020-08-18 12:39

Kafka+Spark Streaming管理offset的几种方法

By大数据技术与架构场景描述：Kafka配合SparkStreaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。
大数据技术与架构·2020-08-18 12:34

Spark学习笔记 --- SparkStreaming 实现对 TCP 数据源处理

packagedemo1importorg.apache.spark._importorg.apache.spark.streaming._//importorg.apache.spark.streaming.StreamingContext._(spark1.3upperisnotnecessary)/*Usingthiscontext,wecancreateaDStreamthatrepres
杨鑫newlfe·2020-08-18 12:27

Spark Streaming（二）—— Spark Streaming基本数据源

文章目录基本数据源1.文件流（textFileStream）2.RDD队列流（queueStream，队列里是RDD）3.套接字流（socketTextStream）基本数据源SparkStreaming
AuroraDuring·2020-08-18 12:44

大数据晋级之路（8）Scala,Spark分布式安装

一、Spark介绍Spark是一个生态系统，内核由Scala语言开发，为批处理（SparkCore）、交互式（SparkSQL）、流式处理（SparkStreaming）、机器学习（MLlib）、图计算
King-Long·2020-08-18 12:37

SparkStreaming（11）：高级数据源flume-pull方式（生产）

1.环境（1）生产环境flume1.6.0spark2.1.0（2）下载对应依赖备注：一定要将依赖都放入flume的Flume’sclasspath内，否则flume运行有问题。（遇到过坑~~~）(i)CustomsinkJAR:groupId=org.apache.sparkartifactId=spark-streaming-flume-sink_2.11version=2.1.0(ii)Sc
RayBreslin·2020-08-18 12:33

Spark Streaming自定义数据源-实现自定义输入DStream和接收器

SparkStreaming自定义数据源-实现自定义输入DStream和接收器参考文档：SparkStreaming编程指南（官方文档）http://spark.apache.org/docs/2.0.0
Liu-Lv·2020-08-18 12:27

Spark Streaming: 保存上一个批次数据的计算结果

在SparkStreaming计算模型下，有时候我们对当前batch数据的计算需要依赖上一个batch的计算结果，如广告系统中检索日志和曝光时间的join拼接。
司青·2020-08-18 12:22

大数据IMF传奇行动绝密课程第104-114课：Spark Streaming电商广告点击综合案例

SparkStreaming电商广告点击综合案例需求分析和技术架构广告点击系统实时分析广告来自于广告或者移动App等，广告需要设定在具体的广告位，当用户点击广告的时候，一般都会通过ajax或Socket
tom_8899_li·2020-08-18 12:21

SparkStreaming--输入源（本地文件）

//输入源objectWordCountHDFSSource{defmain(args:Array[String]):Unit={System.setProperty("hadoop.home.dir","E:\\software\\bigdate\\hadoop-2.6.0-cdh5.15.0\\hadoop-2.6.0-cdh5.15.0")valconf=newSparkConf();con
wangfutai91·2020-08-18 11:10

Spark Streaming + Kafka direct 从Zookeeper中恢复offset

在上一遍《将SparkStreaming+Kafkadirect的offset保存进入Zookeeper》中，我们已经成功的将topic的partition的offset保存到了Zookeeper中，使监控工具发挥了其监控效果
sun_qiangwei·2020-08-18 11:09

Spark Streaming之二：DStream解析

1.0前言目前SparkStreaming编程指南地址：http://spark.apache.org/docs/latest/streaming-programming-guide.html1.1
sunbow0·2020-08-18 11:37

Spark Streaming源码解读之Job详解

一：SparkStreamingJob生成深度思考1.做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。
snail_gesture·2020-08-18 11:30

Spark Streaming入门详解

背景：使用Spark主要是使用SparkStreaming，SparkStreaming的魔力之所在于：1.流式处理，如今是一个流处理时代，一切与流不相关的都是无效的数据。
snail_gesture·2020-08-18 11:29

SparkStreaming之socketTextStream遇到的一些小问题

实验环境主机名IP操作系统host1192.168.110.1Windowshost2192.168.110.13Linux实验准备首先在host2上使用nc命令打开端口7777，之后在host1上运行代码实验代码importorg.apache.spark._importorg.apache.spark.streaming._objectTest{defmain(args:Array[Strin
成程晨·2020-08-18 11:29

mysql+maxwell+SparkStreaming 分析数据流水

maxwell可以模拟mysqlslave获取binlog，对binlog进行解析，变成json格式{"database":"taskcenter","table":"lts_admin_job_tracker_monitor_data","type":"insert","ts":1535090880,"xid":1555704593,"commit":true,"data":{"id":4159
Xiaohuansong·2020-08-18 11:48
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他