sparkstreaming 第37页

用JAVA实现nc指令发送消息

用JAVA实现nc指令发送消息本人最近遇到一个问题需要用java向SparkStreaming发送消息，但是SparkStreaming无法直接与java建立Socket连接，只能监听某台服务器的某个端口

zas765·2020-07-02 05:38

【Spark系列】：多方面综合对比Spark Streaming和Flink

文章目录前言1.基本概念对比1.1.运行角色1.2.运行过程简述1.3.生态1.4.运行模型2.编程模型对比2.1.SparkStreaming2.2.Flink3.任务调度原理3.1.Spark任务调度

hxcaifly·2020-07-02 03:39

==通过案例对SparkStreaming透彻理解三板斧之二

通过案例对SparkStreaming透彻理解三板斧之二-http://www.jianshu.com/p/c59fa2ad7380DStream就是SparkStreaming的核心，就想SparkCore

葡萄喃喃呓语·2020-07-02 00:08

SparkStreaming | Flink 实时统计千万级pv, uv

最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。iduvpvdatehour1155599306053201807270022554965962232018072701……………1010490270129

ikeguang·2020-07-01 22:03

Spark Streaming消费Kafka Direct保存offset到Redis，实现数据零丢失和exactly once

二、使用场景SparkStreaming实时消费kafka数据的时候，程序停止或者Kafka节点挂掉会导致数据丢失，Sp

banmeng3487·2020-07-01 18:42

【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析

第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，SparkStreaming读取Kafka中的数据，进行实时分析本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通

axxbc123·2020-07-01 17:48

Spark Streaming + Spark SQL 实现配置化ETL流程

SparkStreaming非常适合ETL。

祝威廉·2020-07-01 17:46

reduceByKeyAndWindow基于滑动窗口的热点搜索词实时统计(Scala版本)

packageSparkStreamingimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming.

霄嵩·2020-07-01 16:10

Spark学习资料

haozhengfei博客https://www.cnblogs.com/haozhengfei/p/22bba3b1ef90cbfaf073eb44349c0757.htmlSpark_总结五1.Storm和SparkStreaming

小小少年Boy·2020-07-01 10:43

Spark Streaming和Kafka整合保证数据零丢失

SparkStreaming和Kafka整合保证数据零丢失当我们正确地部署好SparkStreaming，我们就可以使用SparkStreaming提供的零数据丢失机制。

BigDataer_DK·2020-07-01 08:10

流式数据采集和计算（六）：IDEA+MAVEN+Scala配置进行spark开发

一、环境配置IDEA作为常用的开发工具使用maven进行依赖包的统一管理，配置Scala的开发环境，进行SparkStreaming的API开发；1、下载并破解IDEA，并加入汉化的包到lib，重启生效

有腹肌的小蝌蚪_·2020-07-01 07:03

sparkStreaming实现exactly-once，使用redis保存offset

本文主要记录使用SparkStreaming从Kafka里读取数据，并使用Redis保存Offset。

xuehuagongzi000·2020-07-01 07:07

sparkstreaming整合kafka实现exactly-once语义

1,sparkstreaming消费kafka有两种方法,这里我就不介绍了,网上关于这方面的资料很多,我就简单说一下两者的区别吧,(1)基于receiver的方式，是使用Kafka的高阶API来在ZooKeeper

JasonLee'blog·2020-07-01 06:38

2019年新年计划

主要：学习目标：在不准备的情况下能讲清楚每个组件的原理架构、优化方案(知道优劣才懂取舍)，并操作熟练(hdfs、yarn、mapreduce、hbase、hive、sparkcore、sparksql、sparkstreaming

吾芯向Young·2020-07-01 06:29

SparkStreaming+kafka+flume+hbase日志实时流处理项目

1.项目背景：互联网访问日志概述为什么要记录访问日志的行为呢？通过日志我们可以得到网站页面的访问量，网站的黏性，推荐用户行为分析，是指在获得网站访问量基本数据的情况下，对有关数据进行统计、分析，从中发现用户访问网站的规律，并将这些规律与网络营销策略等相结合，从而发现目前网络营销活动中可能存在的问题，并为进一步修正或重新制定网络营销策略提供依据。2.项目需求：统计网页版爱艺奇视频：今天到现在为止的每

在IT中穿梭旅行·2020-07-01 06:21

流式处理术语解释 Exactly-once与Effectively-once

该领域主要的流处理引擎（SPE）包括ApacheStorm、ApacheFlink、Heron、ApacheKafka（KafkaStreams）以及ApacheSpark（SparkStreaming

纸绘·2020-07-01 05:36

干货:Flink+Kafka 0.11端到端精确一次处理语义实现

实时处理里消息的仅一次处理是大家关注的重点吧，前面浪尖分享过一篇对比sparkstreaming和flink的文章，里面讲到了如何用sparkstreaming实现仅一次处理及flink是实现仅一次处理的

大数据星球-浪尖·2020-07-01 04:18

flink入门到精通

2、flink，sparkstreaming，storm区别flink和sparkstreaming都能保持exactlyonce，但是spark为了实现exactlyonc

laogooooog·2020-07-01 02:36

Spark基本架构及运行原理

SparkStreaming:实时数据流处理组件，类似Storm。SparkStrea

zxc123e·2020-06-30 20:51

Spark入门必读：核心概念介绍及常用RDD操作

Spark内部提供了丰富的开发库，集成了数据分析引擎SparkSQL、图计算框架GraphX、机器学习库MLlib、流计算引擎SparkStreaming。

大数据v·2020-06-30 19:54

Spark基本架构及原理

目标：Spark概述Spark基本概念Spark四大运行模式、运行流程spark与hadoopRDD运行流程Spark三大类算子SparkStreamingSpark概述：ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎

zjh_746140129·2020-06-30 18:50

kafka direct 跟receiver 方式接收数据的区别

receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。

二师兄1986·2020-06-30 17:34

7.spark Streaming 技术内幕 : 从DSteam到RDD全过程解析

7.sparkStreaming技术内幕:从DSteam到RDD全过程解析原创文章，转载请注明:转载自听风居士博客(http://blog.csdn.net/zhouzx2010)上篇博客讨论了SparkStreaming

听风的蜗牛·2020-06-30 16:23

大数据工程师，需要学习哪些基本技能？

HBase（JavaAPI操作+Phoenix）05.Hive(Hql基本操作和原理理解）06.Kafka07.Storm08.Scala需要09.Python10.Spark(Core+sparksql+Sparkstreaming

人工智能爱好者·2020-06-30 16:32

道路交通实时流量监控预测系统

总体业务要求3、难点分析数据收集1、数据采集阶段技术对比2、项目中数据采集技术Kafka3、Kafka安装及基本操作4、Kafka的API操作及项目中应用数据流处理1、数据实时处理阶段技术拓展Storm2、SparkStreaming

zhangye19920611·2020-06-30 14:04

Spark Streaming容错的改进和零数据丢失（转）

作者：TathagataDas译者：彭根禄本文来自SparkStreaming项目带头人TathagataDas的博客文章，他现在就职于Databricks公司。

zhangxiong0301·2020-06-30 14:19

sparkstreaming之实时数据流计算实例

最近在用sparkstreaming的技术来实现公司实时号码热度排序，学习了一下sparkstreaming的相关技术，今天主要要讲一个简单sparkstreaming实时数据流技术的一个示例，帮助大家更好的理解和学习

zfszhangyuan·2020-06-30 13:20

Strom、SparkStreaming以及Flink三种流式框架了解

本文主要是想了解下Storm、Flink、SparkStreaming这三种流式计算框架的区别以及它们适合的应用场景。

淡定一生2333·2020-06-30 12:38

ERROR StreamingContext: Error starting the context, marking it as stopped

问题描述：今天帮别人调试flume+kafka+sparkstreaming的整合，在运行的时候报了以下错误：ERRORStreamingContext:Errorstartingthecontext,

安ner·2020-06-30 11:41

java实现spark streaming与kafka集成进行流式计算

java实现sparkstreaming与kafka集成进行流式计算2017/6/26补充：接手了搜索系统，这半年有了很多新的心得，懒改这篇粗鄙之文，大家看综合看这篇新博文来理解下面的粗鄙代码吧，http

_吴天德·2020-06-30 10:34

Spark Streamng实战

SparkStreamng是一个可拓展，大规模，高吞吐量，高容错性的实时流处理数据程序将不同数据源的数据经过SparkStreaming处理之后结果输出到外部文件系统特点低延时能从错误中高效的恢复:fault-tolerant

DoaneYang·2020-06-30 09:28

Spark Streaming 转向 Structured Streaming

导读Spark团队对SparkStreaming的维护将会越来越少，Spark2.4版本的ReleaseNote里面甚至一个SparkStreaming相关的ticket都没有。

GOD_WAR·2020-06-30 09:12

Spark Streaming的恢复机制——Checkpoint

前言:一个StreamingApplication往往需要7*24不间断的跑,所以需要有自动恢复失败前的状态(机器冗机,系统挂掉,jvmcrash等),为了让上述成为可能,SparkStreaming需要

yjgithub·2020-06-30 08:18

SparkStreaming项目实战系列——1.实时流概述

SparkStreaming项目实战系列——实时流概述Spark官网关于Spark2.2.0需要以下条件:maven3.3.9+Java8+Spark2.2.01.初识实时流处理1.1业务现状分析需求：

陈府才俊·2020-06-30 08:58

Kafka踩坑 - Couldn't find leaders for Set

SparkStreaming程序从Kafka读数据的程序运行期间报了如下异常：org.apache.spark.SparkException:ArrayBuffer(org.apache.spark.SparkException

RangeYan2012·2020-06-30 06:18

Spark Streaming 输出数据清洗结果到Mysql

Flume+Kafka+SparkStreaming+Mysqlpackageutil;importjava.awt.List;importjava.util.ArrayList;importjava.util.HashMap

向阳争渡·2020-06-30 06:11

Kafka Streams 运算操作详解

同为流处理技术，KafkaStreams的API和更为人所熟知的SparkStreaming在很多方面有不少相似之处，比如大量类似的算子。

表现力·2020-06-30 05:24

3 spark streaming运行机制与架构

SparkStreamingJob架构与运行机制SparkStreaming容错架构与运行机制SparkStreaming是一个流处理架构，随着时间的推移，根据时间分片不断的产生Job，一直不停的运行。

海纳百川_spark·2020-06-30 03:36

Maven打包排除某个资源或者目录

Maven打包排除某个资源或者目录最近在sparkstreaming本地调试的时候，引入了一些资源文件，打包的时候需要给排除掉。

xing halo·2020-06-30 02:24

【spark学习】SparkStreaming将采集结果存储MySQL数据库

一.需求说明SparkStreaming采集网页日志文件，计算网页的热度，根据网页热度排序取前10行，最后将网页ID和热度存入MySQL数据库二.日志文件准备说明：以原始数据test.log为基础，用日志生成程序不断的生成日志文件

迪奥不及你的美·2020-06-30 01:52

SparkStreaming连接kafka的两种方式

Spark对于Kafka的连接主要有两种方式，一种是DirectKafkaInputDStream，另外一种是KafkaInputDStream。【Receiver-based】这种方法使用一个Receiver来接收数据。在该Receiver的实现中使用了Kafkahigh-levelconsumerAPI。Receiver从kafka接收的数据将被存储到Sparkexecutor中，随后启动的j

乖乖猪001·2020-06-30 01:25

大数据-spark概述

目前，Spark生态系统已经包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。

xiaoqiang17·2020-06-30 00:00

Flume+Kafka+SparkStreaming+Redis+Mysql做的实时日志分析ip访问次数

新手学习，如有错误请指正，感谢！1.启动zookeeper和kafka，并建立一个topic为test-fkss，为了方便观察我是通过kafka-manager添加2.配置Flume并启动，监听文件为/home/czh/docker-public-file/testflume.log，发送给kafkaa1.sources=r1a1.sinks=k1a1.channels=c1a1.sources.

xiaocxyczh·2020-06-30 00:37

Spark复习 Day04：SparkStreaming

Spark复习Day04：SparkStreaming1.SparkStreaming版的WordCount---------------------------------@TestdefTestStreaming

葛红富·2020-06-29 23:15

Spark Streaming 不同Batch任务可以并行计算么？

关于SparkStreaming中的任务有如下几个概念：BatchJobStageTask其实Stage,Task都是SparkCore里就有的概念，Job在Streaming和SparkCore里的概念则是不一致的

祝威廉·2020-06-29 22:07

Spark深入解析：博文大纲

目录一、Spark基础解析二、SparkScore三、SparkSql四、SparkStreaming五、StructuredStreaming一、Spark基础解析Spark深入解析（一）：Spark

老王的小知识·2020-06-29 22:36

使用Spark SQL构建交互式查询引擎

StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化前言StreamingPro原来仅仅是用来作为SparkStreaming的一个配置化+SQL封装，然而不经意间

祝威廉·2020-06-29 22:53

SparkStreamingOnKafkaDirected（没明白 KafkaUtils.createDirectStream）【Java版纯代码】

packagestreamingOperate.others;importjava.util.Arrays;importjava.util.HashMap;importjava.util.HashSet;importjava.util.Map;importkafka.serializer.StringDecoder;importorg.apache.spark.SparkConf;importor

道法—自然·2020-06-29 22:56

Kafka学习笔记-Flume整合Kafka整合SparkStreaming

FlumeKafkaSparkStreaming环境信息：apache-flume-1.6.0-bin.tar.gzkafka_2.11-0.10.0.0.tgzspark-1.6.1-bin-hadoop2.6

人生偌只如初见·2020-06-29 21:40

使用Flume+Kafka+SparkStreaming进行实时日志分析

使用Flume+Kafka+SparkStreaming进行实时日志分析每个公司想要进行数据分析或数据挖掘，收集日志、ETL都是第一步的，今天就讲一下如何实时地（准实时，每分钟分析一次）收集日志，处理日志

qq1067974581·2020-06-29 21:04

推荐频道

sparkstreaming