sparkstreaming

Spark Streaming详解

内容sparkStreaming简介sparkStreaming和Storm区别SparkStreaming算子SparkcheckpointingSpark和kafka整合SparkStreamingSparkStreaming
SusurHe·2020-07-10 11:51

SparkStreaming限速以及背压详解

WebUI解读这时候我们再往Kafka里面写10条记录InputRate：数据输入的速率SchedulingDelay：每个批次启动任务等待了多少时间被调度叫调度的延迟ProcessingTime：每个批次处理花费了多少时间TotalDelay：调度延迟+处理时间这些在UI最下面都能看到最佳实践在下一个批次启动任务之前，一定要运行完前一个批次的数据处理，官网上有提到问题但是如果你当前批次数据都没有
Try Everything、·2020-07-10 10:56

通过案例对SparkStreaming透彻理解三板斧之二

SparkStreaming运行时与其说是SparkCore上的一个流式处理框架，不如说是SparkCore上的一个最复杂的应用程序。
阳光男孩spark·2020-07-10 10:26

Blink开源，Spark3.0，谁才是未来大数据领域最闪亮的星？

2018和2019年是大数据领域蓬勃发展的两年，自2019年伊始，实时流计算技术开始步入普通开发者视线，各大公司都在不遗余力地试用新的流计算框架，实时流计算引擎SparkStreaming、KafkaStreaming
weixin_34303897·2020-07-10 08:43

SparkStreaming使用checkpoint存在的问题及解决方案

sparkstreaming关于偏移量的管理在DirectDStream初始化的时候，需要指定一个包含每个topic的每个分区的offset用于让DirectDStream从指定位置读取数据。
weixin_34256074·2020-07-10 08:11

Spark Streaming 之 Kafka 偏移量管理

本文主要介绍SparkStreaming应用开发中消费Kafka消息的相关内容，文章着重突出了开发环境的配置以及手动管理Kafka偏移量的实现。
weixin_33859504·2020-07-10 07:18

SparkStreaming与Kafka整合遇到的问题及解决方案

最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架主要是考虑到它本身是基于
weixin_33728268·2020-07-10 07:23

spark streaming中维护kafka偏移量到外部介质

sparkstreaming中维护kafka偏移量到外部介质以kafka偏移量维护到redis为例。
???111·2020-07-10 06:20

SparkStreaming(Java)-管理kafka偏移量

一、环境说明组件版本KafkaKafka-0.10.2.0Sparkspark-2.2IDEAidea64-2017Zookeeperzookeeper-3.4.5二、Kafka自动管理偏移量1.管理kafka的偏移量，有两个重要的参数：auto.offset.reset和enable.auto.commit参数可选值解释enable.auto.committrue控制kafka是否自动提交偏移量
李_少·2020-07-10 05:13

spark createDirectStream保存kafka offset(JAVA实现)

问题描述原文地址：http://blog.csdn.net/xueba207/article/details/50381821最近使用Sparkstreaming处理kafka的数据，业务数据量比较大，
Scub·2020-07-10 05:06

spark写入hdfs

sparkstreaming写入hdfs场景：需要将数据写入hdfs，打包成一个gz包，每5分钟执行一次spark任务。最终的结果如下：5分钟跑一次spark，将数据写入hdfs，会产生很多的小文件。
千里风雪·2020-07-10 04:10

如何管理Spark Streaming消费Kafka的偏移量（三）

前面的文章已经介绍了在sparkstreaming集成kafka时，如何处理其偏移量的问题，由于sparkstreaming自带的checkpoint弊端非常明显，所以一些对数据一致性要求比较高的项目里面
三劫散仙·2020-07-10 03:19

如何管理Spark Streaming消费Kafka的偏移量（一）

最近工作有点忙，所以更新文章频率低了点，在这里给大家说声抱歉，前面已经写过在sparkstreaming中管理offset，但当时只知道怎么用，并不是很了解为何要那样用，最近一段时间又抽空看了一个github
三劫散仙·2020-07-10 03:19

推荐两个不错的flink项目

但是，不可否认flink在实时领域确实目前来看独树一帜，当然也有它不适合的地方，比如今天要推荐的第一个基于flink开发的项目，流表和维表的join，还有很多地方还是用sparkstreaming更合适
大数据星球-浪尖·2020-07-10 01:48

Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？

还记得之前的文章《SparkRDD详解》中提到，SparkRDD的缓存和checkpoint是懒加载操作，只有action触发的时候才会真正执行，其实不仅是SparkRDD，在Spark其他组件如SparkStreaming
大数据学习与分享·2020-07-10 00:56

SparkStreaming 关于kafka偏移量的管理Redis篇

在开发javaSparkStreaming的时候一定会遇到kafka偏移量管理的问题上，因为需要考虑到各式各样的容灾处理。
bili球·2020-07-10 00:38

windows下 idea本地运行sparkStreaming + kafka 测试程序

1.安装zookeeper1.下载zookeeper：http://zookeeper.apache.org/releases.html2.解压，将conf文件夹下zoo_sample.cfg重命名为zoo.cfg，修改其中的配置：#修改配置项：dataDir=D:/dzy/envpath/zookeeper-3.4.14/data#增加配置项：dataLogDir=D:/dzy/envpath/
fengnzx·2020-07-09 23:32

大数据系列——Spark学习笔记Spark Streaming

1.SparkStreamingSparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理SparkStreaing中有一个最基本的抽象叫DStream
EVAO·2020-07-09 22:44

spark streaming 监控方案

SparkStreaming监控从spark2.2.0版本开始支持，目前不支持2.1.0调研背景介绍业务反应sparkstreaming任务数据处理存在堆积情况，但是仍然会不断从kafka拉取数据，针对这种情况调研
灰二和杉菜·2020-07-09 21:45

Spark+Spark streaming+kafka简介和总结

接上文《Hadoop生态系统》，对Spark、Sparkstreaming、kafka的相关内容进行总结。
邝邝的数据分析之路·2020-07-09 20:34

SparkStreaming Kafka 维护offset

文章目录KafkaitselfowndatastoreforMySqlowndatastoreforRedis生产SparkStreaming数据零丢失实验SparkStreamingKafka维护offset
冬瓜螺旋雪碧·2020-07-09 18:59

Spark Streaming容错的改进和零数据丢失

最开始，SparkStreaming就支持从driver和worker故障恢复的能力。然而有些数据源的输入可能在故障恢复以后丢失数据。
快乐程序员·2020-07-09 17:14

SparkStreaming入门及数据丢失处理、容错

目录1、SparkStreaming2、SparkStreaming程序入口3、SparkStreaming初始理解4、什么是DStream5、数据源5.1、Socket数据源5.2、HDFS数据源5.3
fengge18306·2020-07-09 15:56

Yarn上常驻Spark-Streaming程序调优

对于长时间运行的SparkStreaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。
MrMrCash·2020-07-09 14:37

Spark Streaming

SparkStreaming文章目录SparkStreaming一.SparkStreaming介绍(一)概述(二)基本原理二.SparkStreaming实战(一)WordCount1.准备2.Demo01
DevinKim·2020-07-09 12:05

Spark Streaming之运行架构

一SparkStreaming运行架构图二SparkStreaming各个组件2.1StreamingContext:SparkStreaming中Driver端的上下文对象，初始化的时候会构造SparkStreaming
happy19870612·2020-07-09 05:33

Spark读取Kafka数据存入redis

.构建一个scala项目具体构建过程可参考：https://blog.csdn.net/weixin_44122028/article/details/1038815082.依赖配置如下name:="SparkStreamingReadKafka"scalaVersion
王冬的csdn·2020-07-08 22:18

SparkStreaming第一个程序--从socket端口读取数据并统计单词数量

因为是要读取socket端口的数据，所以要启动一个socket端口，可以在虚拟机中安装nc,安装命令为：sudoyuminstallnc,当然也可以自己写一个socket端口。安装好之后，启动客户端和服务端：nc-lk8888，streaming读取socket端口数据的原理：代码如下：packageXXXimportorg.apache.spark.streaming.dstream.{DStr
weixin_43866709·2020-07-08 22:43

Spark Streaming运行架构以及代码详解

1.运行架构sparkStreaming相对其他流处理系统最大的优势在于流处理引擎和数据处理在同一软件栈，其中SparkStreaming功能主要包括流处理引擎的流数据接收与存储以及批处理作业的生成与管理
张林强超级ok·2020-07-08 21:13

SparkStreaming入门教程(一)概述、特点、架构原理以及与storm的对比

什么是SparkStreamingSparkStreaming类似于ApacheStorm，用于流式数据的处理。
胖滚猪学编程·2020-07-08 20:12

sparkstreaming和kafka集成的两种方式（最全）

-1,基于接收者的方法算子：KafkaUtils.createStream方法：PUSH，从topic中去推送数据，将数据推送过来API：调用的Kafka高级API效果：SparkStreaming中的
@black·2020-07-08 19:46

Spark MLlib GraphX

Spark课堂笔记Spark生态圈：SparkCore：RDD（弹性分布式数据集）SparkSQLSparkStreamingSparkMLLib：协同过滤，ALS，逻辑回归等等-->机器学习SparkGraphx
Rki-dor·2020-07-08 13:07

Spark-Streaming进阶与Spark优化

Spark课堂笔记Spark生态圈：SparkCore：RDD（弹性分布式数据集）SparkSQLSparkStreamingSparkMLLib：协同过滤，ALS，逻辑回归等等-->机器学习SparkGraphx
335046781·2020-07-08 13:33

Spark踩坑记——Spark Streaming+Kafka

目录前言Sparkstreaming接收Kafka数据基于Receiver的方式直接读取方式Spark向kafka中写入数据Sparkstreaming+Kafka应用Sparkstreaming+Kafka
weixin_30375427·2020-07-08 13:00

StreamingContext实例化过程

一.SparkStreaming实例化过程创建StreamingContext的方法有很多种，示例以SparkCon和任务执行间隔作为参数创建StreamingContextvalssc=newStreamingContext
天然呆的技术博客·2020-07-08 10:25

ElasticSearch的优点

相对于SparkStreaming、Storm等大数据
风流三月1·2020-07-08 10:04

浅谈ElasticSearch的嵌套存储模型

://dl2.iteye.com/upload/attachment/0123/3857/69b9e8f2-2cf0-3079-a966-9331ad1e91ae.jpg[/img]最近一个半月都在搞SparkStreaming
三劫散仙·2020-07-08 08:13

Spark-Streaming编程指南

Spark-Streaming编程指南概览SparkStreaming是对核心SparkAPI的一个扩展，它能够实现对实时数据流的流式处理，并具有很好的可扩展性、高吞吐量和容错性。
stevekangpei·2020-07-08 06:21

spark-streaming-kafka-0-10_2.12 api

因为更新了scala2.12版本老的kafkaapi会报错，翻了半天博客记录一下packagecom.sq.sparkstreamingimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.TopicPartitionimportorg.apache.kafka.common.seri
极客宋·2020-07-08 06:13

定时更新广播变量

定时更新广播变量背景sparkstreaming在处理数据的时候，需要和一些小表做join,或者从小表中获取数据，通常我们会采用广播变量的方式将数据缓存到每个worker节点上，由此，数据在exec端被计算的时候
Rachel_Channing·2020-07-08 05:03

Spark Streaming处理kafka的数据落地HDFS

SparkStreaming处理kafka的数据落地HDFS背景生产上项目的数据从上游kafkatopic下发过来，经过sparkStreaming简单清洗处理后，下发到下一个kafkatopic中，目前需要将清洗处理好的数据
Rachel_Channing·2020-07-08 05:32

StreamingListener-监控流式处理-更新广播变量-利器

SparkStreaming中常常遇到需要监控每个批次的运行情况，当出现不正常的情况需要及时反馈。
Rachel_Channing·2020-07-08 05:32

Spark Streaming程序将统计结果写入本地文件系统

背景需要实时接收kafkatopic中的消息，经sparkstreaming进行统计分析后，将统计结果写到本地文件系统，经由FTP发送给下游。
Rachel_Channing·2020-07-08 05:32

SparkStreaming

1、SparkStreaming概述数据处理类型分类o静态数据数据源是不变的、有限的、显式离散的多适用于批量计算、离线计算o流数据数据是变动的、无限的、连续的多适用于实时计算，能在秒级、秒内处理完成
ONEKING777·2020-07-08 03:23

Spark Core 核心知识--RDD

目录1、Spark核心功能1.1SparkContext1.2存储体系1.3计算引擎1.4部署模式2、Spark扩展功能2.1Spark2.2SparkStreaming2.3SparkGraphx2.4SparkMLlib3
谦卑t·2020-07-08 02:32

大数据笔记

分布式协调服务Hive数据仓库/数据分析Flume数据采集Spoop数据迁移HBaseNoSql:实现百万数据级的毫秒级操作Sparkkafka消息队列Scala函数式编程语言SparkRDDSparkSqlSparkStreamingSparkCore
qq_40220816·2020-07-08 00:52

Spark学习总结

Sparkcore、SparkSQL、SparkStreaming、SparkMLlib、SparkGraphx4.Spark的核心数据模型？
从一点一滴做起·2020-07-08 00:08

Spark概念及使用简介

更快更容易使用除了Java之外，提供了Scala、Python、R的API；好用的库基于SparkCore提供了SparkSQL、SparkStreaming、MLib、Graph
漂泊的胡萝卜·2020-07-07 17:39

Spark Streaming整合flume和kafka实战

SparkStreaming整合flume实战flume作为日志实时采集的框架，可以与SparkStreaming实时处理框进行对接，flume实时产生数据，sparkStreaming做实时处理。
MKing1994·2020-07-07 17:40

Spark Streaming 监控通过 nc -lk 9999 命令发送的word计数

{Seconds,StreamingContext}objectSparkStreamingQucikOps{defmain(args:Array[String]):Unit={valconf=newSparkC
花纵酒·2020-07-07 14:22
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他