sparkstreaming

sparkStreaming整合flume

flume作为日志实时采集的框架，可以与SparkStreaming实时处理框进行对接，flume实时产生数据，sparkStreaming做实时处理。
小giaogiao·2020-06-25 02:27

Spark-Streaming获取kafka数据的两种消费模式、三种消费语义

receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。
spark大数据玩家·2020-06-25 01:42

用户行为分析大数据系统（实时统计每个分类被点击的次数，实时计算商品销售额，网站动态行为pv，uv ）

https://blog.csdn.net/m0_37739193/article/details/74559826实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
曹雪朋·2020-06-25 01:37

第91讲：sparkStreaming基于kafka的Direct详解

有兴趣想学习国内整套Spark+SparkStreaming+Machinelearning最顶级课程的，可加我qq 471186150。共享视频，性价比超高！
Android进阶·2020-06-25 00:42

（15）使用checkpoint进行故障恢复

用过SparkStreaming的应该都比较了解checkpoint机制。
longdada007·2020-06-25 00:21

Spark Streaming中，增大任务并发度的方法有哪些？

SparkStreaming中，增大任务并发度的方法有哪些？0准备阶段Q:在Spark集群中，集群的节点个数、RDD分区个数、CPU内核个数三者与并行度的关系是什么？
buildupchao·2020-06-25 00:16

如何搭建大数据分析平台

同时通过sparkstreaming，可以有效满足企业实时数据的要求，构建企业发展的实时
qq_16313575·2020-06-24 23:23

Spark Streaming整合flume(Poll方式和Push方式)

flume作为日志实时采集的框架，可以与SparkStreaming实时处理框架进行对接，flume实时产生数据，sparkStreaming做实时处理。
hxhh·2020-06-24 22:44

python+sparkStreaming+kafka之大数据实时流

首先需要的是环境，我安装的是spark2…1,kafka0-10,hadoop2.7,scala2.11,因为spark是Scala语言写的，所以这个必须的安装，大数据传输存储需要用到Hadoop，HDFS，所以Hadoop需要安装，streaming接受流数据源有两种大的方式，一种是文件和套接字，直接读取文件和通过套接字传输，另一种是高级API形式，可以通过额外的实用程序类获得诸如Kafka，F
pyswt·2020-06-24 20:24

分享近期将发表的重要博客文章

1、SparkStreaming核心设计理解  前面的博客中Hadoop、Yarn、Spark、Hive、HBase、Flume、Kafka大数据组件基本讨论完，当然之后也会结合大数据实时项目遇到的每个组件的核心问题单独给出博客讨论
yield-bytes·2020-06-24 20:51

Spark DataFrame、Spark SQL、Spark Streaming入门教程

文章目录前言1、RDD、SparkDataFrame、SparkSQL、SparkStreaming2、SparkDataFrame2.1创建基本的SparkDataFrame2.2从各类数据源创建SparkDataFrame2.3SparkDataFrame
yield-bytes·2020-06-24 20:51

基于PySpark整合Spark Streaming与Kafka

  本文内容主要给出基于PySpark程序，整合SparkStreaming和Kafka，实现实时消费和处理topic消息，为PySpark开发大数据实时计算项目提供基本参考。
yield-bytes·2020-06-24 20:51

Spark-Streaming实时数据分析

1.SparkStreaming功能介绍1）定义SparkStreamingisanextensionofthecoreSparkAPIthatenablesscalable,high-throughput
努力的凹凸曼·2020-06-24 20:10

关于flume接受socket信息输入到IDEA

文章目录1.flume配置文件2.启动命令3.IDEA的Sparkstreaming代码演示1.flume配置文件a1.sources=s1a1.channels=c1a1.sinks=k1#定义agent
power_k·2020-06-24 20:51

Spark Streaming之WordCount

1.概要SparkStreaming是Spark的流处理框架，具有可扩展性、高吞吐率、失败恢复机制。
郭寻抚·2020-06-24 18:02

Spark Streaming: 保存上一个批次数据的计算结果

在SparkStreaming计算模型下，有时候我们对当前batch数据的计算需要依赖上一个batch的计算结果，如广告系统中检索日志和曝光时间的join拼接。
司青·2020-06-24 17:02

Spark架构和原理

Spark包含了多种计算库，有SparkSQL、SparkStreaming、MLlib、GraphX4、
小学僧丶Monk·2020-06-24 15:44

Spark Streaming Source Kafka 0.8.2

描述针对kafka0.8.2的API，SparkStreaming有两个版本的Source，Receiver和DirectAPI，其中Receiver模式使用HighLevel对应为KafkaInputDStream
lioversky·2020-06-24 13:17

Data-Intensive Systems:Real-time Stream Processing

SparkStreamingSparkStreamingisaninterestingextensiontoSparkthataddssupportforcontinuousstreamprocessingtoSpark.SparkStreamingisinactivedevelopmentatUCBerkeley'samplabalongsidetherestoftheSparkproject
macyang·2020-06-24 13:44

Spark学习笔记（三）-Spark Streaming

SparkStreaming支持实时数据流的可扩展（scalable）、高吞吐（high-throughput）、容错（fault-tolerant）的流处理（streamprocessing）。
萨姆大叔·2020-06-24 11:00

kafka角色模型与核心概念

流式处理：kafka支持流式处理框架（SparkStreaming、Stor
LiryZlian·2020-06-24 11:07

sparkstreaming实现hdfs目录的监控，并实时写入hbase

部署环境参考https://blog.csdn.net/luoye4321/article/details/99745877代码如下：importorg.apache.hadoop.hbase.HBaseConfigurationimportorg.apache.hadoop.hbase.client.Putimportorg.apache.hadoop.hbase.io.ImmutableByt
落叶1210·2020-06-24 10:51

kudu性能优化

一.背景一个实时业务，数据流app->nginx->lua->kafka->sparkstreaming->kudu->zepplin。打开zepplin，实时数据出不来。看不到。
longxibendi·2020-06-24 08:53

大数据实战之Spark Streaming整合Flume

SparkStreaming与flume做整合的时候,一定要先去官网上查看可兼容的版本号http://spark.apachecn.org/docs/cn/2.2.0/streaming-flume-integration.html
码动乾坤·2020-06-24 08:21

使用SparkStreaming完成词频统计,并将结果写入MySQL,黑名单过滤

foreachRDD设计模式的使用dstream.foreachRDD是一个强大的原语,允许将数据发送到外部系统.但是,了解如何正确有效地使用这个原语很重要.避免一些常见的错误如下.通常向外部系统写入数据需要创建连接对象（例如与远程服务器的TCP连接）,并使用它将数据发送到远程系统.为此,开发人员可能会无意中尝试在Sparkdriver中创建连接对象,然后尝试在Spark工作人员中使用它来在RDD
码动乾坤·2020-06-24 08:21

基于Kafka+SparkStreaming+HBase实时点击流案例

背景Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据，并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑，Spark1.3版本后支持两种整合Kafka机制（Receiver-basedApproach和DirectApproach），具体细节请参考文章最后官方文档链接，数据存储使用HBase实现思路实现Kafka消息生产者模拟器Spark-Streaming采用DirectA
阿甘run·2020-06-24 08:33

Spark源码解析：DStream

0x00前言本篇是Spark源码解析的第二篇，主要通过源码分析SparkStreaming设计中最重要的一个概念——DStream。
木东居士·2020-06-24 06:56

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统

解决方法：基于Flume+Kafka+SparkStreaming的框架对这些任务的输出日志进行实时监控，当检测到日志出现Error的信息就发送邮件给项目的负责人。
linge1995·2020-06-24 05:53

大数据系列第二课：scala基础

第一阶段：Sparkstreaming、sparksql、kafka、spark内核原理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能优化（精通spark内核、运行原理
kxr0502·2020-06-24 01:05

大数据系列第一课：scala基础

第一阶段：Sparkstreaming、sparksql、kafka、spark内核原理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能优化（精通spark内核、运行原理
kxr0502·2020-06-24 01:04

Spark介绍（三）SparkStreaming

一、SparkStreaming简介SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP套接字）
kxiaozhuk·2020-06-24 01:58

spark学习笔记3

SparkStreamingProgrammingGuideOverviewAQuickExampleBasicConceptsLinkingInitializingStreamingContextDiscretizedStreams
keny风清扬·2020-06-24 00:28

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

Spark入门实战系列--7.SparkStreaming--实时流计算SparkStreaming原理介绍【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1
Tiger-Li·2020-06-24 00:39

java8实现spark streaming的wordcount

1.导入了SparkStreaming类org.apache.sparkspark-streaming_2.112.0.02.代码示例//注意
_delin·2020-06-23 20:55

容器化Docker、Elasticsearch全文搜索实战

2.一线大厂是如何做Kafka+SparkStreaming+ES联合解决方案及架构演进；3.使用阿里云服务器在线实现Docker容器化部署；4.
icodingedu·2020-06-23 17:20

2020年最新大数据面试题，你都会吗？

1.阐述Flink如何处理反压，相比Storm，SparkStreaming提供的反压机制，描述其实现有什么不同？
小晨说数据·2020-06-23 16:01

linux下nohup日志输出过大问题解决方案

最近在一hadoop测试集群运行一个sparkstreaming程序，然后使用nohup.
tuuuuski·2020-06-23 16:44

SparkStreaming中SparkUI中显示stage skipped的原因

在spark的首页ui上经常显示任务和Stage被skipped，如以下截图所式：本文将阐述什么情况下Stage或者Task会显示为skipped，以及stage和task显示为skipped的时候是否sparkapplication执行会出问题？SparkJob的ResultStage的最后一个Task成功执行之后，DAGScheduler.handleTaskCompletion方法会发送Sp
huanghanqian·2020-06-23 15:49

[Flume进阶]--七牛是如何搞定每天500亿条日志的

archives/39287月30日，七牛数据平台工程师王团结在CSDNSpark微信用户群，与近千名Spark技术开发人员，结合七牛内部使用的数据平台，深入分享了团队是如何利用Flume、Kafka、SparkStreaming
highfei2011·2020-06-23 14:08

94、Spark Streaming之与Spark SQL结合使用之top3热门商品实时统计案例实战

与SparkSQL结合使用SparkStreaming最强大的地方在于，可以与SparkCore、SparkSQL整合使用，之前已经通过transform、foreachRDD等算子看到，如何将DStream
ZFH__ZJ·2020-06-23 14:18

[flow]Kafka+Spark Streaming+Redis实时计算整合

Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2
葡萄喃喃呓语·2020-06-23 14:48

Spark大数据平台

第三周、Spark进阶第四周、基于Spark的流处理框架：SparkStreaming第五周、Shark介绍与使用第六周、MachineLearningonSpark第七周、Spark多语言编程第八周、
hadoopshow·2020-06-23 12:29

增加spark 并行度方式

1SparkStreaming增大任务并发度Q：在SparkStreaming中，增大任务并发度的方法有哪些？
guangshuishi·2020-06-23 11:01

Spark--sparkStreaming

概述SparkStreaming是核心SparkAPI的扩展，可实现可扩展、高吞吐量、可容错的实时数据流处理。
名字随便喽·2020-06-23 10:59

（六）Spark——Spark Streaming

目录一、SparkStreaming概述1.SparkStreaming是什么2.SparkStreaming特点3.SparkStreaming架构3.1背压机制二、DStream入门1.WordCount
fseast·2020-06-23 09:27

Spark--06 SparkStreaming kafka消息堆积

问题：当应用由于各种其它因素需要暂停消费时，下一次再次启动后就会有大量积压消息需要进行处理，此时为了保证应用能够正常处理积压数据，需要进行相关调优。另外对于某个时刻，某个topic写入量突增时，会导致整个kafka集群进行topic分区的leader切换，而此时Streaming程序也会受到影响。所以针对以上问题我们进行了如下调优：spark.streaming.concurrentJobs=10
envinfo2012·2020-06-23 06:34

第106课： Spark Streaming电商广告点击综合案例黑名单过滤实现

第106课：SparkStreaming电商广告点击综合案例黑名单过滤实现/*王家林老师授课http://weibo.com/ilovepains每天晚上20：00YY频道现场授课频道68917580*
段智华·2020-06-23 05:36

spark streaming消费kafka

SparkStreaming消费kafka有两种形式,这里使用noreceivers方式：使用noreceivers方式消费kafkaspark版本：2.4.0-cdh6.2.0使用sparkstreaming
drinkatmoon·2020-06-23 05:47

（基于最新的Kafka version 0.10.2 new consumer API ）想要Spark Streaming精确一次消费Topic？拿去不谢，记得点赞和分享！

本文基于Spark2.1.0、Kafka0.10.2、Scala2.11.8版本背景：Kafka做为一款流行的分布式发布订阅消息系统，以高吞吐、低延时、高可靠的特点著称，已经成为SparkStreaming
俺是亮哥·2020-06-23 04:16

大数据学习笔记之Spark（四）：Spark Streaming概述

文章目录小笔记第1章SparkStreaming概述1.1什么是SparkStreaming1.2为什么要学习SparkStreaming1.3Spark与Storm的对比第2章运行SparkStreaming2.1IDEA
Leesin Dong·2020-06-23 03:15
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他