Sparkstreaming

Elasticsearch顶尖高手系列课程

相对于SparkStreaming、Storm等大数据实时
wsr2014·2020-06-29 20:16

中国移动运营分析实时监控平台之SparkStreaming实时数据分析并将最后结果存储到redis中

首先解析数据格式，从标签体系库中截取出需要的字段值，使用SparkStreaming的对抽取出来的属性加以处理。1）统计每个市的充值失败的次数，并以地图的方式显示数据的分布情况。
wlk_328909605·2020-06-29 19:32

spark读取kafka两种方式的区别

使用directStream，SparkStreaming将创建与要消费的Kafka分区一样多的RDD分区，这将从Kafka并行读取数据。因此，Kafk
wisgood·2020-06-29 19:59

SparkStreaming15(DStreams的转换、容错机制)

文章目录DStreams的转换1、无状态转换操作2、有状态转化操作3、WindowOperationssparkStreaming的容错检查点机制驱动器程序容错工作节点容错接收器容错处理保证DStreams
Bitmao888·2020-06-29 16:25

SparkStreaming14（Kafka数据源与spark对接）

CreateDirectStream方式Apchekafka数据源0.10版本对接ApacheKafka数据源0.8版本对接方式kafka作为一个实时的分布式消息队列，实时的生产和消费消息，这里我们可以利用SparkStreaming
Bitmao888·2020-06-29 16:24

sparkSQL13（DStream操作实战、数据源）

文章目录DStream操作实战1、架构图2、实现流程3、执行查看效果sparkStreaming数据源1、文件数据源2、自定义数据源3、RDD队列DStream操作实战1SparkStreaming接受
Bitmao888·2020-06-29 16:54

SparkStreaming12（介绍和原理）

文章目录SparkStreaming介绍SparkStreaming原理与架构DStream相关操作SparkStreaming介绍什么是SparkStreamingSparkStreaming类似于ApacheStorm
Bitmao888·2020-06-29 16:54

Spark Streaming基础案例实现

文件流在文件流的应用场景中，需要编写SparkStreaming程序，一直对文件系统的某个目录进行监听，一旦发现有新的文件生成，SparkStreaming就会自动把文件内容读取过来，使用用户自定义的处理逻辑进行处理套接字流
忌颓废·2020-06-29 14:50

用spark streaming实时读取hdfs数据并写入elasticsearch中

1、写sqoop脚本将mysql数据定时导入到hdfs中，然后用sparkstreaming实时读取hdfs的数据，并把数据写入elasticsearch中2、代码：packagecom.bigdataimportorg.apache.spark
小帅热爱难回头·2020-06-29 14:42

SparkStreaming整合Flume

文章目录案例一、Flume-stylePush-basedApproach案例二、Push-basedApproachusingaCustomSinkSparkStreaming整合Flume有两种方式
唉.·2020-06-29 12:54

SparkStreaming应用案例

本文将会介绍四个Demo案例，分别是updateStateByKey算子的使用，SparkStreaming写入MySQL，窗口函数使用和黑名单过滤。。。
唉.·2020-06-29 12:54

Spark Streaming 数据清理机制

这个内容我记得自己刚接触SparkStreaming的时候，老板也问过我，运行期间会保留多少个RDD?当时没回答出来。后面在群里也有人问到了，所以就整理了下。文中如有谬误之处，还望指出。
牛逸凡·2020-06-29 06:58

什么是Spark Streaming, 为什么要学Spark Streaming, Spark Streaming和Strom有什么区别 27

1.什么是SparkStreamingSparkStreaming类似于ApacheStrom,用于流式数据的处理.根据其官网解释,SparkStreaming有着高吞吐量和高容错的特点.SparkStreaming
啊策策·2020-06-29 05:44

[源码]Spark Streaming--Spark源码走读12——

Spark源码走读12——SparkStreaming-峰哥的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/huwenfeng_2011/article/details/43371325SummarizeSparkStreaming
葡萄喃喃呓语·2020-06-29 05:54

知识图谱平台架构

使用数据/消息中间件+SparkStreaming批量接收处理；hbase存储源数据；关系数据存入图数据库Janusgraph。
BottomLao·2020-06-29 05:59

如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS(转载)

原文地址：https://cloud.tencent.com/developer/article/1078494一、概况在Kafka集群实际应用中，Kafka的消费者有很多种（如：应用程序、Flume、SparkStreaming
PZ~浪味仙·2020-06-29 03:32

SparkSQL 学习笔记---SparkStreaming

一、大数据实时计算原理二、SparkStreaming1、SparkStreaming简介SparkStreaming是SparkCoreAPI的一种扩展，可以用于进行大规模，高吞吐，容错的实时数据流的处理
PZ~浪味仙·2020-06-29 03:32

Spark Streaming整合flume实战

flume作为日志实时采集的框架，可以与SparkStreaming实时处理框进行对接，flume实时产生数据，sparkStreaming做实时处理。
NicholasEcho·2020-06-29 01:21

互联网面试问题以及答案20200508

(之后提问跟回答密切相关)2.项目中提到sparkstreaming和spark，具体介绍一下技术3.spark中常见算子，哪些算子会导致shuffle，groupbykey和reducebykey的区别
庄小焱·2020-06-29 01:40

SparkStreaming

流（Streaming），在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。日常工作、生活中数据来源很多不同的地方。例如：工业时代的汽车制造、监控设备、工业设备会产生很多源数据；信息时代的电商网站、日志服务器、社交网络、金融交易系统、黑客攻击、垃圾邮件、交通监控等；通信时代的手机、平板、智能设备、物联网等会产生很多实时数据，数据流无处不
weixin_40652340·2020-06-29 00:22

把SparkStreaming版本的wordcount写入mysql数据库

packagesparkstreamday01.SparkStreamimportjava.sql.{Connection,DriverManager,PreparedStatement,ResultSet}importorg.apache.log4j.{Level,Logger}importorg.apache.spark.SparkConfimportorg.apache.spark.rdd.
Rockefeller8888·2020-06-28 23:29

SparkStreaming读取kafka两种方式对比

SparkStreaming读取kafka两种方式对比Direct方式连接kafka数据不同于receiver方式，direct方式与kafka的partition一一对应，有多少个partition就有多少个
天街小雨入江南·2020-06-28 22:55

sparkStreaming读取kafka的两种方式

第一个是：Receiver-base基于Receiver的kafka数据消费模式就是先把数据从kafka中读取出来然后缓存到内存然后再定时处理。这里要引入一个参数配置spark.streaming.receiver.writeAheadLog.enable防止集群闪退偏移量没做好造成数据丢失。Receiver-basedekafka读取模式是基于Kafka的高阶（high-level）api来实现
王春星·2020-06-28 22:26

Spark Streaming - Block数据存储

之前介绍了在SparkStreaming的环境中，如何启动Receiver进行数据接收，那么当我们Receiver启动了之后，就会进行数据接收，接受的数据就会进行相应的存储等待后续的计算Job进行调用(
regrecall·2020-06-28 22:22

电商用户行为分析大数据平台

数据分析师管理分析现有状况改进产品设计调整公司战略业务提升业绩营业额以及市场占有率提升技术简介业务模块用户访问session分析页面单跳转转化率统计热门商品离线统计广告流量实时统计技术Spark离线计算和实时计算业务SparkCoreSparkSQLSparkStreaming
oifengo·2020-06-28 22:14

kafka：如何收集项目日志统一发送到kafka中？

上一篇（http://qindongliang.iteye.com/blog/2354381）写了收集sparkstreaming的日志进入kafka便于后续收集到es中快速统计分析，今天就再写一篇如何在普通应用程序实时收集日志
花和尚也有春天·2020-06-28 21:29

spark：sparkstreaming 0.10版本 从 kafka 采集数据，并存储到 Hbase Demo示例

pom：4.0.0com.tzb.bigdataspark-testpom-->1.0-->hbase-->-->2.10.62.6.0org.apache.sparkspark-core_2.112.1.1org.apache.sparkspark-sql_2.112.1.1-->org.apache.spark-->spark-sql_2.10-->1.6.0-->-->org.apache.
花和尚也有春天·2020-06-28 21:15

spark：sparkstreaming 0.08版本 从 kafka 采集数据，并调用HTTP接口传参

pom：4.0.0com.tzb.bigdataspark-testpom-->1.0-->hbase-->-->2.10.62.6.0org.apache.sparkspark-core_2.112.1.1org.apache.sparkspark-sql_2.112.1.1-->org.apache.spark-->spark-sql_2.10-->1.6.0-->-->org.apache.
花和尚也有春天·2020-06-28 21:15

【Python3实战Spark大数据分析及调度】第9章 Spark Streaming

SparkStreaming概述SparkStreaming是SparkCore的扩展，能够水平扩展，高吞吐量，有容错机制的进行对实时数据进行流处理。
Melo丶·2020-06-28 21:17

第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础

11-1-课程目录基于SparkSteaming&Flume&kafka打造通用流处理平台整合日志框架输出到flume整合flume到kafka整合kafka到sparkstreamingsparkstreaming
weixin_SAG·2020-06-28 21:47

logback输出日志到elasticsearch方案

com.suncreatelog-lib1.0.0-SNAPSHOT第二步：启动的时候在命令行设置-Des.addre=ip1:port,ip2:port,ip3:port,-Dspring.application.name=自己的服务名功能二：sparkstreaming
毛毛虫之路·2020-06-28 19:57

Spark Streaming之五：Window窗体相关操作

SparkStreaming之window滑动窗口应用，SparkStreaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。
weixin_34396103·2020-06-28 18:13

阿里重磅开源 Blink：为什么我们等了这么久？

今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和API诸如SparkStreaming、KafkaStreaming、Beam和Flink持续火爆。
weixin_34198453·2020-06-28 13:57

云计算大数据面试题，云计算大数据面试题集锦

大数据领域数据类型1.1有界数据一般批处理(一个文件或者一批文件),不管文件多大，都是可以度量mapreducehivesparkcoresparksql1.2无界数据源源不断的流水一样(流数据)StormSparkStreaming
weixin_34109408·2020-06-28 11:43

yarn资源多租户隔离

技术栈实时计算：sparkstreaming+kafka+yarn离线计算：sparkSQL+yarn当前yarn集群资源如图image.png目前公司离线计算和实时计算都是跑在一个yarn集群，最近离线计算资源占用非常高
张志_koen_zhang·2020-06-28 11:53

Spark机器学习· 实时机器学习

2SparkStreaming离散化流(DStream)输入源：Akkaactors、消息队列、Flume、Kafka、……http://spark.apache.org/docs/latest/streaming-programming-guide
weixin_34080903·2020-06-28 10:45

Flink技术源码解析（一）：Flink概述与源码研读准备

关于Flink与其它主流实时大数据处理引擎Storm、SparkStreaming的不同与优势，可参考https://blog.csdn.net/cm_chenmin/article/details/53072498
weixin_33828101·2020-06-28 06:20

Spark Streaming实时计算框架介绍

SparkStreaming是建立在Spark上的实时计算框架，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。
weixin_30889885·2020-06-28 02:20

YARN开启Label Scheduler

SparkStreaming实时长时服务与MapRedue、Spark、Hive等批处理应用共享YARN集群资源。
我要大声告诉你·2020-06-28 01:54

SQL On Streaming

实时计算的一个方向实时计算未来会成为一个趋势，基本上所有的离线计算任务都能通过实时计算来完成，对于实时计算来算，除了性能，延迟性和吞吐量这些硬指标要求以外，我觉得易用性上面应该是未来的一个发展方向，毕竟现在的实时计算入storm，flink，sparkstreaming
FlyCynomys·2020-06-28 00:55

Spark Streaming的优化之路—从Receiver到Direct模式

SparkStreaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。
风筝Lee·2020-06-27 23:36

CDH部署StreamSets

举例，它可以将数据源从Kafka+SparkStreaming连接到你的Hadoop集群，而不需要写一行代码。StreamSets并没有集成在cdh
weixin_30650859·2020-06-27 22:37

Spark Kafka(createDirectStream)自己管理offset

1、SparkStreaming中使用Kafka的createDirectStream自己管理offset在SparkStreaming中，目前官方推荐的方式是createDirectStream方式，
wangweislk·2020-06-27 13:31

spark streaming例子

SparkStreamingProgrammingGuideOverviewAQuickExampleBasicConceptsLinkingInitializingStreamingContextDiscretizedStreams
wackycrazy·2020-06-27 12:18

大数据流处理框架介绍

本文涉及到的框架或技术有Flume,Logstash，kafka,Storm,SparkStreaming等。实时流处理的的流程与技术选型：一、日志收集由于业务系统一般
小王同学88·2020-06-27 12:57

Hadoop学习笔记（六）（Spark + Flink + Beam）

是进程级别的，Spark是线程级别的Spark生态系统：DBAS（BerkeleyDataAnalyticsStack）Mesos，HDFS，Tachyon（基于内存的文件系统），Spark（核心）自框架：SparkStreaming
无影风Victorz·2020-06-27 11:02

如何将spark streaming处理结果保存到关系型数据库中

sparkstreaming是一个分布式高可靠的准实时处理系统，其数据源可以flume、Hdfs、kafka等，其结果可以保存到关系型数据库，HDFS上。
朱智文·2020-06-27 08:25

Spark Streaming一个简单例子

楔子《Spark快速大数据分析》学习10SparkStreaming许多应用需要即时处理收到的数据，例如用来实时追踪页面访问统计的应用、训练机器学习模型的应用，还有自动检测异常的应用。
千里草竹·2020-06-27 05:55

spark-streaming direct stream的部分实现原理

今天看了一片介绍spark-streamingdirectstream的实现原理，文章在这个地址（内容加载比较慢，打开链接后等几分钟内从才能显示出来）：Exactly-onceSparkStreamingfromApacheKafka
heayin123·2020-06-27 04:30

《从0到1学习spark》-- spark前世今生

年诞生于加州大学伯克利分校AMPLab2010年开源2013年6月成为Apache孵化项目2014年2月成为Apache顶级项目目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming
小强的进阶之路·2020-06-27 04:29
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他