sparkstreaming

SparkStreaming(二)--SparkStreaming整合Kafka

1.环境CDH5.16.1Spark2.3.0.Cloudera42.SparkStreaming整合Kafka地址：http://spark.apache.org/docs/2.3.0/streaming-kafka-integration.html
大数据小码农·2020-02-02 23:00

SparkStreaming(一)--核心概念及算子

1.环境CDH5.16.1Spark2.3.0.cloudera42.核心概念官网：https://spark.apache.org/docs/2.3.0/streaming-programming-guide.htmlGitHub：https://github.com/apache/spark2.1StreamingContext第一点classStreamingContextprivate[s
大数据小码农·2020-02-02 22:00

『_海纳百川』1 Spark Streaming 透彻理解之一

1.SparkStreaming另类实验与SparkStreaming本质解析-听风居士-博客园http://www.cnblogs.com/zhouyf/p/5471477.html1SparkStreaming
葡萄喃喃呓语·2020-02-01 19:57

深度:Hadoop对Spark五大维度正面比拼！

如果想批处理流量数据，并将其导入HDFS或使用SparkStreaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLLib会更好地满足您的需求吗?
Alukar·2020-02-01 16:54

Spark Streaming流计算核心概念

一.DStreams【离散流】DStreams或离散流是SparkStreaming提供的基本抽象。它表示连续的数据流，可以是从源接收的输入数据流，也可以是通过转换输入流生成的已处理数据流。
云山之巅·2020-02-01 10:00

1 Spark Streaming 透彻理解之一

本文内容基于Spark最新版1.6.1Spark最初只有SparkCore，通过逐步的发展，现在已扩展出SparkSQL、SparkStreaming、SparkMLlib(machinelearning
海纳百川_spark·2020-02-01 04:00

使用IDEA运行sparkStreaming时报错Exception in thread "main" java.lang.NullPointerException

使用IDEA运行sparkStreaming时报错Exceptioninthread"main"java.lang.NullPointerExceptionExceptioninthread"main"java.lang.NullPointerExceptionatjava.io.Reader
yimengtianya1·2020-02-01 00:03

spark学习笔记

1.4、SparkStreaming对实时
seafreak·2020-01-31 02:36

spark streaming读取kakfka数据手动维护offset

在sparkstreaming读取kafka的数据中，sparkstreaming提供了两个接口读取kafka中的数据，分别是KafkaUtils.createDstream，KafkaUtils.createDirectStream
泡椒炒甜瓜·2020-01-30 23:00

spark学习（四）spark基本原理及安装

YARN都是资源调度管理器HDFS：分布式系统存储组件S3：亚马逊提供的云端的简单的存储服务Tachyon：基于内存的分布式文件系统SparkCore：复杂批量数据处理，取代MapReduceHiveSparkStreaming
寂天风·2020-01-28 20:00

Spark Streaming 数据限流简述

  SparkStreaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理；  流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界
·2020-01-24 00:00

Spark Streaming数据限流简述

  SparkStreaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理；  流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界
AiFly·2020-01-19 20:00

分布式大数据系统概览（HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph）

本博文主要对现如今分布式大数据处理系统进行概括整理，相关课程为华东师范大学数据科学与工程学院《大数据处理系统》，参考大夏学堂，下面主要整理HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming
华师数据学院·王嘉宁·2020-01-10 15:17

Flink结合Kafka简单实战应用

二、概念说明  （一）Flink流处理任务的逻辑视图  同SparkStreaming、Storm等流计算引擎一样，Flink的数据处理组件也被分为三类：数据输入（source）、数据处理（transforma
曾小健_0532·2020-01-08 20:19

18. Storm基础

企业中典型实时分析框架搭建模式：Flume+Kafka+Storm+Hbase，对这类要求分析结果能妙级甚至毫秒级反馈的场景，需要用专门的实时分析框架，例如Storm和SparkStreaming。
奉先·2020-01-08 15:13

Spark Streaming

1.SparkStreaming概述1.1什么是SparkStreamingSparkStreaming类似于ApacheStorm，用于流式数据的处理。
九世的猫·2020-01-08 07:03

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
Alukar·2020-01-06 21:49

spark从入门到放弃四十八:Spark Streaming(8)基于kafka 的实时计算

的方式这种方式使用receiver来获取数据，Receiver是使用kafka的高层次ConsumerApi来实现的，receiver从kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming
意浅离殇·2020-01-06 04:09

SparkStreaming+Kafka 实现统计基于缓存的实时uv

我的原创地址：https://dongkelun.com/2018/06/25/KafkaUV/前言本文利用SparkStreaming+Kafka实现实时的统计uv，即独立访客，一个用户一天内访问多次算一次
董可伦·2020-01-05 20:30

基于Storm构建实时热力分布项目实战

本章将从如下几个方面让大家对于Storm有宏观上的认识：什么是Storm、Storm的发展史、Storm对比Hadoop的区别、Storm对比SparkStreaming的区别、Storm的优势、Storm
陈智键·2020-01-05 03:31

4 Spark Streaming的Exactly-One的事务处理

从事务视角解密SparkStreaming架构：SparkStreaming应用程序启动，会分配资源，除非整个集群硬件资源崩溃，一般情况下都不会有问题。
海纳百川_spark·2020-01-05 03:20

Spark Streaming

介绍许多应用需要处理及时收到的数据，SparkStreaming是Spark为这些应用而设计的模型。
raincoffee·2020-01-04 21:04

jstorm和spark-streaming的区别

大部分时候大家在选择技术方案的时候还是比较迷茫，是该选择JStorm还是SparkStreaming？一般会流于一些并不重要问题的讨论，最后做出目光非常短浅的选择，几个月之后再改变技术方案。
男人三饼·2020-01-04 11:54

美团点评基于 Flink 的实时数仓平台实践

2017年初，我们引入了SparkStreaming用于特定场景的支持，主要是在数据同步场景方面的尝试。在2017年底，美团点评实时计算平台引入了Flink。
阿里云云栖号·2020-01-04 10:53

如何优雅的停止SparkStreaming应用进程

问题流式计算时需要中断程序，可能会造成当前正在处理的数据丢失，或者重复处理解决对于spark-streaming在spark-default.conf中配置：spark.streaming.stopGracefullyOnShutdowntrue使用kill-15关闭spark应用进程实际使用中发现需要特别长时间才能完全关闭，对于我，看到日志中executor进程已经关闭，再使用kill-9强制关
祗談風月·2020-01-03 18:27

Spark Streaming和Kafka整合是如何保证数据零丢失

转载：https://www.iteblog.com/archives/1591.html当我们正确地部署好SparkStreaming，我们就可以使用SparkStreaming提供的零数据丢失机制。
xiaolaotou·2020-01-03 14:00

Spark Streaming源码解读之No Receivers彻底思考

企业级SparkStreaming应用程序开发中在越来越多的采用NoReceivers的方式。NoReceiver方式有自己的优势，比如更大的控制的自由度、语义一致性等等。
阳光男孩spark·2020-01-03 12:28

如何学习分布式系统？一文全Get！

hadoop生态系统，从hdfs到hbase，从mapreduce到spark，从storm到sparkstreaming,heron,flink等等，如何在开源的汪洋中不会迷失自己？
小牛学堂·2020-01-02 22:49

我所看到的sparkstreaming

SparkStreaming一.简介1.sparkstreaming简介sparkstreaming是流式处理框架,是sparkAPI的扩展,支持可扩展,高吞吐量.容错的准实时数据流处理数据来源可以是:
つ〆以往的誓言゛·2020-01-02 16:00

使用Spark SQL 构建流式处理程序

StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化前言今天介绍利用StreamingPro构建流式(SparkStreaming)计算程序准备工作下载StreamingProREADME
祝威廉·2020-01-02 10:17

spark向kafka写入数据(转)

前言在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka
生活的探路者·2020-01-02 03:33

spark-streaming+kafka实战

本文git地址,转载请注明，感谢1.接收数据用sparkstreaming流式处理kafka中的数据，第一步当然是先把数据接收过来，转换为sparkstreaming中的数据结构Dstream。
lu_yao·2020-01-02 02:25

“五招” 迅速提升你的流处理程序

今天解读的内容是来自SparkSummitEast2017关于SparkStreaming应用程序开发的一个介绍：WhatNoOneTellsYouAboutWritingaStreamingApp。
大数据技术峰会解读·2020-01-01 18:30

流式实时日志分析系统

在本次实践中，我们将基于SparkStreaming流式计算框架，简单地实现一个类似于百度分析的系统。知识点简述Python模拟生成Nginx日志Spar
羽恒·2020-01-01 11:06

4.Apache Spark的工作原理

1WhyApacheSpark2关于ApacheSpark3如何安装ApacheSpark4ApacheSpark的工作原理5spark弹性分布式数据集6RDD持久性7spark共享变量8SparkSQL9SparkStreaming
全能程序猿·2020-01-01 06:49

Java Spark 简单示例（五）Spark Streaming

官方介绍SparkStreaming是SparkAPI核心的扩展，支持实时数据流的可扩展，高吞吐量，容错流处理。
憨人Zoe·2020-01-01 03:14

Spark Streaming 数据计算阶段分析

—————☼—————☼—————☼—————☼—————☼—————SparkStreaming概述SparkStreaming初始化过程SparkStreamingReceiver启动过程分析SparkStreaming
荒湖·2020-01-01 00:57

184、Spark 2.0之Spark 2.x与1.x对比以及分析

Spark2.x与1.x对比Spark1.x：SparkCore（RDD）、SparkSQL（SQL+Dataframe+Dataset）、SparkStreaming、SparkMLlib、SparkGraphxSpark2
ZFH__ZJ·2019-12-31 21:48

16 Spark Streaming源码解读之数据清理

SparkStreaming程序的运行，不断的产生job，不断的生成RDD、不断的接收数据存储数据，不断的保存元数据等，如果不清理这些数据，内存和磁盘空间都会崩溃，看一下SparkStreaming是如何做清理工作的
海纳百川_spark·2019-12-31 20:18

Spark Streaming源码解读之Driver容错安全性

从数据层面，ReceivedBlockTracker为整个SparkStreaming应用程序记录元数据信息。
阳光男孩spark·2019-12-31 10:38

storm 学习（三）与 spark streaming 比较

一、按点对比对比点StormSparkStreaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级秒级吞吐量areneat
Graceleeman·2019-12-31 09:35

再谈Spark Streaming Kafka反压

0x01前言上篇文章SparkStreaming和Kafka集成深入浅出介绍了SparkStreaming的基本内容及和kafka的集成，其中也提到了开启反压的缘由：一个批次的数据应该在一个批次内处理完
data之道·2019-12-31 07:46

项目简介

这个项目是基于sparkstreaming的日志分析系统,每分钟提交一次job,统计一分钟内的日志信息,同时也需要统计15分支内的异常ip信息.下面就来介绍下什么是sparkstreaming吧.sparkstreaming
PigPIgAutumn·2019-12-31 00:00

Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握

2.SparkStreaming整个运行角度的基本的情况sparkstreaming写程序基于Driver和Executor两部分，Driver的核心
阳光男孩spark·2019-12-30 22:47

解决：kafka.serializer.StringDecoder导入报红的问题

问题背景：在进行SparkStreaming对接Kafka，采用Direct方式的时候，StringDecoder要导入kafka.serializer.StringDecoder，怎么也导入不进去，Image1
Sam_L·2019-12-29 20:45

解决spark streaming日志不断增长问题

sparkstreaming在yarn-client或者本地local执行的时候，由于长时间运行日志会越来越多，查看起来很不方便，可以利用log4j对sparkstreaming的日志进行配置。
CarsonCao·2019-12-29 15:50

如何优雅地关闭SparkStreaming

参考2（已经过时）给出来一个方法，在scala中sys.ShutdownHookThread可以捕获SIGTERM方法，所以当收到kill-SIGTERM时，能够优雅的退出；defmain(args:Array[String]){//Prepareyourenvironmentvalssc=newStreamingContext(conf,Seconds(batchDurationInSec))/
分裂四人组·2019-12-29 05:11

kafka监听mysql实时数据变更

在做报表数据统计时，我们用的是mysql+kafka+SparkStreaming方案，kafka监听mysql订单表中订单状态，然后发送到sparkstreaming中进行分析统计。
张凯_9908·2019-12-29 03:24

Spark Streaming Dynamic Resource Allocation

ProblemStatementDRAhasalreadybeenimplementedsinceSpark1.2.HowevertheexistingSparkDRAonYarnimplementationdoesnotembodythespecificpropertyofSparkStreaming.SparkDRAworkswhentherearesomeexecutorsbeingidle
祝威廉·2019-12-28 22:57

Spark Streaming 实现原理

SparkStreaming实现思路SparkStreaming与SparkCore的关系可以用下面的经典部件图来表述：可以看到SparkStreaming是建立在SparkCore基础上的，所以DStream
灯火gg·2019-12-28 10:17
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他