sparkstreaming

001_spark的前世今生

spark包含了大数据领域常见的各种计算框架：比如sparkcore用于离线计算，sparksql用于交互式查询，sparkstreaming用于实时流式计算，sparkMLlib用于机器学习，sparkGraphX
iarchitect·2019-12-08 13:03

[译]Spark Streaming编程指南（二）

链接和Spark类似，SparkStreaming通过MavenCentral提供。为编写SparkStreaming程序，需要添加下面的依赖到你的SBT或者Maven工程中。
steanxy·2019-12-08 10:20

7.Spark Streaming

SparkStreaming是Spark核心api的一个拓展，可以实现高吞吐量/具备容错机制的实时流数据的处理SparkStreaming与SparkCore的关系可以用下面的经典部件图来表述：images
山间浓雾有路灯·2019-12-08 07:48

Spark Streaming任务延迟监控及告警

概述StreamingListener是针对sparkstreaming的各个阶段的事件监听机制。
大数据技术进阶·2019-12-08 06:26

(十四)大数据学习之Scala语言

(4)SparkStreaming：类似于storm，用于流式计算、实时计算。本质：一个离线计算。Scala基础一.Scala简介1.scala是一个多范式的编程语言（支持多种方式的编程）
Movle·2019-12-07 20:16

CDH6集群详细部署过程

Linux|大数据|数据库|Git|Nodejs|Golang|电脑技巧|计算机技术大数据：CDH详细安装步骤CDH集群完全卸载过程CDH6集群详细部署过程CDH6彻底删除清空kafka基本使用及命令sparkstreaming
Harry.Wong·2019-12-07 16:22

[译]Spark Streaming编程指南（一）

概述SparkStreaming是核心SparkAPI的扩展，对实时数据流地处理具有可扩展，高吞吐量和容错特性。
steanxy·2019-12-07 02:14

Spark-Streaming获取kafka数据的两种方式：Receiver与Direct的方式

receiver从Kafka中获取的数据都存储在SparkExecutor的内存中，然后SparkStreaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢
为你变乖_09e6·2019-12-06 17:26

[译]Spark Streaming + Kafka集成指南

这里会说明如何配置SparkStreaming接收Kafka的数据。有两种方法-老方法使用Receiver和Kafka的高层API，新方法不适用Receiver。
steanxy·2019-12-06 12:10

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）
LittleMagic·2019-12-06 09:03

Spark Streaming Executor DynamicAllocation 机制分析

—————☼—————☼—————☼—————☼—————☼—————SparkStreaming概述SparkStreaming初始化过程SparkStreamingReceiver启动过程分析SparkStreaming
荒湖·2019-12-02 01:08

Spark Streaming Join

计算引擎上Join,如用SparkStreaming、Flink做Join。结果端Join，如用HBase/ES做Join,Join键做Rowkey/_id，各字段分别写入列簇、列或field。
达微·2019-12-01 01:37

Spark Streaming+Kafka

目录前言Sparkstreaming接收Kafka数据基于Receiver的方式直接读取方式Spark向kafka中写入数据Sparkstreaming+Kafka应用Sparkstreaming+Kafka
达微·2019-11-30 18:51

07 Spark 之 Spark SQL

记得15年的时候，那时还在研一，当时北京每个月都会有SparkMeetup，那时候连城还在国内，当时Spark最火的生态库是SparkStreaming（那时候SparkSQL也出现了），现在5年过去了
柳年思水·2019-11-30 08:42

运行第一个SparkStreaming程序（及过程中问题解决）

官方示例说明按照官方文档的这个示例说明，可以轻松的在本地的spark-shell环境中测试这个示例。示例，即为了更好的入门，那么就再说明一下。运行这个统计单词的方式有三种，前面两种是官方文档上的指引，第三种则是用scala程序运行。第一种方式,run-demo打开一个终端，打开一个终端，输入命令nc-lk9999，暂时叫做“nc终端”吧再打开终端，切换到SparkHOME目录，执行命令bin/ru
杜龙少·2019-11-30 03:10

SparkStreaming+Zookeeper+Kafka入门程序

准备工作：安装spark安装zookeeper安装kafka开始工作1.启动zookeeper打开终端，切换到zookeeperHOME目录，进入conf文件夹，拷贝一份zoo_sample.cfg副本并重命名为zoo.cfg切换到上级的bin目录中，执行./zkServer.shstart启动zookeeper，会有日志打印Startingzookeeper...STARTED然后用./zkSe
杜龙少·2019-11-30 02:11

08 Spark 之 Spark Streaming 和 Structured Streaming

这篇主要看下Spark流计算这块的能力，过去Spark主推的是SparkStreaming，现在开始推广StructuredStreaming，在Streaming101中是这样介绍SparkStreaming
柳年思水·2019-11-30 00:28

ES-HADOOP配置

参考使用ES-Hadoop将SparkStreaming流数据写入ES/**LicensedtoElasticsearchunderoneormorecontributor*licenseagreements.SeetheNOTICEfiledistributedwith
达微·2019-11-28 04:50

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
13157330443·2019-11-27 22:11

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
艾弗森哇·2019-11-23 16:56

SparkStreaming创建DirectStream连接kafka时策略详解

SparkKafka直接流(createDirectStream)和kafka分区每个kafka主题分区对应一个RDD分区。spark可以通过spark.streaming.kafka.maxRatePerPartition配置，对每个分区每秒接受的消息树进行控制。LocationStrategies位置策略，控制特定的主题分区在哪个执行器上消费的。在executor针对主题分区如何对消费者进行调
撸码小丑·2019-11-20 21:10

Spark 大数据分析-介绍

目录Spark的技术生态SparkcoreSparkSQLSparkstreamingMLlibGraphXSpark的基本原理ApplicationExecutorWorkerTaskJobStageDAGSchedulerTaskSchedulerRDD
sword_csdn·2019-11-17 12:32

五、spark--spark streaming原理和使用

一、spark-streaming概述1.1常用的实时计算引擎实时计算引擎也叫流式计算引擎，常用的目前有3个：1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算
隔壁小白·2019-11-15 18:27

一、spark--spark基本概述

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Sp
隔壁小白·2019-11-15 17:28

数据库(MySQL)实时同步数据到kafka

参考:(1)基于SparkStreaming+Canal+Kafka对Mysql增量数据实时进行监测分析https://blog.csdn.net/github_39577257/article/details
我在北国不背锅·2019-11-13 17:11

SparkStreaming

SparkStreaming(1)~SparkStreaming编程指南之所以写这部分内容的原因是,无论是网络上可以直接找到的资料,还是出版的书籍种种,版本大都在1.6~2.0不等,且资源零零散散,需要到处百度
千江月09·2019-11-13 16:00

趣头条基于 Flink 的实时平台建设实践

一．平台架构1.Flink应用时间线首先是平台的架构，2018年3月之前基本都是基于Storm和SparkStreaming来做的。
阿里云云栖社区·2019-11-09 13:06

实时-在线教育

第1章项目需求及架构设计1.1需求数据采集平台搭建Kafka、Zookeeper中间件准备下游SparkStreaming对接Kafka接收数据，实现vip个数统计栏目打标签功能做题正确率与掌握度的实时计算功能
清风686·2019-11-07 23:56

Spark Streaming Receiver启动过程分析

—————☼—————☼—————☼—————☼—————☼—————SparkStreaming概述SparkStreaming初始化过程SparkStreamingReceiver启动过程分析SparkStreaming
荒湖·2019-11-07 13:25

sparkstreaming 筆記

StreamingContext是SparkStreaming的入口flatMap是一种“一到多”（one-to-many）的映射算子，它可以将源DStream中每一条记录映射成多条记录扁平化ssc.start
时待吾·2019-11-07 07:02

streaming接kafka的Receiver和Direct方式

Receiver从Kafka中获取数据都是存储在SparkExecutor内存中的，然后SparkStreaming启动的job会去处理那些数据。
风暴之芽·2019-11-05 09:05

Spark读取Kafka两种方式的详细说明

Spark读取kafka的两种方式sparkstreaming提供了两种获取方式，一种是同storm一样，实时读取缓存到内存中;另一种是定时批量读取。
我在北国不背锅·2019-11-04 11:32

Spark Streaming(4) - 反压

1.前言SparkStreaming在处理不断流入的数据时通过每间隔一段时间(batchinterval)将这段时间内的流入的数据积累为一个batch，然后以这个batch内的数据作为jobDAG的输入
aaron1993·2019-11-04 01:19

Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

从这节课开始，简介SparkStreaming的状态管理。
阳光男孩spark·2019-11-03 13:07

14：Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

SparkStreaming提供了两种方法：updateStateByKey和mapWithState。mapWithState是1.6版本新增功能，目前属于实验阶段。mapWithState具官方说
飞帅记忆·2019-11-03 10:30

18 Spark Streaming程序的优雅停止

SparkStreaming程序的停止可以是强制停止、异常停止或其他方式停止。
海纳百川_spark·2019-11-01 23:05

Spark Streaming概述

—————☼—————☼—————☼—————☼—————☼—————SparkStreaming概述SparkStreaming初始化过程SparkStreamingReceiver启动过程分析SparkStreaming
荒湖·2019-11-01 21:00

Spark Streaming任务延迟监控及告警

概述StreamingListener是针对sparkstreaming的各个阶段的事件监听机制。
XIAO的博客·2019-11-01 14:00

Spark Streaming 1.6 流式状态管理分析

这篇文章会详细介绍SparkStreaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。
祝威廉·2019-11-01 09:52

数据仓库基础架构

数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上消息系统：可以加入Kafka防止数据丢失实时计算：实时计算使用SparkStreaming消费Kafka
会笑的柠檬·2019-11-01 02:26

Spark Core 解析：RDD

引言SparkCore是Spark的核心部分，是SparkSQL，SparkStreaming，SparkMLlib等等其他模块的基础,SparkCore提供了开发分布式应用的脚手架，使得其他模块或应用的开发者不必关心复杂的分布式计算如何实现
Liam·2019-10-30 05:25

SparkStreaming 整合kafka实例

kafka基础核心概念下面介绍Kafka相关概念,以便运行下面实例的同时，更好地理解Kafka.BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而
zh_gws·2019-10-23 09:00

spark笔记第一天 （安装、组件）

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计
明檬 初见·2019-10-22 19:24

Spark Streaming处理文件(本地文件以及hdfs上面的文件)

标题介绍文件流之前先介绍一下Dstream下面是来自官网一段的说明，DiscretizedStreams或DStream是SparkStreaming提供的基本抽象。
zh_gws·2019-10-22 14:12

SparkStreaming踩坑之Kafka重复消费

原文链接：https://blog.csdn.net/xianyuxiaoqiang/article/details/867002991.问题描述使用SparkStreaming连接Kafka的demo
lvtula·2019-10-22 10:58

Spark Streaming消费Kafka Direct方式数据零丢失实现

原文链接：https://www.cnblogs.com/ChouYarn/p/6235823.html使用场景SparkStreaming实时消费kafka数据的时候，程序停止或者Kafka节点挂掉会导致数据丢失
lvtula·2019-10-22 10:23

基于Spark的电影推荐系统（推荐系统~7）

SparkStreaming+kakfa##开始Coding步骤一：在streaming包
liuge36·2019-10-21 13:00

基于Spark的电影推荐系统（推荐系统~7）

2.SparkStreaming+kakfa开始Coding步骤一：在streaming包下，新建PopularMovies2packagecom.csylh.reco
留歌36·2019-10-20 22:45

Spark学习笔记(一)

2.易用：支持多种语言3.通用：SparkCore、SparkSQL、SparkStreaming（流式计算）4.兼容性好：完全兼容HadoopSpar
Jayboy.chen·2019-10-19 09:56

SparkStreaming整合Flume的pull报错解决方案

先说下版本情况：Spark2.4.3Scala2.11.12Flume-1.6.0Flume配置文件：simple-agent.sources=netcat-sourcesimple-agent.sinks=spark-sinksimple-agent.channels=memory-channel#Describe/configurethesourcesimple-agent.sources.n
彪悍大蓝猫·2019-10-17 03:50
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他