sparkstreaming

SparkStreaming流处理

一、SparkStreaming的介绍1.流处理流式处理(StreamProcessing)。流式处理就是指源源不断的数据流过系统时，系统能够不停地连续计算。
erererer·2018-02-25 16:00

SparkStreaming入门教程(三)高级输入源：Flume、Kafka整合SparkStreamigaming

SparkStreaming+KafkaSparkStreaming整合Kafka有两种方式，一种是基于接收器的方法，另一种是直接方法（无接收器）。
胖滚猪学编程·2018-02-25 11:52

Spark+RedisPool

一个实时项目需要用到Kafka+Sparkstreaming+Redis，在sparkstreaming中将计算结果实时存入redis，由于是分布式计算，创建redispool的时候出现无法序列化的问题
leebhing·2018-02-25 10:39

Spark Streaming 2.2.1 处理Kafka数据源的实战准备

SparkStreaming2.2.1处理Kafka数据源的实战准备Kafka是一种高吞吐量的分布式发布订阅消息系统，SparkStreaming读取Kafka数据支持二种方式：Receiver方式和NoReceivers
段智华·2018-02-24 15:09

SparkSteaming运行流程分析以及CheckPoint操作

本文主要通过源码来了解SparkStreaming程序从任务生成到任务完成整个执行流程以及中间伴随的checkpoint操作注：下面源码只贴出跟分析内容有关的代码，其他省略1结论先行SparkStreaming
_和_·2018-02-23 19:12

Spark 2.2.1 处理HDFS文件数据源的案例与解读

Spark2.2.1处理HDFS文件数据源的案例与解读上一节讲解了从Sockets获取数据，SparkStreamingContextAPI还提供了从其他基础数据源创建DStream实例的方法，这里以文件数据源作为例子
段智华·2018-02-23 15:22

Spark Streaming 2.2.1 处理TCP数据源的案例与解读

SparkStreaming2.2.1处理TCP数据源的案例与解读本节讲解SparkStreaming处理TCP数据源的案例。(一)准备工程，并构建测试类。
段智华·2018-02-22 21:41

sparkstreaming之使用Spark Streaming完成有状态统计

{Seconds,StreamingContext}/***使用SparkStreaming完成有状态统计*/objectStatefulWordCount{defmain(args:Array[String
羽翼天宇·2018-02-17 23:25

Spark Streaming之使用Spark Streaming完成词频统计，并将结果写入到MySQL数据库中

{Seconds,StreamingContext}/***使用SparkStreaming完成词频统计，并将结果写入到MySQL数据库中*/objectFo
羽翼天宇·2018-02-17 23:57

深入理解Spark Streaming流量控制及反压机制

目录流量控制简介SparkStreaming流控基本设置SparkStreaming反压机制的具体实现动态流量控制器基于PID机制的速率估算器通过RPC发布流量阈值借助Guava令牌桶完成流量控制TheEnd
zhifeng687·2018-02-09 18:14

SparkStreaming滑动窗口应用

Spark-Streaming之window滑动窗口应用，SparkStreaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。
dreamershi·2018-02-07 19:18

SparkStreaming滑动窗口应用

Spark-Streaming之window滑动窗口应用，SparkStreaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。
dreamershi·2018-02-07 19:18

Cloudera Engineering Blog 翻译：Offset Management For Apache Kafka With Apache Spark Streaming

SparkStreaming应用从Kafka中获取信息是一种常见的场景。从Kafka中读取持续不断的数据将有很多优势，例如性能好、速度快。
albert--weixin·2018-02-06 15:55

sparkstreaming整合kafka参数设置，message偏移量写入redis

kafka高级数据源拉取到spark，偏移量自我维护写入到redis,建立redis连接池。需要导入org.apache.sparkspark-streaming-kafka-0-10_2.112.2.1redis.clientsjedis2.9.0栗子：importjava.{lang,util}importorg.apache.kafka.clients.consumer.ConsumerRe
自由幻想的人儿·2018-02-05 16:29

sparkstreaming整合kafka参数设置，message偏移量写入mysql

kafka高级数据源拉取到spark，偏移量自我维护，借助scalikejdbc写入到mysql。需要导入org.scalikejdbcscalikejdbc_2.112.5.0org.scalikejdbcscalikejdbc-config_2.112.5.0org.apache.sparkspark-streaming-kafka-0-10_2.112.2.1importorg.apache
自由幻想的人儿·2018-02-05 16:20

日志流实时监控

日志流实时监控题目：基于SparkStreaming实现流处理使用SparkStreaming、Kafka等实现日志流处理功能，可以捕获新应用日志的生成，采用流处理，对日志中存在的ERROR数据进行统计和告警日志格式可以自己定义
麦才坚·2018-02-04 18:55

spark streaming实时流式处理wordcount，数据写出到redis

SparkStreaming是spark的一个组件，可以对实时流式数据进行数据处理，数据的基本操作对象是DStream.DStream是一系列的RDDs。
自由幻想的人儿·2018-02-01 23:19

Spark

一、笔试1.Spark的四大组件下面哪个不是(D)A.SparkStreamingBMlibCGraphxDSparkR2.下面哪个端口不是spark自带服务的端口(C)A.8080B.4040C.8090D
徐茂盛·2018-01-17 17:16

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)
三万_chenbing·2018-01-16 14:05

spark streaming 从kafka 拉数据如何保证数据不丢失 | sunbiaobiao

sparkstreaming从kafka拉数据如何保证数据不丢失为什么使用direct方式DirectApproachVSReceiver-basedApproach因为按需拉数据，所以不存在缓冲区，就不用担心缓冲区把内存撑爆了
·2018-01-10 17:00

JavaSpark-Spark Streaming

Desktop\nc.exe-l-v-p9999socket监听端口，是所有网络通讯的基础许多应用需要即时处理收到的数据例如用来实时追踪页面访问统计的应用、训练机器学习模型的应用，还有自动检测异常的应用SparkStreaming
M99的羽子·2018-01-03 22:52

Spark Streaming与Storm的对比

http://blog.csdn.net/kwu_ganymede/article/details/50296831SparkStreaming与Storm的对比分析一、SparkStreaming与Storm
步步为赢567·2018-01-02 16:51

Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南

SparkStreaming编程指南概述一个入门示例基础概念依赖初始化StreamingContextDiscretizedStreams(DStreams)（离散化流）InputDStreams和Receivers
weixin_30553837·2017-12-26 14:00

Heron：来自Twitter的新一代流处理引擎应用篇

【导语】本文对比了Heron和常见的流处理项目，包括Storm、Flink、SparkStreaming和KafkaStreams，归纳了系统选型的要点。
csdn研发技术·2017-12-26 09:18

hadoop的hdfs 数据流动

正常来说通过数据流工具，我们从日志源获取日志流通过logstashflumefruentdkafkasparkstreaming等工具把流不间断的写入到hdfs，这里尤其要注意的是不间断，只要你不去人为停掉
Helen_Cat·2017-12-11 06:03

kafka和sparkstreaming整合打包运行错误处理

问题一：WARNNativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableExceptioninthread"main"java.lang.NoClassDefFoundError:kafka/serializer/StringDecoderat
程序媛啊·2017-12-09 18:27

Spark Streaming优雅的关闭策略优化

阅读更多前面文章介绍了不少有关SparkStreaming的offset的管理以及如何优雅的关闭SparkStreaming的流程序。
qindongliang1922·2017-12-07 19:00

sparkstreaming官方文档笔记

1、sparksteaming入门例子注：代码摘自spark官方文档http://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-exampleimportorg.apache.spark._importorg.apache.spark.streaming._importorg.apache.spark.s
风筝中有风·2017-12-07 15:35

Spark Streaming学习

以下内容主要基于Spark2.1.0版本的SparkStreaming内容学习得到。
shohokuooo·2017-12-07 01:59

Spark Streaming自定义Receiver

一背景Spark社区为SparkStreaming提供了很多数据源接口，但是有些比较偏的数据源没有覆盖，由于公司技术栈选择，用了阿里云的MQ服务ONS，要做实时需求，要自己编写Receiver二技术实现
ChouYarn·2017-12-06 14:00

kafka版本不一致导致的一个小问题（二）

阅读更多背景介绍：我们公司的实时流项目现在用的sparkstreaming比较多，这里在介绍下版本：sparkstreaming2.1.0kafka0.9.0.0sparkstreaming如果想要集成
qindongliang1922·2017-12-04 21:00

学习spark遇到的问题汇总（一）

1.SparkStreaming包含三种计算模式：nonstate.stateful.window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作
专业大数据·2017-12-04 11:01

==[实战]分析手机用户行为～Kafka+Spark Streaming+Redis实时计算整合实践

简单之美|Kafka+SparkStreaming+Redis实时计算整合实践http://shiyanjun.cn/archives/1097.html//我们的应用场景是分析用户使用手机App的行为
葡萄喃喃呓语·2017-12-04 06:34

19 Spark Streaming中空RDD的处理

在SparkStreaming中，job不断的产生，有时候会产生一些空RDD，而基于这些空RDD生成的job大多数情况下是没必要提交到集群执行的。
海纳百川_spark·2017-12-03 06:30

Spark-Streaming: 分析tomcat的日志

Spark-Streaming:分析tomcat的日志要求统计TOP100的IP通过sparkstreaming得到(ip,ip_count)，按照ip_count倒序100程序：packageio.github.sparkstreamimportjava.io.FileInputStreamimportorg.apache.spark.SparkConfimportorg.apache.spar
yonggang_sun·2017-12-03 05:06

spark调优(五)【Cigna优化Spark Streaming实时处理应用】

Cigna优化SparkStreaming实时处理应用1框架一览事件处理的架构图如下所示。
风灵使·2017-12-02 11:14

Spark Streaming 流计算优化记录(5)-分区与内存的优化

8.不一定非得每秒处理一次由于SparkStreaming的原理是microbatch,因此当batch积累到一定数量时再发放到集群中计算,这样的数据吞吐量会更大些.这需要在StreamingContext
立喆·2017-12-01 11:23

谈谈如何优雅的关闭正在运行中的Spark Streaming的流程序

因为SparkStreaming流程序比较特殊，所以不能直接执行kill-9这种暴力方式停掉，如果使用这种方式停程序，那么就有可能丢失数据或者重复消费数据。为什么呢？
qindongliang1922·2017-11-30 19:00

Apache Spark Streaming 使用实例

本文翻译自：https://cloudxlab.com/assessm...电子商务在深入地探讨SparkStreaming之前，让我们先了解一下它的受用场景。
dailybird·2017-11-29 00:00

如何管理Spark Streaming消费Kafka的偏移量（三）

阅读更多前面的文章已经介绍了在sparkstreaming集成kafka时，如何处理其偏移量的问题，由于sparkstreaming自带的checkpoint弊端非常明显，所以一些对数据一致性要求比较高的项目里面
qindongliang1922·2017-11-28 23:00

SparkStreaming之单词计数实现在一次程序的运行中，两次发送相同的key可以进行累加

importorg.apache.log4j.{Level,Logger}importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.dstream.ReceiverInputDStreamimportorg.apache.spark.streaming.{Seconds,StreamingContext}objectWordC
CatherineHuangTT·2017-11-26 20:35

Spark Streaming 1.6 流式状态管理分析 - 简书

这篇文章会详细介绍SparkStreaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。
·2017-11-26 09:00

The Dataflow Model

流式计算引擎：Storm,SparkStreaming,MillWheel。批处理引擎：MapReduce,Spark,FlumeJava。
data4·2017-11-25 13:43

SparkStreaming之滑动窗口的实现

importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.dstream.{DStream,ReceiverInputDStream}importorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.log4j.{Logger,Level}o
CatherineHuangTT·2017-11-24 09:04

SparkStreaming数据源之Kafka

push(推过来的)kafka，flume->Exeuctor内存-》磁盘处理1）整个任务出问题了2）整个集群宕机了3）机房停电了数据有可能重复消费，也有可能漏了Spark1.3以后(2)pull(拉)sparkStreaming
CatherineHuangTT·2017-11-24 09:28

Spark Streaming Backpressure

1、为什么引入Backpressure默认情况下，SparkStreaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batchprocessingtime>batchinterval
Happywuw·2017-11-23 11:09

SparkStreaming的运行流程

运行流程：1、我们在集群中的其中一台机器上提交我们的ApplicationJar，然后就会产生一个Application，开启一个Driver，然后初始化SparkStreaming的程序入口StreamingContext
CatherineHuangTT·2017-11-22 14:22

基于SparkStreaming的实时数据清洗

基于SparkStreaming的实时数据清洗数据清洗，是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。
天街小雨入江南·2017-11-22 11:14

如何管理Spark Streaming消费Kafka的偏移量（二）

阅读更多上篇文章，讨论了在sparkstreaming中管理消费kafka的偏移量的方式，本篇就接着聊聊上次说升级失败的案例。
qindongliang1922·2017-11-16 19:00

文章标题

SparkStreaming,textFileStream读取HDFS文件,读取不到的问题原因很简单,textFileStream()这个方法只能读取到新放入的文件,意思是要先启动程序,然后把文件put
Elonyong·2017-11-15 11:36
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他