sparkstreaming

WordCount程序【Spark Streaming版本】

~~前置~~SparkStreaming常常对接：本地文件、HDFS、端口、flume、kafkapackagefebruary.streamingimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming
liuge36·2019-02-27 15:00

Spark Streaming实时流处理项目11——综合实战

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-27 11:11

Spark Streaming实时流处理项目10——日志产生器开发并结合log4j完成日志的输出

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-25 16:50

Spark Streaming实时流处理项目9——Spark Streaming整合Kafka实战

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-23 20:33

Spark Streaming基本工作原理

SparkStreaming内部的基本工作原理如下：接收实时输入数据流，然后将数据拆分成多个batch，比如每收集1秒的数据封装为一个batch，然后将每个batch交给Spark的计算引擎进行处理，最后会生产出一个结果数据流
一个人一匹马·2019-02-23 16:21

sparkStreaming程序过滤kafka json数据两种方法

方法1：在foreachRDD之前，就是streams之后过滤我取的是type值为null（不是"null"）的数据valsv=stream.map(_.value()).filter(jd=>{valjson1=jd.substring(0,jd.lastIndexOf("}")+1)JSON.parseObject(json1).getString("type")==null})sv.fore
venom§·2019-02-22 18:56

Spark Streaming实时流处理项目8——Spark Streaming与Flume的整合

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-22 17:34

查看spark任务日志

spark运行的任务往往通过web来查看，但是，当运行的是sparkStreaming任务时，日志往往会很大，web查看并不方便，因此需要定位到服务器上去看。
hongtaq156136·2019-02-21 15:25

Spark Streaming实时流处理项目7——Spark Streaming实战2

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-20 16:08

Spark Streaming实时流处理项目6——Spark Streaming实战1

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-20 12:47

Spark Streaming算子篇详解

SparkStreaming是核心SparkAPI的扩展，它支持对实时数据流进行可伸缩、高吞吐量和容错的流处理。
Thomson617·2019-02-20 10:09

Spark Streaming 中的DStream

DiscretizedStream也叫DStream)是SparkStreaming对于持续数据流的一种基本抽象，在内部实现上，DStream会被表示成一系列连续的RDD(弹性分布式数据集)，每一个RDD
Code_LT·2019-02-19 17:47

Spark Streaming实时流处理项目5——Spark Streaming入门

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 19:37

Spark Streaming实时流处理项目4——实战环境搭建

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 16:18

Spark Streaming实时流处理项目3——整合Flume和Kafka完成实时数据采集

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-18 10:10

Spark Streaming实时流处理项目2——分布式消息队列Kafka学习

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-17 17:19

Spark Streaming实时流处理项目1——分布式日志收集框架Flume的学习

SparkStreaming实时流处理项目1——分布式日志收集框架Flume的学习SparkStreaming实时流处理项目2——分布式消息队列Kafka学习SparkStreaming实时流处理项目3
驭风者yuzhansheng·2019-02-17 11:53

读《Spark内核设计的艺术 架构设计与实现》笔记之二----Spark模块设计

Spark模块设计整个Spark主要由SparkCore,SparkSQL,SparkStreaming,GraphX,MLlib组成,SparkCore是整个Spark体系的核心引擎,SparkSQL
TMH_ITBOY·2019-02-15 16:00

Spark从入门到精通9 -- Spark Streaming

SparkStreamingSparkStreaming简介SparkStreaming是Spark为了处理实时流数据而设计的模型，允许基于批处理API进行对实时流数据进行处理。
开着小马奔腾哟·2019-02-14 11:51

200、Spark 2.0之Structured Streaming：深入浅出的介绍

流式计算大多数的流式计算引擎（比如storm、sparkstreaming等）都仅仅关注流数据的计算方面：比如使用一个map函数对一个流中每条数据都进行转换，或者是用reduce函数对一批数据进行聚合。
ZFH__ZJ·2019-02-12 15:10

184、Spark 2.0之Spark 2.x与1.x对比以及分析

Spark2.x与1.x对比Spark1.x：SparkCore（RDD）、SparkSQL（SQL+Dataframe+Dataset）、SparkStreaming、SparkMLlib、SparkGraphxSpark2
ZFH__ZJ·2019-02-11 13:00

基于Alluxio系统的Spark DataFrame高效存储管理技术

Qunar最近将Alluxio部署在他们的生产环境中，从而将Sparkstreaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。
阿里云云栖社区·2019-01-31 00:00

Storm精华问答 | 为什么这么多人用Spark而不用Storm？

A：Storm和SparkStreaming都是分布式流处理的开源框架。区别如下：1、
CSDN云计算·2019-01-30 10:45

Storm精华问答 | 为什么这么多人用Spark而不用Storm？

A：Storm和SparkStreaming都是分布式流处理的开源框架。区别如下：1、
CSDN云计算·2019-01-30 10:45

Storm精华问答 | 为什么这么多人用Spark而不用Storm？

A：Storm和SparkStreaming都是分布式流处理的开源框架。区别如下：1、
csdn业界要闻·2019-01-30 10:45

Kafka系列 —— Kafka消费语义分析&分区策略解读

核心概念Kafka系列——Kafka常用命令Kafka系列——Kafka监控Kafka消费语义分析通常架构：Flume-->Kafka-->SparkSrteamingFlume作为Kafka的生产者SparkStreaming
疯狂呼呼呼·2019-01-27 22:28

Spark学习笔记： Spark Streaming

流式计算框架SparkStreaming是微批（微小批处理）
GaryBigPig·2019-01-24 23:02

spark streaming 实时流处理项目实战

sparkstreaming实时流处理项目实战一、编写python日志产生脚本，并使用linux的crontab命令一分钟执行一次tool.lu/crontab网站可以测试cron表达式cd/home/
血煞风雨城2018·2019-01-24 10:06

Phoenix调优——元数据相关

背景Phoenix集群数据由SparkStreaming程序写入，现象是在写入数的同时进行查询，响应时间会很长（大概在5秒以上)，把sparkstreaming程序停掉后响应时间就恢复正常（秒内）。
fantuanbaba·2019-01-19 18:19

Lambda 架构详解-2

可参见：2.架构之组成2.1batchlayer如图可知，优选是Hive和Pig，次选是Spark、Hadoop；2.2speedlayer如图可知，优选是SparkStreaming和Strom，次选是
似梦似意境·2019-01-17 18:09

推荐两个不错的flink项目

但是，不可否认flink在实时领域确实目前来看独树一帜，当然也有它不适合的地方，比如今天要推荐的第一个基于flink开发的项目，流表和维表的join，还有很多地方还是用sparkstreaming更合适
假的鱼·2019-01-16 21:08

spark checkpoint详解

spark中主要有两块应用：一块是在sparkcore中对RDD做checkpoint，可以切断做checkpointRDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外一块是应用在sparkstreaming
learn_tech·2019-01-16 17:19

Spark Streaming-Checkpoint机制

转载地址：https://blog.csdn.net/anbang713/article/details/82047980一概述每一个SparkStreaming应用，正常来说都是要7*24小时运转的，
learn_tech·2019-01-16 17:47

数据倾斜解决方案

常见数据倾斜现象数据倾斜往往会发生在数据开发的各个环节中，比如：●用Hive数据计算的时候reduce阶段卡在99.99%●用SparkStreaming做实时算法的时候，一直会有ex
dogrui666·2019-01-15 11:56

flink和spark使用Scala编程的代码的对比

Flink()：实时性高，吞吐量高，离线+实时算子较为丰富SparkStreaming()：有延迟（毫秒级别），吞吐量高，离线+实时算子丰富，可以做机器学习，图计算（生态圈）flink的批处理实际上流处理
Lu_Xiao_Yue·2019-01-12 16:45

基于Kafka+SparkStreaming+HBase实时点击流案例

原文地址：https://www.jianshu.com/p/ccba410462ba前言最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长本文章更倾向于实战案例，涉及框架原理及基本应用还请读者自行阅读相关文章，相关在本文章最后参考资料中关于Zookeeper/Kafka/HBase/Hadoop相关集群环境搭建作者会陆续更新本文章发布后会及时更新文章中出现的错误及增加
Mask_V·2019-01-11 16:44

Spark Streaming 架构与抽象

SparkStreaming使用“微批次”的架构，把流式计算当作一系列连续的小规模批处理来对待。SparkStreaming从各种输入源中读取数据，并把数据分组为小的批次。
似梦似意境·2019-01-11 13:57

Structured Streaming入门实例

相比SparkStreaming具有更低的延迟。
张行之·2019-01-10 16:56

SparkStreaming集群下使用Pull方式整合Flume

集群环境spark版本：2.2.2Flume版本：1.6.0Spark集群：角色IPMaster192.167.17.200Slave1192.167.17.201Slave2192.167.17.202采集（Flume单点）服务器：角色IPinit01192.168.17.100查看资料根据官网（http://spark.apache.org/docs/latest/streaming-flum
JarryWangJY·2019-01-10 15:12

python kafka消息传入spark streaming 实时计算打印

/usr/bin/envpython#-*-coding:utf-8-*-#@Time:2019/01/0918:00#@Author:xuanda#@Site:#@File:kafka_to_sparkstreaming.pyfrompysparkimportSparkContextfrompyspark.streamingimportSt
chinasiyu·2019-01-09 18:34

sparkstreaming消费kafka数据，如果发生消息积压，如何处理？

原因在默认情况下，SparkStreaming通过receivers(或者Direct方式)以生产者生产数据的速率接收数据。
哪有天生的学霸，一切都是厚积薄发·2019-01-08 15:55

sparkStreaming程序的的部署、调优

（1）部署部署方式：sparkstandalone集群、yarn集群、meoss集群...driver的HA：如果希望driver程序在失败之后自动重启，那么需要在程序中使用getOrcreate方法重构streamingContext对象，以及在spark-submit中添加参数。Checkpoint目录的设置：如果程序使用到checkpoint目录，就必须配置一个hdfs兼容的文件系统作为ch
原生zzy·2019-01-07 22:31

SparkStreaming整合kafka的补充

（1）SparkStreaming整合kafka两种方式对比Direct方式的优缺点分析：优点：简化并行(SimplifiedParallelism)。
原生zzy·2019-01-07 22:43

SparkStreaming整合kafka

项目架构：日志数据---->flume----->kafka-------->sparkstreaming---------->mysql/redis/hbase前置条件：安装zookeeper安装flume
原生zzy·2019-01-07 21:45

SparkStreaming的实战案例

废话不多说，直接上干货！！！相关依赖：UTF81.81.8UTF-82.11.82.3.22.7.62.11org.scala-langscala-library${scala.version}org.apache.sparkspark-core_2.11${spark.version}org.apache.sparkspark-sql_2.11${spark.version}org.apache
原生zzy·2019-01-07 11:41

spark+kafka+redis简单操作

sparkStreaming消费kafka数据,将偏移量写入到redis中的简单操作kafka生产者生成一些数据objectKafkaproducer{defmain(args:Array[String
孙喔喔的gorilla·2019-01-06 23:50

sparkStreaming的编程步骤

（1）StreamingContext  与sparkcore的编程类似，在编写SparkStreaming的程序时，也需要一个通用的编程入口----StreamingContext。
原生zzy·2019-01-06 21:55

SparkStreaming基础理论

一、SparkStreaming的介绍（1）为什么要有SparkStreaming？  
原生zzy·2019-01-06 21:38

Spark 之 Streaming 学习笔记

目录概述关于SparkStreaming为什么学习SparkStreamingSparkStreaming和Storm对比核心概念什么是DStreamDStream相关操作TransformationsonDstream
夜古诚·2019-01-04 22:09

Spark Streaming 任务定时清零重启

foxmail.com）转载请注原文地址：https://blog.csdn.net/cxcjoker7894/article/details/85774764本文介绍state定时清零，如欲监控失败自动重启请移步【SparkStreaming
草小诚·2019-01-04 15:57
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他