sparkstreaming

Spark入门

到目前为止，已经发展成为一个完善的生态系统，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等组件。
七个馒头·2020-08-21 02:06

SparkStreaming_Dstream创建

SparkStreaming原生支持一些不同的数据源。
不稳定记忆·2020-08-21 02:40

一文告诉你SparkStreaming如何整合Kafka!

写在前面：博主是一名软件工程系大数据应用开发专业大二的学生，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/,博客主页:https://ali
Alice菌·2020-08-21 02:07

Spark Streaming 快速入门系列(4) | 一文告诉你SparkStreaming如何整合Kafka!

  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenb
不温卜火·2020-08-21 02:12

美团点评基于 Flink 的实时数仓平台实践

2017年初，我们引入了SparkStreaming用于特定场景的支持，主要是在数据同步场景方面的尝试。在2017年底，美团点评实时计算平台引入了Flink。
阿里云云栖号·2020-08-20 23:09

美团点评基于 Flink 的实时数仓平台实践

2017年初，我们引入了SparkStreaming用于特定场景的支持，主要是在数据同步场景方面的尝试。在2017年底，美团点评实时计算平台引入了Flink。
阿里云云栖号·2020-08-20 23:09

Spark Streaming vs. Structured Streaming

简介SparkStreamingSparkStreaming是spark最初的流处理框架，使用了微批的形式来进行流处理。
upupfeng·2020-08-20 23:09

Spark Streaming vs. Structured Streaming

简介SparkStreamingSparkStreaming是spark最初的流处理框架，使用了微批的形式来进行流处理。
upupfeng·2020-08-20 23:09

58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

背景58实时计算平台旨在为集团业务部门提供稳定高效实时计算服务，主要基于Storm和SparkStreaming构建，但在使
阿里云云栖号·2020-08-20 22:04

58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

背景58实时计算平台旨在为集团业务部门提供稳定高效实时计算服务，主要基于Storm和SparkStreaming构建，但在使
阿里云云栖号·2020-08-20 22:04

Spark Streaming读取kafka数据方式的优化对比

SparkStreaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。
个推·2020-08-20 21:07

Spark Streaming读取kafka数据方式的优化对比

SparkStreaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。
个推·2020-08-20 21:07

大数据系列——Spark学习笔记Spark Streaming

1.SparkStreamingSparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理SparkStreaing中有一个最基本的抽象叫DStream
EVAO_大个子·2020-08-20 21:30

大数据系列——Spark学习笔记Spark Streaming

1.SparkStreamingSparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理SparkStreaing中有一个最基本的抽象叫DStream
EVAO_大个子·2020-08-20 21:30

Spark Streaming介绍

SparkStreaming特点：高吞吐量：Streaming在Spark的基础上集成了流式处理，可以以类似Spark批处理的方式写流式作业，"接收+处理+输出"大量数据。
时光格·2020-08-20 21:18

Spark Streaming介绍

SparkStreaming特点：高吞吐量：Streaming在Spark的基础上集成了流式处理，可以以类似Spark批处理的方式写流式作业，"接收+处理+输出"大量数据。
时光格·2020-08-20 21:18

spark批量写入mongodb以及参数配置设置(spark实时关闭处理)

sparkstreaming参数配置设置spark.streaming.receiver.writeAheadLog.enable防止读取数据丢失参数设置为true然后persist（缓存在内存中StorageLevel.MEMORY_AND_DISK
weixing_2006·2020-08-20 20:47

sbt编译Spark App依赖问题

问题我司用Scala编写Sparkstreaming应用，实现读取Kafka数据，处理后存储到cassandra集群中。这里需要用到一
陆道峰·2020-08-20 20:50

sbt编译Spark App依赖问题

问题我司用Scala编写Sparkstreaming应用，实现读取Kafka数据，处理后存储到cassandra集群中。这里需要用到一
陆道峰·2020-08-20 20:50

Spark java+scala项目打包(jar)

1.法1：maven打包pom.xml文件maven-assembly-pluginfalsejar-with-dependenciesch.kmeans2.SparkStreamingKMeansKafkaExamplemake-assemblypackageassemblyorg.scala-toolsmaven-scala-plugin2.15.2scala-compile-firstcom
ch123·2020-08-20 17:18

Spark java+scala项目打包(jar)

1.法1：maven打包pom.xml文件maven-assembly-pluginfalsejar-with-dependenciesch.kmeans2.SparkStreamingKMeansKafkaExamplemake-assemblypackageassemblyorg.scala-toolsmaven-scala-plugin2.15.2scala-compile-firstcom
ch123·2020-08-20 17:17

你真的了解Flink Kafka source吗？

引言当我们在使用SparkStreaming、Flink等计算框架进行数据实时处理时，使用Kafka作为一款
西贝木土·2020-08-20 17:06

你真的了解Flink Kafka source吗？

引言当我们在使用SparkStreaming、Flink等计算框架进行数据实时处理时，使用Kafka作为一款
西贝木土·2020-08-20 17:06

第五篇|Spark-Streaming编程指南(2)

第四篇|Spark-Streaming编程指南(1)对SparkStreaming执行机制、Transformations与OutputOperations、SparkStreaming数据源(Sources
西贝木土·2020-08-20 17:30

第五篇|Spark-Streaming编程指南(2)

第四篇|Spark-Streaming编程指南(1)对SparkStreaming执行机制、Transformations与OutputOperations、SparkStreaming数据源(Sources
西贝木土·2020-08-20 17:29

第四篇|Spark Streaming编程指南(1)

SparkStreaming是构建在SparkCore基础之上的流处理框架，是Spark非常重要的组成部分。
西贝木土·2020-08-20 17:29

第四篇|Spark Streaming编程指南(1)

SparkStreaming是构建在SparkCore基础之上的流处理框架，是Spark非常重要的组成部分。
西贝木土·2020-08-20 17:29

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新，Spark的重点也放到了StructuredStreaming，但由于Spark版本过低或者其他技术选型问题，可能还是会选择SparkStreaming。
实时计算·2020-08-20 17:10

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新，Spark的重点也放到了StructuredStreaming，但由于Spark版本过低或者其他技术选型问题，可能还是会选择SparkStreaming。
实时计算·2020-08-20 17:10

用Spark进行实时流计算

SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。
实时计算·2020-08-20 17:15

用Spark进行实时流计算

SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。
实时计算·2020-08-20 17:15

SparkStreaming读kafka数据保存为一个文件

需求是这样的：kafka里的数据存至afs上，每条数据都有一个start_time字段，是时间戳格式。现需要按照start_time字段存到具体的某一天某个小时的路径下，类似这种目录：xxx/2020-01-01（日期）/16（小时）/xxx那就开始吧：pom.xmllog-processorUTF-82.8.23.3.64.3.10.RELEASE2.11.02.7.4org.apache.ha
木小宝·2020-08-20 17:27

SparkStreaming读kafka数据保存为一个文件

需求是这样的：kafka里的数据存至afs上，每条数据都有一个start_time字段，是时间戳格式。现需要按照start_time字段存到具体的某一天某个小时的路径下，类似这种目录：xxx/2020-01-01（日期）/16（小时）/xxx那就开始吧：pom.xmllog-processorUTF-82.8.23.3.64.3.10.RELEASE2.11.02.7.4org.apache.ha
木小宝·2020-08-20 17:27

SparkStreaming scala Demo示例

1.流式计算是什么1.1.离线批处理（batchcalculation）所谓离线批处理，这里面有两个概念，一个是离线，还是一个是批处理。先看批处理，说白了处理的是一批数据，只不过这里的一批，数据量往往相对比较大，比如100G，500G，1T等等；离线指的是，数据是静态，或者说数据不变。所以二者合一，所谓离线批处理，就是对静态的，不变的数据集进行处理。有哪些特点呢？处理的数据是静态的，不变的；处理的
moshang_3377·2020-08-20 17:58

根据官网文档看Spark Streaming对接Kafka的两种方式, 以及如何实现"Exactly Once"语义

注:本文算是本人的学习记录,中间可能有些知识点并不成熟,不能保证正确性.只能算是对官网文档作了个翻译和解读,随时有可能回来更新和纠错上一篇文章讨论了SparkStreaming的WAL(WriteAheadLog
weixin_40828249·2020-08-20 08:48

spark1.5.x升级spark2.1.1代码改动

涉及了spark普通项目和sparkstreaming项目，项目均为java语言开发。
westfire·2020-08-20 04:06

SparkStreaming wordcount demo

流数据统计，将每隔10s内的数据做一次单词统计packagecom.streamingimportorg.apache.spark.streaming._importorg.apache.spark.streaming.StreamingContext._importorg.apache.spark.SparkContextimportorg.apache.spark.api.java.funct
靖-Drei·2020-08-20 04:13

SparkStreaming 删选含有error的行

筛选流数据中所有含error的行packagecom.streamingimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming.Secondsimportorg.apache.spark.streaming.StreamingContextobjectPrintError{defmain(args:Array[String]
靖-Drei·2020-08-20 04:42

SparkStreaming 打印输出demo

本机开启9999端口一个server对应一个client，多了可能出问题，也就是下次起sparkstreaming任务时，必须先关了这个端口，重开2.提交sparkstreaming任务packagecom.streamingimportorg.apache.spark.streaming.Secondsimportorg.apache.sp
靖-Drei·2020-08-20 04:42

99、Spark Streaming之架构原理深度剖析

SparkStreaming架构原理深度剖析.pngStreamingContext初始化时，会创建一些内部的关键组件，DStreamGraph，ReceiverTracker，JobGenerator
ZFH__ZJ·2020-08-20 03:25

Spark Streaming 生产、消费流程梳理

SparkStreaming流程梳理根据SparkStreaming的最初设计文档（https://docs.google.com/document/d/1vTCB5qVfyxQPlHuv8rit9-zjdttlgaSrMgfCDQlCJIM
分裂四人组·2020-08-20 02:11

3.2 Spark Streaming 性能调优(二): 解决task倾斜

目录1.系统架构2.环境搭建2.1本地环境下kafka批量导入数据2.2kafka-manager的安装与配置3.1SparkStreaming性能调优(一):解决并行度3.2SparkStreaming
PigPIgAutumn·2020-08-19 22:08

Waterdrop推动Spark Structured Streaming走向生产环境

前言StructuredStreaming是Spark2.0以后新开放的一个模块，相比SparkStreaming，它有一些比较突出的优点：它能做到更低的延迟;可以做实时的聚合，例如实时计算每天每个商品的销售总额
Ricky_Huo·2020-08-19 10:12

SparkStreaming教程

概要Spark流是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，reduce，join和window这样的高层接口描述的复杂算法进行处理。最终，处理过的数据可以被推送到文件系统，数据库和HDFS。image.png在内部，
数据萌新·2020-08-19 07:12

BigData-25：Spark基础

Spark生态圈：SparkCore:最重要，其中最重要的就是RDD（弹性分布式数据集）SparkSQLSparkStreamingSparkMLLib:协同过滤、ALS、逻辑回归等等—>实现推荐系统SparkGraphx
feiyanaffection·2020-08-19 06:55

系统设计常挂面试题避坑指南

课程升级内容：1、课程内容升级——新增5大系统内容（直播课）：秒杀系统与订票系统设计、容器技术（K8S，Docker）与系统设计结合、协同文档编辑系统设计、SparkStreaming（Youtube、
九章算法·2020-08-18 13:02

SparkStreaming-DStream

SparkStreaming接收数据并将其分隔成一批批的数据，然后被Sparkengine处理形成一批批的结果。需指出，SparkStreaming可以被应用与机器学习和图计算。
.Mr Zhang·2020-08-18 13:01

Hadoop学习笔记（1）－Hadoop生态系统

中间红框部分是saprk的生态圈，有RDD，sparkCore，sparkSQL，sparkGraphX，sparkML，sparkR，sparkStreaming。
XianMing的博客·2020-08-18 12:55

解密SparkStreaming另类实验及SparkStreaming本质解析(第一篇)

本期亮点：通过SparkStreaming在线另类实验瞬间理解SparkStreaming运行本质SparkStreaming背景介绍当今社会处于一个大数据的时代，而SparkStreaming是SparkCode
xiaojun220·2020-08-18 12:45

sparkstreaming中动态广播变量的使用

其实我们可以用sparkstreaming的动态广播变量,比如某个配置需要十分钟更新一次,那我们可以在driver端初始化这个变量,在excetors端获取这个变量(注意excetor
JasonLee'blog·2020-08-18 12:41
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他