sparkStreaming

尚硅谷Flink入门到实战-学习笔记1

（有界流、无界流）分层API越顶层越抽象，表达含义越简明，使用越方便越底层越具体，表达能力越丰富，使用越灵活1.1FlinkvsSparkStreaming数据模型Spark采用RDD模型，sp
weixin_771432311·2021-03-02 13:00

什么是Flink？Flink能用来做什么？

文章目录概述特点应用场景FlinkVSSparkStreaming概述Flink是什么？ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。
凌桓丶·2021-02-08 17:05

大数据开发-Spark-开发Streaming处理数据 && 写入Kafka

1.SparkStreaming简介SparkStreaming从各种输入源中读取数据，并把数据分组为小的批次。新的批次按均匀的时间间隔创建出来。
·2021-02-08 00:50

大数据开发-Spark-开发Streaming处理数据 && 写入Kafka

1.SparkStreaming简介SparkStreaming从各种输入源中读取数据，并把数据分组为小的批次。新的批次按均匀的时间间隔创建出来。
·2021-02-08 00:34

Apache Hudi使用简介

ApacheHudi使用简介[TOC]数据实时处理和实时的数据实时分为处理的实时和数据的实时即席分析是要求对数据实时的处理，马上要得到对应的结果Flink、SparkStreaming是用来对实时数据的实时处理
·2021-01-24 16:39

关于SparkStreaming的DStream原理以及代码详解

1.什么是DStreamDiscretizedStream是SparkStreaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。
刘啊福·2021-01-20 19:19

Spark Streaming原理与架构

简介:SparkStreaming是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。
刘啊福·2021-01-20 17:04

SparkStreaming的介绍

探讨SparkSreaming之前,先要了解什么是批处理,什么是流处理.批处理:也叫离线处理T+1的模式,以Hive+Spark为主流处理:水流也叫实时处理,SparkStreaming(秒级别,微批次处理
刘啊福·2021-01-20 12:47

第十篇SparkStreaming手动维护Kafka Offset的几种方式

SparkStreamingNoReceivers方式的createDirectStream方法不使用接收器，而是创建输入流直接从Kafka集群节点拉取消息。
大数据技术与数仓·2021-01-06 02:12

大数据计算引擎MapReduce、Storm、Spark、Sparkstreaming、Flink到底哪家强？

自大数据的概念被提出以来，企业对于数据信息变为数据资产的诉求越来越强烈，进而在技术领域出现了很多大数据计算引擎服务，最著名、使用最广的莫过于MapReduce、Storm、Spark、Sparkstreaming
AI课工场·2021-01-04 14:37

Flink、Spark、Storm技术对比列表

ApacheFlinkSparkStreamingStorm架构架构介于Spark和Storm之间，主从结构与SparkStreaming相似，DataFlowGrpah与Storm相似架构依赖Spark
李奇峰1998·2021-01-03 23:43

SparkStreaming推测机制：面试被问遇到什么问题，说这个显水平！

背景老刘最近晚上会刷刷牛客网的大数据开发面经，总是会看到一个高频的面试题，那就是你在学习过程中遇到过什么问题吗？这个问题其实有点难回答，如果我说的太简单了，会不会让面试官觉得水平太低，那我应该讲什么东西呢？我一个自学的不可能遇到什么高级问题呀！对于这个问题的答案网上也是众说纷纭，老刘也讲讲对这个问题的看法，分享一下自己的见解，欢迎各位伙伴前来battle！过程在寻找这个问题答案的过程中，老刘正好在
努力的老刘·2021-01-02 15:28

sqoop读取postgresql数据库表格导入到hdfs中的实现

最近再学习sparkstreaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下。
·2020-12-31 13:56

大数据面试3分钟自我介绍_大数据开发工程师面试主要面试内容

大数据开发包括Hadoop(ETL，Mapreduce)，Spark(SparkSql和SparkStreaming)，Python等，这是偏向技术。另外大数据开发看是否偏向数仓
诗和远方越远越脏·2020-12-31 12:27

Spark Streaming + Kakfa 编程指北

本文简述如何结合SparkStreaming和Kakfa来做实时计算。
牛肉圆粉不加葱·2020-12-31 10:03

sparkStreaming之transform的细节

valsocketLineDStream:ReceiverInputDStream[String]=streamingContext.socketTextStream('linux1',8888)//TODODriver中执行一次//例如vala=1在Driver中只执行一次//首先看一下DStream的其他Transformations（转换）操作socketLineDStream.map({c
幡然醒悟的研二狗-致敬所有受压迫的博士·2020-12-30 18:58

Apache Hudi使用简介

ApacheHudi使用简介[TOC]数据实时处理和实时的数据实时分为处理的实时和数据的实时即席分析是要求对数据实时的处理，马上要得到对应的结果Flink、SparkStreaming是用来对实时数据的实时处理
西北偏北·2020-12-28 00:47

Spark学习（二）——RDD和WordCount程序

SparkSQL主要用作离线海量数据分析SparkStreaming主要用作对数据实时处理Spark的工作原理与MapReduce是如出一辙的，区别在于MapReduce是在HDFS上做计算，而Spark
大数据阶梯之路·2020-12-17 09:59

Kafka集群消息积压问题及处理策略

对于一些实时任务，比如SparkStreaming/Structured-Streaming、Flink和Kafka集成的应用，消费端不存在长时间
大数据学习与分享·2020-12-10 09:52

Spark Streaming WebUI监控，查看Streaming Statistics，Batch（job stage task）

摘要：SparkStreaming，yarn，StreamingStatistics，ActiveBatches，CompletedBatches总结一下SparkStreamingApplication
xiaogp·2020-12-04 10:33

Spark Streaming 对接 Kafka 的那些事儿

1.BackgroundKafka作为SparkStreaming数据的最重要的来源，官方为此专门提供了二者整合的jar包。这使得我们可以很方便的对接二者，但是其中的细节还是很繁杂的。
xiaoc024·2020-11-12 19:58

Spark快速大数据分析(1)

Spark数据分析导论第2章Spark下载与入门第3章RDD基础第4章键值对操作第5章数据读取与存储第6章Spark编程进阶第7章在集群上运行Spark第8章Spark调优与调试第9章SparkSQL第10章SparkStreaming
天线嘟嘟茄·2020-10-28 00:08

实时数据流计算引擎Flink和Spark剖析

在过去几年，业界的主流流计算引擎大多采用SparkStreaming，随着近两年Flink的快速发展，Flink的使用也越来越广泛。
程小舰·2020-10-22 18:39

Spark学习之Spark Streaming（一）

SparkStreaming实时数据流处理一、SparkStreaming基础1、SparkStreaming简介官方文档SparkStreaming是核心SparkAPI的扩展，可实现可扩展、高吞吐量
羋学僧·2020-10-20 15:04

【offset管理策略】Spark Streaming消费Kafka

摘要：offset管理，SparkStreaming，KafkaSparkStreamingoffset的管理方式offset的三种管理方式自动提交offset（彻底放弃使用这种方式吧）：enable.auto.commit
xiaogp·2020-10-13 10:43

（一）SparkStreaming简单介绍

Internally,itworksasfollows.SparkStreamingreceivesliveinputdatastreamsanddividesthedataintobatches,whicharethenprocessedbytheSparkenginetogeneratethefinalstreamofresultsinbatches.sparkstreaming
白面葫芦娃92·2020-10-11 08:59

Apache Spark ecosystem

ApacheSparkEcosystem–CompleteSparkComponentsGuide2.ApacheSparkEcosystem3.edurekapostsaboutspark5.SparkSQLTutorial–UnderstandingSparkSQLWithExamples6.SparkStreamingTutorial–Se
一路向北_c6e6·2020-10-10 09:03

流式处理框架storm浅析（上篇）

本文来自网易云社区作者：汪建伟前言前一段时间参与哨兵流式监控功能设计，调研了两个可以做流式计算的框架：storm和sparkstreaming，我负责storm的调研工作。
yijian2595·2020-10-09 20:59

Spark(36) -- Spark Streaming原理与架构

1.SparkStreaming原理 SparkStreaming是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。
erainm·2020-10-08 08:24

Spark Streaming架构原理详解！

目录一、SparkStreaming功能介绍（1）概述（2）DStream概述（3）Storm和SparkStreaming比较二、SparkStreaming服务架构及工作原理三、StreamingContext
<一蓑烟雨任平生>·2020-09-30 11:57

spark

Spark简介一、简介二、特点三、集群架构四、核心组件3.1SparkSQL3.2SparkStreaming3.3MLlib3.4Graphx一、简介Spark于2009年诞生于加州大学伯克利分校AMPLab
陌生的心酸·2020-09-17 16:37

DStream操作实战:4.SparkStreaming开窗函数统计一定时间内的热门词汇

packagecn.testdemo.dstream.socketimportorg.apache.spark.{SparkConf,SparkContext}importorg.apache.spark.rdd.RDDimportorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.streamin
NicholasEcho·2020-09-17 06:50

Spark Streaming 快速入门（实操）

教程目录0x00教程内容0x01SparkStreaming编程1.启动SparkShell2.创建StreamingContext对象3.创建DStream对象4.对DStream进行操作5.输出数据
邵奈一·2020-09-17 05:33

Spark Streaming 快速入门（理论）

教程目录0x00教程内容0x01SparkStreaming相关概念1.SparkStreaming介绍2.DStream介绍0x02SparkStreaming编程基础1.StreamingContext
邵奈一·2020-09-17 05:32

大数据ETL工具收集

1、Flinkjob+sql2、Sparkstreaming+sql3、Kafkastream+ksql4、apacheNIFI/StreamSets/product-sp5、airflowetchttps
grefen·2020-09-17 01:54

Spark中saveAsTextFile至stage划分和job提交的源代码分析

之前看了SparkStreaming和SparkSQL,自己还花了一些时间去玩了些machinelearning的算法，像线性回归，kmeans，协同过滤等。
zhouxucando·2020-09-16 21:21

《Spark大数据分析》一书的书评和采访

\\t了解SparkCore及加载项库，包括SparkSQL、SparkStreaming、GraphX、Mllib和SparkML。
weixin_34242509·2020-09-16 19:53

6.Spark streaming技术内幕 : Job动态生成原理与源码解析

原创文章，转载请注明:转载自周岳飞博客(http://zhou-yuefei.iteye.com/)Sparkstreaming程序的运行过程是将DStream的操作转化成RDD的操作，SparkStreaming
听风的蜗牛·2020-09-16 17:00

Spark项目实战经验

1.参数设置spark.streaming.kafka.maxRatePerPartition控制sparkstreaming消费kafka速度spark.streaming.backpressure.enabled
同道大叔·2020-09-16 17:56

[转]三种流处理框架比较：Storm，Spark和Flink

storm、sparkstreaming、flink都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API
大仁哥哦~·2020-09-16 13:11

数据研发学习笔记4.9：流计算

流计算处理流程2.1概述2.2数据实时采集2.3数据实时计算2.4实时查询服务3流计算应用4流计算开源框架–Storm4.1Storm简介4.2Storm的特点4.3Storm设计思想4.4Storm框架设计5SparkStreaming5.1SparkStreaming
Lynn Wen·2020-09-16 13:15

Spark Streaming 教程文档--概述、基本概念、性能调优

SparkStreaming教程本文章主要讲述SparkStreaming概念原理、基本概念、以及调优等一些知识点。
sunyang098·2020-09-16 11:58

二。spark相关Rdd

Spark模块-------------SparkCore//核心库SparkSQL//SQLSparkStreaming//准实时计算。
皓月青风·2020-09-16 11:51

Spark Streaming、Storm、Flink对比分析，以及为什么选择Flink作为流处理框架

17年底公司就着力打造实时计算平台，探索实时流计算引擎和API，例如这几年火爆的Storm、SparkStreaming、KafkaStreaming、Beam和Flink。
Yedeng427·2020-09-16 11:20

【Spark篇】---SparkStream初始与应用

一、前述SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter,ZeroMQ或者TCPsockets
L先生AI课堂·2020-09-16 11:43

《深入理解Spark》之Spark-Stream概述1（官方文档翻译版）

最近在学英语，学以致用，就尝试着看Spark的官方文档，并试着翻译了部分，由于水平有限如果有所疏漏的地方欢迎指正*SparkStreamOverview*SparkStreamingisanextensionofthecoreSparkAPIthatenablesscalable
lyzx_in_csdn·2020-09-16 10:40

Spark-概述，核心模块介绍，与Hadoop MR的差异

文章目录一、Spark概述二、Spark特点快速易用通用可融合性三、Spark核心模块SparkCoreSparkSQLSparkStreamingSparkMLlibSparkGraphX四、HadoopVSSpark
Demik·2020-09-16 10:58

SparkStreaming实现实时WordCount程序的两种方法并将数据写入Mysql中：使用工具netcat

首先需要了解的几个类StreamingContext如何读取数据DStream处理数据函数DStream里面存储着很多RDDPairDStreamFunctions当处理的数据类型是二元组的时候，DStream自动隐式转换为PairDStreamFunctionsRDD输出函数，将结果保存到外部系统defforeachFunc:(RDD[T],Time)=>Unit={(rdd:RDD[T],ti
无名一小卒·2020-09-16 09:32

dstream.foreachRDD 创建连接对象 反序列化失败 解决办法

开发一个采集程序，从客户端发送数据到服务端，服务端传给kafka集群上启动sparkStreaming接受kafka数据存入HBase遇到一个小坑程序报无法序列化Htable就是因为dstream.foreachRDD
ququ554665630·2020-09-16 03:21

kafka报错：java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/StringDeserializer

一：问题sparkstreaming使用kafaka时，将jar包上传服务器运行时报错：如下图二：原因及解决原因：缺少kafka相关的依赖包。
隔壁老王ing·2020-09-15 22:19
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他