sparkstreaming

Spark Streaming事务处理彻底掌握

B.事务处理，比如银行转账，事务的输入和输出都应该保证事务一致一方面处理能够处理，且只被处理一次，输出能够输出且只能输出一次一．SparkStreaming的执行架构图:数据丢失:1.在Rece
cary_1991·2020-08-18 10:50

解密SparkStreaming运行机制和架构分析

解密SparkStreamingJob架构和运行机制解密SparkStreaming容错架构和运行机制作业的生成肯定是一个动态的生成private[streaming]valgraph:DStreamGraph
cary_1991·2020-08-18 10:50

基于案例一节课贯通Spark Streaming流计算框架的运行源码

在线动态计算分类最热门商品案例回顾与演示基于案例贯通SparkStreaming的运行源码使用SparkStreaming+SparkSQL来在线动态计算电商中不同类别中最热门的商品排名，例如手机这个类别下面最热门的三款手机
cary_1991·2020-08-18 10:49

Flume + Kafka + SparkStreaming(2.0)

本文阅读需具有一定FlumeKafkaSparkStreaming的基础知识。1、Flume以及Kafka环境搭建。
无名氏0428·2020-08-18 10:00

Spark Streaming实战:写一个wordcount程序，统计从netcat中向端口发送的数据

1.需求：通过sparkstreaming统计端口号1234中的信息2.编写代码：(1)添加依赖：org.apache.sparkspark-core_2.112.1.0org.apache.sparkspark-sql
Movle·2020-08-18 10:00

SparkStreaming socketTextStream

1、SparkStreamingprogramming-guide地址http://spark.apache.org/docs/latest/streaming-programming-guide.html2
无名氏0428·2020-08-18 10:00

如何开发SparkSQL项目？

前言Spark是企业中用的比较多的大数据计算框架，它主要由SparkCore、SparkSQL、SparkStreaming这三个模块组成，实时计算主要使用SparkStreaming，离线部分的数据处理则主要使用
曲健磊·2020-08-18 10:55

SparkStreaming 介绍及 wordcount 案例

一、介绍1、SparkStreaming是什么？SparkStreaming用于流式数据的处理。
火成哥哥·2020-08-18 10:51

1、had a not serializable result: org.apache.kafka.clients.consumer.ConsumerRecord

SparkStreaming整合Kafka报这个错Spark版本2.4.0Kafka版本0.10.2.2首先看模拟产生日志代码publicclassAccessProducerextendsThread
ZFH__ZJ·2020-08-18 10:46

Spark Streaming kafka实现数据零丢失的几种方式

在使用Sparkstreaming消费kafka数据时，程序异常中断的情况下发现会有数据丢失的风险，本文简单介绍如何解决这些问题。
YupDB_XYD·2020-08-18 10:14

Spark Streaming基本使用介绍

一、SparkStreaming概述SparkStreaming是基于SparkcoreAPI的扩展，能够支持大规模可扩展的、高吞吐量的、容错的流处理，可作用于实时流处理之上，并且可通过多种数据源的方式采集数据
疯兔子大叔·2020-08-18 10:12

[spark streaming] DStream 和 DStreamGraph 解析

看sparkstreaming源码解析之前最好先了解sparkcore的内容。前言SparkStreaming是基于SparkCore将流式计算分解成一系列的小批处理任务来执行。
大写的UFO·2020-08-18 10:37

Spark Streaming（二十六）DStream基本数据源、高级数据源

SparkStreaming提供了两种内置数据源支持。基本的数据源：StreamingAPI中直接提供的数据源。例如文件系统和套接字连接。
666呀·2020-08-18 10:32

Structured Streaming && Spark Streaming

.structuredstreaming:http://spark.apache.org/docs/latest/structured-streaming-programming-guide.htmlsparkStreaming
MrZhangBaby·2020-08-18 10:13

《Spark Streaming 编程指南核心概念之 累加器、广播变量与检查点》

SparkStreaming编程指南核心概念之《累加器、广播变量与检查点》注：发布后才发现这个题目有歧义。
Mathieu66·2020-08-18 10:42

第12课：Spark Streaming源码解读之Executor容错安全性

数据的安全性对sparkstreaming至关重要，这有2个原因：第一个原因：sparkstreaming不断地持续地接受数据,不断地持续地产生JOb不断地持续地提交Job；第二个原因：由于是基于sparkco
michaelli916·2020-08-18 10:11

Spark（四）————SparkSQL和SparkStreaming

1、什么是SparkSQLSparkSQL模块能构建在Spark上运行sql语句，主要有DataFrame（数据框、表），它类似于构建在hadoop上的hive以及构建在hbase上的pheonix用于进行sql交互。使用类似SQL方式访问hadoop，实现MR计算。df=sc.createDataFrame(rdd);DataSet===DataFrame==>//类似于table操作。2、Sp
Jorocco·2020-08-18 10:34

SparkStreaming读取Kafka数据

packagekafkaimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming.kafka010.KafkaUtilsimportorg.apache.spark.streaming.{Duration,StreamingContext}importorg.apache.spark.streaming.kafka010.Lo
关亚奇qi·2020-08-18 10:28

【Spark】SparkStreaming从不同基本数据源读取数据

文章目录基本数据源文件数据源注意事项步骤一、创建maven工程并导包二、在HDFS创建目录，并上传要做测试的数据三、开发SparkStreaming代码四、运行代码后，往HDFS文件夹上传文件五、控制台输出结果自定义数据源步骤一
sqlBoy_·2020-08-18 10:53

大数据项目实战——Flume-＞Kafka-＞SparkStreaming-＞Kafka

项目基本需求：利用Flume监控文件，将文件读取到Kafka中，再从Kafka中读入到SparkStreaming，在SparkStreaming中经过简单的处理后再写入到Kafka中。
Clozzz·2020-08-18 10:53

SparkStreaming与Kafka010之05之02 Consumer的offset 自定义设置offset

packageKafka010importKafka010.Utils.MyKafkaUtilsimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.TopicPartitionimportorg.apache.spark.SparkConfimportorg.apache.spark
C_time·2020-08-18 10:53

大数据基础之SparkStreaming——SparkStreaming读写Kafka

SparkStreaming读Kafka：无状态流处理：objectMyReadKafkaHandler{defmain(args:Array[String]):Unit={valconf=newSparkConf
Clozzz·2020-08-18 10:22

Spark Streaming 接任意数据源作为 Stream

SparkStreaming接任意数据源作为Stream问题出发点工程中遇到流式处理的问题时，多采用SparkStreaming或者Storm来处理；Strom采用Spout的流接入方式，Streaming
BIT_666·2020-08-18 10:21

Spark源码解析：DStream

0x00前言本篇是Spark源码解析的第二篇，主要通过源码分析SparkStreaming设计中最重要的一个概念——DStream。
木东居士·2020-08-18 10:16

kafka＋sparkstreaming实现每批次的wordcount统计模版

producer端：importjava.util.HashMapimportorg.apache.kafka.clients.producer.{KafkaProducer,ProducerConfig,ProducerRecord}importorg.apache.spark.SparkConfimportorg.apache.spark.streaming._importorg.apache
zzzzzzzzzzzzzzzzzxs·2020-08-18 10:13

Spark之SparkStreaming数据源

SparkStreaming的数据源文件FlumeKafka：DStreams输入SparkStreaming原生支持一些不同的数据源。
清风笑丶·2020-08-18 10:01

Spark-Streaming获取kafka数据的两种方式：Receiver与Direct的方式

receiver从Kafka中获取的数据都存储在SparkExecutor的内存中，然后SparkStreaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢
Just do it·2020-08-18 10:53

Spark Streaming结合 Kafka 两种不同的数据接收方式比较

揭开SparkStreaming神秘面纱⑥-SparkStreaming结合Kafka两种不同的数据接收方式比较字数956阅读353评论0喜欢2DirectKafkaInputDStream只在driver
技术蚂蚁·2020-08-18 10:47

第126-134课：Spark Streaming源码经典解读

SparkStreaming源码经典解读一：基于DStream的DStreamGraph源码内幕1、DStream下transformation和action解密2、DStreamGraph内幕源码解密二
tom_8899_li·2020-08-18 10:15

Spark学习笔记（三）：SparkStreaming实现对文件夹和socket的监听

SparkStreaming是Spark的一个流式计算框架，它支持对许多数据源进行实时监听，例如Kafka,Flume,Kinesis,TCPsockets，甚至文件夹，并实现实时计算的能力。
我就算饿死也不做程序员·2020-08-18 10:14

Streaming-WordCount案例实操

1．需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数2．添加依赖org.apache.sparkspark-streaming
Knight_AL·2020-08-18 10:10

DStream操作实战（一）

SparkStreaming接受socket数据，实现单词计数WordCount1、架构图2、实现流程2.1、安装并启动生产者首先在linux服务器上用YUM安装nc工具，nc命令是netcat命令的简称
Running_Tiger·2020-08-18 10:09

27.大数据学习之旅——SparkStreaming&spark mllib数据挖掘与机器学习

SparkStreaming介绍概述SparkStreaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，以吞吐量高和容错能力强著称。
零零天·2020-08-18 10:08

Spark Streaming篇2：Spark Streaming 更新update数据到mysql

SparkStreaming篇2：SparkStreaming更新update数据到mysql目前有很多方式写入mysql，你可以在streaming中创建DataFrame，用sparksql写入mysql
叮咚菜鸟许某人·2020-08-18 10:36

Spark Streaming篇4：Spark Streaming动态广播大变量并进行黑名单过滤

SparkStreaming篇4：SparkStreaming动态广播大变量并进行黑名单过滤广播变量后，一般变量发生更改后，但是广播的值却不能随之更改，假设从mysql中读取了黑名单数据，后面黑名单数据发送改变
叮咚菜鸟许某人·2020-08-18 10:36

Spark Streaming篇5：Spark Streaming自定义zookeeper管理offset

SparkStreaming篇5：SparkStreaming自定义zookeeper管理offset废话不多说，直接上干货packagecom.iflytek.offsetimportorg.apache.curator.framework.CuratorFrameworkFactoryimportorg.apache.curator.retry.ExponentialBackoffRetryi
叮咚菜鸟许某人·2020-08-18 10:36

Win10环境下测试Spark Streaming处理端口数据

今日测试了Win10环境下SparkStreaming处理端口数据，过程如下：首先需监听程序对应的端口，Win10不存在Linux下的nc命令，需下载netcat，解压后将nc.exe拷贝到C:\Windows
烈光·2020-08-18 10:35

sparkStreaming 输入DStream之Kafka数据源两种模式

第一种receiverreceiver模式：spark会先使用kafka的高级api读取一个批次的数据存放在executor内存，然后再进行处理。这种模式有几个不好的地方，第一个，kafkatopic的partition与spark的RDD的partition是没有对应关系的，第二个，在spark处理数据出现问题时，可能因spark的executor异常退出，丢失内存里的数据，虽然sparkStr
章锡平·2020-08-18 10:58

SparkStreaming之套接字流(使用Socket编程实现自定义数据源)

一环境ubuntu14+pycharm+spark2.3+python3.6二目的python代码自定义Socket服务器端作为SparkStreaming数据源，实现wordcount功能三步骤1.实现
追枫萨·2020-08-18 10:56

SparkStreaming两种从Kafka中接收数据的方式

Receiver是一个基于Kafka高级消费者API实现的，对于所有接收器来说,这些接收器都是通过Receiver来接收Kafka中的数据并保存数据到Spark的executor中,之后通过SparkStreaming
lilenglya·2020-08-18 10:52

SparkStreaming之基本数据源输入

SparkStreaming拥有两类数据源（1）基本源（Basicsources）：这些源在StreamingContextAPI中直接可用。例如文件系统、套接字连接、Akka的actor等。
legotime·2020-08-18 10:52

SparkStreaming数据源Flume实际案例分享

本期内容：1.SparkStreamingonpollingfromFlume实战2.SparkStreamingonpollingfromFlume源码FlumeConnection:分布式连接的Flume
cary_1991·2020-08-18 10:12

实验十八 Spark实验：Spark Streaming

实验指导：18.1实验目的1．了解SparkStreaming版本的WordCount和MapReduce版本的WordCount的区别；2．理解SparkStreaming的工作流程；3．理解SparkStreaming
老薛的猫出海抓鱼不在这·2020-08-18 10:39

大数据技术之_19_Spark学习_04_Spark Streaming 应用解析小结

==========SparkStreaming是什么==========1、SParkStreaming是Spark中一个组件，基于SparkCore进行构建，用于对流式进行处理，类似于Storm。
aodawu2891·2020-08-18 10:39

94、Spark Streaming之与Spark SQL结合使用之top3热门商品实时统计案例实战

与SparkSQL结合使用SparkStreaming最强大的地方在于，可以与SparkCore、SparkSQL整合使用，之前已经通过transform、foreachRDD等算子看到，如何将DStream
ZFH__ZJ·2020-08-18 10:07

Spark Streaming

文章目录SparkStreamingSparkStreaming概述SparkStreaming是什么SparkStreaming架构架构图背压机制DStream入门WordCount案例实操WordCount
溜三丝耶·2020-08-18 10:03

SparkStreaming实验错误

转自：http://blog.csdn.net/stark_summer/article/details/49251709NetworkWordCount代码/**LicensedtotheApacheSoftwareFoundation(ASF)underoneormore*contributorlicenseagreements.SeetheNOTICEfiledistributedwith*
ASIA_kobe·2020-08-18 10:58

大数据

MapReduce+Yarn）HBase（JavaAPI操作+Phoenix）Hive(Hql基本操作和原理理解）KafkaStorm/JStormScalaPythonSpark(Core+sparksql+Sparkstreaming
物流大师·2020-08-18 10:57

【大数据】SparkStreaming学习笔记

第1章SparkStreaming概述1.1SparkStreaming是什么SparkStreaming用于流式数据的处理。
weixin_34389926·2020-08-18 10:25

SparkStreaming:SparkStreaming简介及架构,WordCount案例,Dstream入门,文件及自定义数据源,Kafka数据源（重点）,DStream创建转换输出,状态转化操作

文章目录第1章SparkStreaming概述1.1SparkStreaming是什么1.2SparkStreaming特点1.3SparkStreaming架构第2章Dstream入门2.1WordCount
DougLeaMrConcurrency·2020-08-18 10:23
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他