sparkstreaming

spark读取hbase为DataFrame后利用SQL进行计算

暂且将其分为两部分：一是利用sparkstreaming消费前台推到kafka中的消息，进行简单处理后写入到hbase；然后就是利用spark读取hbase，将结果组装成json，再利用sparkSQL
帝国精英·2020-08-21 09:13

Spark2.2.0源码阅读 -Dstream

DStream是一个离散的Stream，是在SparkStreaming中的一个基本的抽象，是一个连续的相同类型RDD的序列。通常是一个连续的数据流。
pcqlegend·2020-08-21 07:35

Sparkstreaming是如何获取数据组成Dstream的源码浅析

前面一篇文章介绍了SparkStreaming是如何不停的循环submitJob的，连接：http://humingminghz.iteye.com/admin/blogs/2308711既然已经知道了
zhouxucando·2020-08-21 07:03

spark 骚操作实现高效处理kafka数据积压

一、开篇sparkstreaming消费kafka，大家都知道有两种方式，也是面试考基本功常问的：1.基于receiver的机制。
GOD_WAR·2020-08-21 07:09

windows环境下用netcat测试小工具发送socket包到spark streaming

在windows本地进行测试，发送socket包到sparkstreaming。少了netcat这个工具还真不方便。
曾经的花样年华·2020-08-21 07:30

sparkstreaming消费kafka0.10中的LocationStrategies和ConsumerStrategies

LocationStrategies新的Kafka使用者API将预先获取消息到缓冲区。因此，出于性能原因，Spark集成将缓存的消费者保留在执行程序上（而不是为每个批处理重新创建它们），并且更喜欢在具有适当使用者的主机位置上安排分区，这一点很重要。在大多数情况下，您应该使用LocationStrategies.PreferConsistent，如上所示。这将在可用执行程序之间均匀分配分区。如果您的
JasonLee'blog·2020-08-21 07:43

DStream 生成 RDD 实例详解

引言我们在前面的文章讲过，SparkStreaming的模块1DAG静态定义要解决的问题就是如何把计算逻辑描述为一个RDDDAG的“模板”，在后面Job动态生成的时候，针对每个batch，都将根据这个“
wzsyf·2020-08-21 07:09

sparkstreaming2.2使用checkpoint、kafka(1.0.1)、redis三种方式保存kafka偏移量测试

1、测试代码，使用三种方法保存kafka的offset（未优化版）packagekafka.comsumerimportorg.apache.kafka.common.serialization.StringDeserializerimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.SparkSessionimportorg.apach
花开不曾落·2020-08-21 06:16

Spark Streaming之DStream的基本工作原理

目录一：SparkStreaming的含义二：DStream的含义三：相关中间件的了解一：SparkStreaming的含义图片SparkEngine：英['endʒɪn]n.引擎，发动机；机车，火车头
威少SOS·2020-08-21 06:53

第3章 大数据kafka采集数据（Dstream创建）

上篇：第2章Dstream入门SparkStreaming原生支持一些不同的数据源。
江湖侠客·2020-08-21 06:51

SparkStreamin-DStream的输出操作以及foreachRDD详解

输出操作概览在Spark应用中，外部系统经常需要使用到SparkStreaming处理后的数据，因此，需要采用输出操作把DStream的数据输出到数据库或者文件系统中。
提灯寻梦在南国·2020-08-21 06:42

Spark Streaming基础

SparkStreaming流式计算框架，类似于Storm常用的实时计算引擎（流式计算）1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算（实时计算
weixin_34061555·2020-08-21 06:02

spark和hive storm mapreduce的比较

SparkStreaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。
weixin_34049948·2020-08-21 06:30

Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0

如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+SparkStreaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》
weixin_33859665·2020-08-21 06:46

pyspark-Spark Streaming编程指南

spark.apache.org/docs/latest/streaming-programming-guide.html2、https://github.com/apache/spark/tree/v2.2.0SparkStreaming
风吴痕·2020-08-21 06:43

spark streaming 滑动窗口

滑动窗口DStream.window(windowlength,slidinginterval)batchinterval:批处理时间间隔，sparkstreaming将消息源（Kafka）的数据，以流的方式按批处理时间间隔切片
yostkevin·2020-08-21 05:12

Spark Streaming介绍，DStream,DStream相关操作(来自学习资料)

一、SparkStreaming介绍1．SparkStreaming概述1.1．什么是SparkStreamingSparkStreaming类似于ApacheStorm，用于流式数据的处理。
to.to·2020-08-21 05:36

Spark搭建历程-《sparkStreaming》1

在虚拟机上搭运行spark程序的时候：spark-submit--queuemedia--classtest.SparkStreamingDemo--masteryarn-cluster--executor-memory2g
sinat_32176267·2020-08-21 05:44

SparkStreaming 搭建《二》运行SparkStreaming在集群上提交方式

本教程主要总结SparkStreaming并打包在集群上提交的方式。
sinat_32176267·2020-08-21 05:44

必读：Spark与kafka010整合

SparkStreaming与kafka010整合读本文之前，请先阅读之前文章：必读：再讲Spark与kafka0.8.2.1+整合SparkStreaming与kafka0.10的整合，和0.8版本的
大数据星球-浪尖·2020-08-21 05:12

Flink教程

部署模式运行规模ApplicationtypesFlink是处理unbounded和boundeddata的分布式的计算引擎，擅长batch和stream的处理方式（spark更擅长batch的方式，sparkstreaming
林子要加油·2020-08-21 05:37

【Spark】SparkStreaming入门解析（二）

（图片来源于网络，侵删）一、SparkStreaming整合Kafka【1】概述开发中我们经常会利用SparkStreaming实时地读取kafka中的数据然后进行处理，在spark1.3版本后，kafkaUtils
默默走开·2020-08-21 05:19

Spark Stream之读取Kafka数据源

两个核心类：KafkaUtils、KafkaCluster（保存zk）案例实操1）需求：通过SparkStreaming从Kafka
qq_43193797·2020-08-21 05:41

SparkStreaming之DStream的创建方式

SparkStreaming之DStream的创建方式1.RDD队列（了解）1.1用法及说明1.2案例实操2.自定义数据源2.1用法及说明2.2案例实操3.Kafka数据源（面试开发重点）3.1版本选型
布莱恩特888·2020-08-21 05:21

机器学习——DStream操作概述

SparkStreaming工作机制在SparkStreaming中，会有一个组件Receiver，作为一个长期运行的任务（Task）运行在一个Executor上，每个Receiver都会负责一个DStream
纪文啊！·2020-08-21 05:44

Flink快速入门一(简介以及WC编程）

文章目录1、什么是Flink1.1有界无界流1.2部署模式2.Flink的编程模型2.1编程模型从低到高如下所示：2.2Time2.2常见的计算引擎编程过程3.FlinkvsSparkStreamingvsStructuredStreamingvsStrom
qq_32641659·2020-08-21 04:17

SparkStreaming连接到kafka，防止重复消费

packagecom.manulife.mbps.behavior.data.streamimportjava.util.Propertiesimportcom.cloudera.com.amazonaws.util.json.JSONObjectimportcom.manulife.mbps.behavior.common.utils.{IpUtil,ValidateUtil}importkaf
OOM_and_Exception·2020-08-21 04:17

Spark Streaming学习笔记

SparkStreaming简介:sparksqlsparkStreamingMlibGraphXSparkCoreSparkStreaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架
堡垒-93·2020-08-21 04:07

Spark java+scala项目打包(jar)

1.法1：maven打包pom.xml文件maven-assembly-pluginfalsejar-with-dependenciesch.kmeans2.SparkStreamingKMeansKafkaExamplemake-assemblypackageassemblyorg.scala-toolsmaven-scala-plugin2.15.2scala-compile-firstcom
ch123·2020-08-21 04:13

Spark Streaming vs. Kafka Stream 哪个更适合你

原文：SparkStreamingvs.KafkaStream作者：MaheshChandKandpal翻译：雁惊寒译者注：本文介绍了两大常用的流式处理框架，SparkStreaming和KafkaStream
钱曙光·2020-08-21 04:39

Spark Streaming使用Kafka作为数据源

官网：SparkStreaming+KafkaIntegrationGuide由于kafka在0.8和1.0之间引入了新版本的ConsumerAPI，所以这儿有两个独立的集成方案。
Mr_249·2020-08-21 04:28

SparkStreaming DStream

DStream就是离散流，它代表了一个持续不断的数据流，DStream的内部，其实是一系列不断产生的RDD,RDD是SparkCore的核心抽象，DStream中的每个RDD都包含了一个时间段内的数据对DStream应用的算子，比如map,其实在底层都会被翻译为对DStream中每个RDD的操作，比如对一个DStream执行一个map操作，会产生一个新的DStream,但是在底层，其实原理为，对输
mn_kw·2020-08-21 04:25

Spark学习笔记：DStream基本工作原理

DStream基本工作原理DStream是SparkStreaming提供的一种高级抽象，英文全称为DiscretizedStream，中文翻译为离散流，它代表了一个持续不断的数据流。
SetsunaMeow·2020-08-21 04:20

Spark修炼之道（进阶篇）——Spark入门到精通：第十二节 Spark Streaming—— DStream Window操作

作者：周志湖微信号：zhouzhihubeyond本节主要内容WindowOperation入门案例1.WindowOperationSparkStreaming提供窗口操作（WindowOperation
zhouzhihubeyond·2020-08-21 04:48

Spark Streaming 进阶与案例实战

SparkStreaming进阶与案例实战SparkStreaming进阶与案例实战1.带状态的算子:UpdateStateByKey2.实战：计算到目前位置累积出现的单词个数写入到MySql中1.createtableCREATETABLE
le3t·2020-08-21 04:40

Spark Streaming核心概念与编程

SparkStreaming核心概念与编程SparkStreaming核心概念与编程1.核心概念StreamingContextCreateStreamingContextimportorg.apache.spark
le3t·2020-08-21 04:40

Spark Streaming入门

SparkStreaming入门1.SparkStreaming入门1.概述SparkStreamingisanextensionofthecoreSparkAPIthatenablesscalable
le3t·2020-08-21 04:40

4.流式计算 - spark direct方式计算手动控制kafka偏移度[spark straming2.1 + kafka0.10.2.0]

流式计算，sparkstreaming之前有sparkcore开发的积累，直接使用sparkstreaming来进行流式计算开发是比较节省开发成本的。
feloxx·2020-08-21 03:00

搭建运行spark streaming过程遇到的问题

搭建运行sparkstreaming过程遇到的问题问题描述：完成sparkstreaming之后执行mvnpackage之后出现如下错误：Failedtoexecutegoalorg.scala-tools
fct2001140269·2020-08-21 03:27

解决spark.rdd.MapPartitionsRDD cannot be cast to streaming.kafka010.HasOffsetRange问题

最近在做sparkstreaming测试的时候,自己出了一个小问题,记录下.贴部分代码:packagecom.ybs.screen.test.dataimportjava.langimportjava.util.Propertiesimportcom.ybs.screen.constant.Constantsimportcom.ybs.screen.model
a904364908·2020-08-21 03:22

SparkStreaming项目实战（二）环境搭建

主要讲解项目中用到的软件，以及介绍软件的安装目录，不会详细的介绍软件如何安装，具体的安装教程网上很多很详细这里顺便记录一下老师提到，我也觉着很有用的一个学习习惯：1、记笔记：把每次课程仔细总结为博客2、阅读官网、英文+阅读github官网项目3、多尝试、多思考，每个都要自己敲出来结果环境配置以一张表格简单记录服务器软件以及对应的版本，因为大数据很多会涉及到版本冲突问题，所以一定要注意版本名称版本U
Franky47·2020-08-21 03:34

[spark streaming] 动态生成 Job 并提交执行

前言SparkStreamingJob的生成是通过JobGenerator每隔batchDuration长时间动态生成的，每个batch对应提交一个JobSet，因为针对一个batch可能有多个输出操作
大写的UFO·2020-08-21 03:53

DStream, DStreamGraph 详解

我们在前面的文章讲过，SparkStreaming的模块1DAG静态定义要解决的问题就是如何把计算逻辑描述为一个RDDDAG的“模板”，在后面Job动态生成的时候，针对每个batch，都将根据这个“模板
Next__One·2020-08-21 03:46

Spark Streaming 中的DStream

DiscretizedStream也叫DStream)是SparkStreaming对于持续数据流的一种基本抽象，在内部实现上，DStream会被表示成一系列连续的RDD(弹性分布式数据集)，每一个RDD
Code_LT·2020-08-21 02:17

Dstream生成RDD实例详解

DStream生成RDD实例详解[酷玩Spark]SparkStreaming源码解析系列，返回目录请猛戳这里「腾讯·广点通」技术团队荣誉出品本系列内容适用范围：*2016.12.28update,Spark2.1
zzzzzzzzzzzzzzzzzxs·2020-08-21 02:25

1、SparkStreaming整合Kafka010读取kafka的三种策略

importorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.TopicPartitionimportorg.apache.kafka.common.serialization.StringDeserializerimportorg.apache.spark.SparkConfimportor
修身从修心开始·2020-08-21 02:43

Spark Streaming-Dstream创建

SparkStreaming原生支持一些不同的数据源。
我是星星我会发光i·2020-08-21 02:06

Spark Dstream 创建

3.Dstream创建SparkStreaming原生支持一些不同的数据源。
weixin_30836759·2020-08-21 02:22

Spark Streaming的基础抽象DStream

SparkStreaming的基础抽象DStreamDStream概念DiscretizedStream是SparkStreaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流
Running_Tiger·2020-08-21 02:52

Spark学习02——创建DStream的方法

SparkStreaming提供两类内置流媒体源。基本来源：StreamingContextAPI中直接提供的源。示例：文件系统和套接字连接。
lishengping_max·2020-08-21 02:10
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他