Sparkstreaming

Spark学习（1）——初识spark

Spark包含了大数据领域常见的各种计算框架；比如SparkCore勇于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
Mbappe·2020-07-28 15:25

Spark Streaming初探

SparkStreaming初探SparkStreaming是一个基于Spark核心的流式计算的扩展。
OopsOutOfMemory·2020-07-28 14:01

spark streaming 集成kafka0.10 offset是如何管理的源码解析

sparkstreaming+kafka0.10集成默认sparkpartition和kafkapartition数量是1:1，这样可以使得每个sparkpartition对应一个kafkapartition
稻草人_d41b·2020-07-28 13:23

Spark- 由于 dynamicAllocation 导致的 executor 不断增加的坑

参考文章：解决CDHSparkStreaming任务启动之后executor不停增长的问题,num-executors配置不管用。...
高达一号·2020-07-28 13:20

Spark Streaming从Kafka中拉取数据，并且使用过“窗口函数”统计一些流量信息

一、应用案例场景：在SparkStreaming中，我们通常计算的是一段时间间隔内的数据。
to.to·2020-07-28 12:09

Azure中Databricks上运行spark streaming job

比较我们要建一个sparkstreaming的proje
tzw_cs·2020-07-28 12:32

浪院长 | spark streaming的使用心得

今天，主要想聊聊sparkstreaming的使用心得。1，基本使用主要是转换算子，action，和状态算子，这些其实，就按照api手册或者源码里接口介绍结合业务来编码。
大数据星球-浪尖·2020-07-28 10:37

解决如何对sparkStreaming的DataFrame某一column的部分内容进行修改！

所用的软件版本：spark2.3.0hbase1.4.6IDEA2019.1今天遇到一个问题，sparkStreaming的DataFrame的有些column的内容有换行符\n，然后DF.show()
reedom1991·2020-07-28 10:44

Flink 笔录

Flink文章目录Flink一、Flink简介1.1Flink的特点1.2Flink与SparkStreaming对比二、快速上手2.1搭建maven工程2.2批处理wordcount三、Flink部署
马本不想再等了·2020-07-28 09:38

Spark Streaming快速入门

SparkStreaming一、概述http://spark.apache.org/docs/latest/streaming-programming-guide.htmlSparkStreaming是
Mcy2017·2020-07-28 08:27

sparkstreaming之kafka--Spark Streaming对接Kafka的方式一KafkaReceiver

{Seconds,StreamingContext}/***SparkStreaming对接Kafka的方式一*/objectKaf
羽翼天宇·2020-07-28 07:01

Sparkstreaming之KafKa持久化offsets到Zookpeer数据读取

SparkStreaming+Kafka的两种模式receiver模式和Direct模式Sparkstreming+kafkarecevier模式理解receiver模式理解：在SparkStreaming
定格我的天空·2020-07-28 06:57

Spark 面试题

总结问题答案sparkstage化分宽依赖，如reducebykeygroupbykeygroupbykey和reducebykey的区别reducebykey提前做一次合并sparkstreaming
wending-Y·2020-07-28 05:47

Flink广播流、广播状态原理简析

Prologue在很久之前的《SparkStreaming/Flink广播实现作业配置动态更新》一文中，笔者简单介绍了FlinkStreamingAPI中广播流和广播状态的使用方法。
LittleMagics·2020-07-28 04:34

StreamingPro使用教程

复制如下模板{"esToCsv":{"desc":"测试","strategy":"streaming.core.strategy.SparkStreamingStrategy","algorithm"
祝威廉·2020-07-28 03:32

「Spark-2.2.0」Structured Streaming - Watermarking操作详解

SparkStreaming中ExactlyOnce指的是：每条数据从输入源传递到Spark应用程序ExactlyOnce每条数据只会分到ExactlyOncebatch处理输出端文件系统保证幂等关系streamingDataFrames
www.thutmose.cn·2020-07-28 02:41

使用Spark Streaming SQL基于时间窗口进行数据统计

使用SparkStreamingSQL可
chikuai9995·2020-07-27 20:45

大数据技术之_19_Spark学习_04_Spark Streaming 应用解析 + Spark Streaming 概述、运行、解析 + DStream 的输入、转换、输出 + 优化...

第1章SparkStreaming概述1.1什么是SparkStreaming1.2为什么要学习SparkStreaming1.3Spark与Storm的对比第2章运行SparkStreaming第3章架构与抽象第
aodawu2891·2020-07-27 19:35

spark进阶（五）

SparkStreamingSparkStreaming框架计算流程：SparkStreaming是将流式计算分解成一系列短小的批处理作业。
a_victory·2020-07-27 18:23

spark的初步学习知识点

SPARK核心组件spark包括四大组件：SparkStreaming(类似于Storm，进行流式计算，处理的是实时数据(流式数据))Spar
a_6_9_z·2020-07-27 18:51

Spark Streaming优化建议

文章目录1.缓存操作2.Checkpoint机制3.DriverHA4.代码实战4.1Driver代码实现4.2DriverHA的配置5.SparkStreaming程序的部署、升级与维护6.调优建议6.1
DanielMaster·2020-07-27 18:04

Receiver与Direct区别

SparkStreaming获取Kafka的数据有两种方式：Receiver和Direct。
Peasmaster·2020-07-27 18:02

Spark超时重启、自动拉起脚本(Python版)

程序说明无自动拉起脚本SparkStreaming程序往往不稳定，遇到一些网络延迟或者部分节点挂掉会导致程序批次时间过长，从而影响程序的实时性。
为了抽短袖·2020-07-27 16:03

SparkStreaming 根据指定字段进行去重，并保留时间为最新的那条记录(消费Kafka版本为 0.10)

//对数据进行过滤，取时间为最新的那条记录valinputFilterIterable:RDD[(String,String)]=inputFeedRDD.map(inputRDD=>{vala:ConsumerRecord[String,String]=inputRDDvalinputString:String=inputRDD.value()valinputDataJson:JSONObjec
Han_Lin_·2020-07-27 15:05

本地IDEA编译SparkStreaming代码报错问题小集锦

问题1：java.lang.ClassNotFoundException:com.mysql.jdbc.Driver解决办法：pom文件依赖加上 mysql mysql-connector-java 5.1.47问题2：Causedby:java.lang.ClassNotFoundException:org.apache.spark.SparkConfpom文件去掉provides，打胖包的时候
HBinz·2020-07-27 14:15

spark例子整理

SparkStreaming是一个准实时流处理框架，处理响应时间一般以分钟为单位，也就是说处理实时数据的延迟时间是秒级别的；Storm是一个实时流处理框架，处理响应是毫秒级的。
天天随笔·2020-07-27 13:09

记一次spark streaming内存泄漏分析

一个sparkstreaming应用executor所耗内存随着时间的增长一直在增加，直到executor内存不足导致应用异常终止，单从代码层面上还无法定位到内存泄漏的位置。
struggling_rong·2020-07-27 13:28

SparkStreaming

一、简介sparkStreaming用于流式数据的处理。SparkStreaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。
MXC肖某某·2020-07-24 16:00

阿里巴巴资深架构师熬几个通宵肛出来的Spark+Hadoop+中台实战pdf

架构与运行逻辑弹性分布式数据集2、Spark开发与环境配置Spark应用开发环境2置使用Intellii开发Spark远程调试Spark程序Spark编译配置Spark源码阅读环境3、BDAS简介SQLonSparkSparkStreamingGraphXMIlib4
Java架构俱乐部·2020-07-16 20:59

大数据最火爆技术spark之王家林2016最新高清视频教程

基础到调通第一个wordcount程序(课程1-10讲)02.Spark内核解密(11-43讲全)03.Spark性能优化(44-54讲全)04.SparkSQL从零起步彻底精通彻底实战(55-81缺68)05.SparkStreaming
qq_38472973·2020-07-16 07:59

Spark Streaming集成Kafka的两种方式

SparkStreaming集成Kafka转载请标明原文链接：原文链接在实际开发中SparkStreaming经常会结合Flume以及Kafka来实时计算数据。
不清不慎·2020-07-16 06:25

Flink学习笔记之Flink简介

文章目录Flink简介1.1Flink的初步认识1.2选择Flink的理由SparkStreamingVSFlink运行时架构1.3Flink的重要特点1.3.1事件驱动型（Event-Driver）1.3.2
开发实习生·2020-07-16 06:55

sparkStreaming拉取kafka010的bug

目前kafka版本中，很多公司在用kafka010，但是在用sparkstreaming去消费kafka时，很多人都会碰到一个错误Causedby:java.lang.AssertionError:assertionfailed
周幽王丶·2020-07-16 05:16

(第四弹)Flink——Flink 如何管理 Kafka 消费位点

Flink与SparkStreaming不同的之处，就是在于Flink是纯天然的支持Exactly-once模式，保证数据的不丢失。
spark大数据玩家·2020-07-16 05:04

Spark Streaming + Kafka

pom.xmlsparkstreaming:org.apache.sparkspark-streaming_2.112.1.0kafka:org.apache.sparkspark-streaming-kafka
empcl·2020-07-16 05:57

Spark介绍系列01

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架
李孟lm·2020-07-16 05:52

如何优雅地关闭SparkStreaming

https://www.jianshu.com/p/b11943c94b8a参考2（已经过时）给出来一个方法，在scala中sys.ShutdownHookThread可以捕获SIGTERM方法，所以当收到kill-SIGTERM时，能够优雅的退出；defmain(args:Array[String]){//Prepareyourenvironmentvalssc=newStreamingCont
大米饭精灵·2020-07-16 04:28

如何优雅地终止正在运行的Spark Streaming程序

一直运行的SparkStreaming程序如何关闭呢？是直接使用kill命令强制关闭吗？
XiaoGuang-Xu·2020-07-16 04:55

sparkStreaming Kafka数据丢失问题

针对SparkStreaming,为了保证数据尽量不丢失，自己管理offset采用手动提交offsettozk的方案：2017-10-2611:46:22Executortasklaunchworker
mtj66·2020-07-16 03:07

sparkstreaming对接kafka出现的数据积压问题

kafka数据积压问题1.问题描述生产环境开发了一套sparkstreaming对接kafka，并进行数据处理的程序。
mn_kw·2020-07-16 03:08

[SQL]spark sql 直接查询hive或impala中的数据

SparkSQL结合SparkStreaming，使用SQL完成实时计算中的数据统计–lxw的大数据田地http://lxw1234.com/archives/2015/11/552.htmFlume+
葡萄喃喃呓语·2020-07-16 01:48

Spark Streaming:工作原理

SparkStreaming简介SparkStreaming是SparkCoreAPI的一种扩展，它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。
焦焦^_^·2020-07-16 01:03

Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN

和R的高级API，以及一个支持通用的执行图计算的优化过的引擎.它还支持一组丰富的高级工具,包括使用SQL处理结构化数据处理的SparkSQL,用于机器学习的MLlib,用于图形处理的GraphX,以及SparkStreaming
片刻_ApacheCN·2020-07-16 00:19

[Spark应用]-- 创建单例的kafka链接

一、创建一个单例的sparkstreamingkafka链接类:KafkaGetStreamUtil.javaimportenn.bean.SparkProperties;importkafka.serializer.StringDecoder
highfei2011·2020-07-15 23:54

大数据Spark企业级实战版【学习笔记】---Spark简介

1.1Spark简介基于RDD，Spark成功构建了一体化、多元化的大数据处理体系，而且Spark成功使用SparkSQL、SparkStreaming、MLlib、GraphX近乎完美地解决了大数据中
WEL测试·2020-07-15 23:00

Spark kafka + streaming自适应topic partitions变化

背景sparkstreaming+kafka有两种方案接收kafka数据-基于receiver的方案和direct方案(noreceiver方案)。
路飞_5611·2020-07-15 23:18

Spark Streaming 读取Kafka数据

2.112.1.1org.apache.sparkspark-streaming_2.112.1.1org.apache.sparkspark-streaming-kafka-0-8_2.112.1.12.SparkStreaming
卡列宁的微笑66·2020-07-15 22:33

理解flink的时间概念和watermark

最近在慢慢看flink的知识，我们都知道，flink和sparkstreaming的一大区别就是flink支持多种时间类型以及增加了watermark水位的概念，那么flink增加的这些功能有什么好处呢
bradyM·2020-07-15 21:03

flink入门之scala实现异步IO访问redis及踩坑记录(1)

问题：在使用sparkstreaming的过程中，我们经常有一个需求是把中间变量写到redis，然后在流程序中去读redis的中间变量。
bradyM·2020-07-15 21:32

SparkStreaming kafka zookeeper本地环境调试安装

1.需求线上需要使用流式数据实时反馈CTR，因此想用sparkstreaming计算相关数据。之前一直没有在本地配置streaming的调试环境，因此在本地安装一下streaming的调试环境并记录。
bitcarmanlee·2020-07-15 20:25
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他