sparkstreaming

Kafka核心API——Stream API

简而言之，KafkaStream就是一个用来做流计算的类库，与Storm、SparkStreaming、Flink的作用类似，但要轻量得多。
ZeroOne01·2020-05-24 22:02

Spark Streaming：高级数据源

目录一.SparkStreaming接收Flume数据1.基于Flume的Push模式2.基于CustomSink的Pull模式二.SparkStreaming接收Kafka数据1.搭建ZooKeeper
Movle·2020-05-19 00:45

金融风控系统设计 - 外汇管理风控系统

涵盖了互联网信贷核心的系统建设，基于Spark[SparkML,SparkStreaming(Fl
songroom·2020-05-17 21:22

SparkStreaming - SparkStreaming与Kafka0.10整合

官网文档阅读笔记https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.htmlSparkStreaming+KafkaIntegrationGuideKafkabrokerversion0.10.0orhigherTheSparkStreamingintegrationforKafka0.10issimilari
QiangAlfredChen·2020-05-15 23:38

spark系列-9、Spark Streaming调优

要在集群上的SparkStreaming应用程序中获得最佳性能，需要进行一些调整。调整主要考虑两个方面：通过有效地使用群集资源来减少每批数据的处理时间。
abc十号·2020-05-05 21:00

spark系列-8、Spark Streaming

参考链接：http://spark.apache.org/docs/latest/streaming-programming-guide.html一、SparkStreaming介绍SparkStreaming
abc十号·2020-05-05 15:00

SparkStreaming限速

SparkStreaming限速Spark端限速调整spark.streaming.kafka.maxrateperpartiton参数，它可以控制每秒处理的消息数Kafka端限速为某一个消费者设置每秒消费的字节数如下
你值得拥有更好的12138·2020-04-19 16:14

spark 从 kafka 消费的两种方式，分别有什么特点

如果要启用高可靠机制，让数据零丢失，就必须启用SparkStreaming的预写日志机制（WriteAheadLog，WAL）。
花未全开*月未圆·2020-04-17 12:00

Spark从入门到精通33:Spark Streaming：大数据实时计算介绍

SparkStreaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的SparkCore的。
勇于自信·2020-04-14 22:33

Apache Kafka -8 与Spark集成

原文地址：http://blogxinxiucan.sh1.newtouch.com/2017/07/13/Apache-Kafka-与Spark集成/ApacheKafka-与Spark集成关于SparkSparkStreamingAPI
全能程序猿·2020-04-14 15:05

Spark Streaming 数据清理机制

大家刚开始用SparkStreaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast系统会帮忙自己清理掉么？还是说必须自己做清理？
尼小摩·2020-04-14 03:21

关闭spark streaming

关闭sparkstreaming的时候需要在跑完一个batch之后关闭，不然就有可能会有丢失数据或者重复数据的风险。
Moon_Storm·2020-04-13 12:08

【容错篇】WAL在Spark Streaming中的应用

【容错篇】WAL在SparkStreaming中的应用WAL即writeaheadlog（预写日志），是在1.2版本中就添加的特性。
牛肉圆粉不加葱·2020-04-13 04:17

spark streaming应用一个越跑越慢的bug

背景：我需要在sparkstreaming上做一个窗口的统计功能，但是因为一些原因，不能利用window相关算子。
AlbertCheng·2020-04-12 00:56

坑合集

Flumeflume细节Hive数据倾斜Hive优化Hive分区表新增字段为null的bug及解决方法image.pngSparkSql数据倾斜spark数据倾斜SparkStreaming+KafkaSparkStreaming
你值得拥有更好的12138·2020-04-11 22:59

SparkStreaming坑

SparkStreaming坑Kafka+CheckPoint的坑在storm里面是通过ack和Trident，在sparkstreaming里面，如果是1.3版本之前是通过Receiver方式读取kafka
你值得拥有更好的12138·2020-04-11 17:38

Spark Streaming 编程入门指南

SparkStreaming是核心SparkAPI的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。
狂乱的贵公子·2020-04-11 14:00

Spark Streaming 编程入门指南

SparkStreaming是核心SparkAPI的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。
废物大师兄·2020-04-11 14:00

一次spark性能问题的解决过程

背景某局点上线新版本后，实时标注（sparkstreaming任务）运行一个小时后，任务卡死。
maige·2020-04-11 12:40

StreamingPro

DeclarativeworkflowsforbuildingSparkStreamingSparkStreamingSparkStreamingisanextensionofthecoreSparkAPIthatenablesstreamprocessingfromavarietyofsources.Sparkisaextensibleandprogrammableframeworkformas
祝威廉·2020-04-10 16:43

spark从入门到放弃五十二:Spark Streaming(12)结合spark Sql

文章地址：http://www.haha174.top/article/details/2536271.简介SparkStreaming强大的地方在于，可以于sparkcore和sparksql整合使用
意浅离殇·2020-04-10 13:34

大数据运维问题记录(九)

问题解决:首先对他们的数据流向进行了解后得知，数据是从Flume采集到Kafka再由Sparkstreaming到Elasticsearch,Elasticsearch做为数据存储，版本为2.3.2，CRM
火车飞侠·2020-04-09 21:42

Spark Q&A 目录

为什么SparkStreaming+Kafka很难保证exactlyonce？
牛肉圆粉不加葱·2020-04-08 20:50

赛赛的网络日志-记录点滴-Jerry Shao 的blog

JerryShao的blogtestHelloWorldarchitectureSummaryofSparkStreamingInvestigationofDynamicAllocationinSpark
Albert陈凯·2020-04-08 08:57

BlockingQueue

最近分析sparkstreaming源码时，发现内部block是用ArrayBlockingQueue存储的，特总结一下相关知识。
wlysola·2020-04-07 21:29

通过案例对SparkStreaming 透彻理解三板斧之一：解密SparkStreaming另类实验

Spark源码定制选择从SparkStreaming入手这是一个流处理的时代，一切数据如果不是流式的处理或者跟流式的处理不相关的话，都是无效的数据。
milkfan·2020-04-07 01:27

Spark组件简介

包括任务调度，内存管理，容错机制等内部定义了RDDs（弹性分布式数据集）提供了许多APIs来创建和操作这些RDDs为其他组件提供底层服务SparkSQLSpark处理结构化数据的库，类似HiveSQLSparkStreaming
小透明苞谷·2020-04-06 22:18

Spark Streaming - Receiver启动流程

在SparkStreaming整个架构体系里面，数据接收其实最为关键的一个流程，在数据接收完之后，后面的数据处理上面就是复用SparkCore的数据处理架构(包括BlockManager来管理数据)，之后就是
regrecall·2020-04-06 22:36

log4j配置-spark on yarn client mode

sparkstreaming的程序如果运行方式是yarnclientmode，那么如何指定driver和executor的log4j配置文件？
Woople·2020-04-06 21:51

[APP大数据项目]第六天笔记

sparkstreaming实现用户的准实时更新sparkthriftserver替换hiveserver2HBase创建app_users表:基本属性字段，firsttime(第一次启动时间),lasttime
猛男落泪为offer·2020-04-06 19:50

spark基础学习（二）

本章节主要介绍spark组件之一SparkStreaming的内容。SparkStreaming是用来对实时数据进行流式计算的组件。
Pt_Chen·2020-04-06 15:43

pyspark与py4j线程模型简析

事由上周工作中遇到一个bug，现象是一个sparkstreaming的job会不定期地hang住，不退出也不继续运行。
Garfieldog·2020-04-06 12:19

15、Spark Streaming源码解读之No Receivers彻底思考

在前几期文章里讲了带Receiver的SparkStreaming应用的相关源码解读，但是现在开发SparkStreaming的应用越来越多的采用NoReceivers（DirectApproach）的方式
飞帅记忆·2020-04-05 18:36

搭建日志组件链

为了让数据流起来，如何跨越重重网络和机器的阻碍到达终点是很多人锁考虑的，为了离线或者实时处理数据计算，我们需要对组建日志系统有一个清晰的认识，比如1.kafka--->flume---->HDFS---->SPARKstreaming
Helen_Cat·2020-04-05 12:22

Spark Streaming源码解读之Receiver生成全生命周期彻底研究和思考

一：Receiver启动的方式设想1.SparkStreaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个BatchDurations就可以根据汇报的数据生成不同的
阳光男孩spark·2020-04-05 05:27

Spark Streaming 无法找到数据块问题

最近一个SparkStreaming项目停止了几个小时，发现后设置为自动重启。结果，SparkStreaming频繁重启，平均十分钟左右就要重启一次。
小小辉·2020-04-04 11:33

Spark从入门到精通1:spark概述

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，SparkSQL用于交互式查询，SparkStreaming用于实时流式计算，SparkMLlib用于机器学习，SparkGraphX
勇于自信·2020-04-03 16:55

听大数据十年工作经验大牛来讲Spark核心技术与高级应用

Spark集成SparkSQL、SparkStreaming、MLlib、GraphX.SparkR等子框架，并且提供了全新的大数据处理方式，让从业者的工作变得越来越便捷。本篇从基础讲起，
IT程序员·2020-04-02 16:06

大数据学习技术指南

一、大数据通用处理平台1、Spark2、Flink3、Hadoop二、流式计算1、Storm/JStorm2、SparkStreaming3、Flink三、分布式存储1、HDFS四、资源调度1、Yarn2
lmem·2020-04-02 15:05

Spark从入门到精通28：Spark Streaming简介

1.什么是SparkStreamingSparkStreaming是在SparkCoreAPI的基础上，实现的可扩展、高吞吐、可容错的实时数据流处理引擎。
金字塔下的小蜗牛·2020-04-02 09:32

spark应用开发-streaming&kafka

之前一段时间通过SparkStreaming+Kafka处理上网日志数据的一些记录，做个备忘。
migle·2020-04-02 01:48

Spark Sql 源码剖析（一）：sql 执行的主要流程

本文基于Spark2.1，其他版本实现可能会有所不同之前写过不少SparkCore、SparkStreaming相关的文章，但使用更广泛的SparkSql倒是极少，恰好最近工作中使用到了，便开始研读相关的源码以及写相应的文章
牛肉圆粉不加葱·2020-03-31 20:06

通过案例对透彻理解三板斧之二：解密SparkStreaming运行机制和架构进阶之运行机制和架构

SparkStreaming工作原理：SparkSreaming接收实时输入数据流并将它们按批次划分，然后交给Spark引擎处理生成按照批次划分的结果流。
milkfan·2020-03-31 19:11

Spark Streaming架构及工作原理

1、SparkStreaming有哪些组件？2、Micro-BatchArchitecture如何理解？3、SparkStreaming工作原理是什么？4、如何进行DStream操作？
贝拉美·2020-03-31 14:16

Spark介绍及搭建

Spark提供了大数据处理的一站式解决方案，以SparkCore为基础推出了SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等组件。
零度沸腾_yjz·2020-03-31 04:31

Spark Streaming之flume,kafka集成

sparkstreaming+kafkaintegrationhttp://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html
踏雪寻梅4149·2020-03-31 03:11

Spark Streaming + Spark SQL 实现配置化ETL流程

SparkStreaming非常适合ETL。
祝威廉·2020-03-30 23:47

Receiver的分发

一、SparkStreaming的数据源对于SparkStreaming中处理的数据无论是通过内部接口获取，还是通过Kafka、Flume、以及TCPSocket等外部数据源，对于这些数据的处理，这些整个过程的数据均抽象于
土土的简书·2020-03-30 21:37

『DT_Spark』学习 Spark Streaming 的重要性

学习SparkStreaming的重要性-andyshar的博客-博客频道-CSDN.NEThttp://blog.csdn.net/andyshar/article/details/51175570Hadoop
葡萄喃喃呓语·2020-03-30 02:26

Spark Streaming使用场景及优化总结

SparkStreaming适合场景Storm流式计算（扶梯）优点：数据延迟度很低，Storm的事务机制要比SparkStreaming的事务机制要完善（什么是事务机制？
分裂四人组·2020-03-29 17:13
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他