sparkstreaming

Spark Core 解析：RDD

引言SparkCore是Spark的核心部分，是SparkSQL，SparkStreaming，SparkMLlib等等其他模块的基础,SparkCore提供了开发分布式应用的脚手架，使得其他模块或应用的开发者不必关心复杂的分布式计算如何实现
liam08·2020-07-07 13:52

spark streaming stateful DStream 持久保存RDD/有状态的内存

以sparkstreaming为例，就是希望有个数据集能够在当前批次中更新，再下个批次后又可以继续访问。一个最简单的实现是在driver的内存中，我们可以自行保存一个大的内存结构。
raindaywhu·2020-07-07 11:36

sparkstreaming读取kafka流，按自身json数据自带的业务时间，增量写入hdfs对应日期目录

packagecom.weshare.bigdata.ods.handler;importcom.alibaba.fastjson.JSONObject;importcom.weshare.bigdata.entity.ClusterEnvirEntity;importcom.weshare.bigdata.facility.ClusterEnvirFacility;importcom.wesha
goenkk·2020-07-07 09:17

SparkStreaming读取kafka数据（2）-DirectStream方式

项目依赖org.apache.sparkspark-core_2.112.3.0org.apache.sparkspark-sql_2.112.3.0org.apache.sparkspark-streaming_2.112.3.0org.apache.sparkspark-streaming-kafka-0-8_2.112.3.0dircet方式的优点基于direct的方式，使用kafka的简单
黑暗行动·2020-07-07 05:51

关于spark core 和spark streaming 的区别

目录1.sparkcore快速使用简单通用运行灵活多种运行模式访问多种数据源总结2.sparkstreaming原理，概念，特点整合kafaka1.sparkcoresparkcore是一个基于内存的，
大数据王一·2020-07-06 23:07

Spark性能优化 -- > Spark SQL、DataFrame、Dataset

SparkSQL简介SparkSQL是Spark中具有大规模关系查询的结构化数据处理模块（spark核心组件：sparksql，sparkstreaming，sparkml
村头陶员外·2020-07-06 23:56

9.Spark Streaming

SparkStreaming1WhyApacheSpark2关于ApacheSpark3如何安装ApacheSpark4ApacheSpark的工作原理5spark弹性分布式数据集6RDD持久性7spark
全能程序猿·2020-07-06 21:58

Spark基础知识详解

它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的SparkSQL，用于机器学习的MLlib，用于图形处理的GraphX和SparkStreaming。
张伯毅·2020-07-06 12:18

淘宝的开源产品，你不行就别开源

基于hadoop那一套肯定需要：1.基于hdfs做分布式存储2.基于hbase做分布式nosql数据库3.基于Hive（批量分析）和sparkstreaming做实时统计分析平台4.基于开源ETL工具的数据导入导出工具基于上面这些实现的基本云平台功能都没有问题
yumingadmin·2020-07-06 11:45

1.系统架构

目录1.系统架构2.环境搭建2.1本地环境下kafka批量导入数据2.2kafka-manager的安装与配置3.1SparkStreaming性能调优(一):解决并行度3.2SparkStreaming
PigPIgAutumn·2020-07-06 09:22

Spark Streaming的背压机制（类比Storm雪崩）

这就意味着SparkStreaming处理数据的速度要小于数据接收的速度，数据处理能力低，导致数据全部堆积在内存中，进一步导致Receiver所在的Executor会发生内存溢出的问题。
乖乖猪001·2020-07-06 09:47

spark streaming程序启动配置参数

sparkstreaming启动参数spark-submit运行方式–masteryarn-cluster指定driver端得到核数–driver-cores4指定driver端的内存–driver-memory2G
Lifecycle-log4j·2020-07-06 05:46

深度:Hadoop对Spark五大维度正面比拼报告！

如果想批处理流量数据，并将其导入HDFS或使用SparkStreaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLLib会更好地满足您的需求吗?为了增加混淆，Spar
weixin_34403693·2020-07-06 01:32

com.esotericsoftware.kryo.kryoexception java.util.ConcurentModificationException

近期有网友看我的“整合Kafka到SparkStreaming——代码演示样例和挑战”文章，讲kafka对象放到pool并通过broadcast广播出去：然后在开发測试阶段报错例如以下：然后就找我，说“
weixin_34102807·2020-07-06 00:44

spark streaming 处理空batch

2019独角兽企业重金招聘Python工程师标准>>>SparkStreaming是近实时(nearrealtime)的小批处理系统。
weixin_33882443·2020-07-05 23:32

如何基于 Spark Streaming 构建实时计算平台

GitChat作者：潘国庆原文：如何基于SparkStreaming构建实时计算平台关注微信公众号：「GitChat技术杂谈」一本正经的讲技术###前言随着互联网技术的迅速发展，用户对于数据处理的时效性
weixin_33810006·2020-07-05 23:15

记一次spark streaming+kafka 运行时间不稳定调优历程

sparkstreaming+kafka运行batchprocesstime不稳定问题梳理问题现象排障调优历程解决方案问题现象题主在去年8月份首次使用sparkstreaming进行流式计算的时候遇到的一个问题
张老七没脾气·2020-07-05 18:59

Spark Streaming介绍以及简单使用

一、SparkStreaming介绍SparkStreamingisanextensionofthecoreSparkAPIthatenablesscalable,high-throughput,fault-tolerantstreamprocessingoflivedatastreams.SparkStreaming
蜗牛!Destiny·2020-07-05 18:34

spark笔试题1

1.Spark的四大组件下面哪个不是(D)A.SparkStreamingBMlibCGraphxDSparkR2.下面哪个端口不是spark自带服务的端口(C)A.8080B.4040C.8090D.180803
沙漏无语·2020-07-05 16:23

学习博客

##大数据之实时计算SparkStreaming源码解析系列https://github.com/lw-lin/CoolplaySpark/blob/master/SparkStreaming源码解析系列
eric_lee·2020-07-05 15:32

spark DataFrame数据插入mysql性能优化（源码解析）

这里说的Spark包含SparkCore/SparkSQL/SparkStreaming，实际上都一样操作。以下展示的都是实际项目中的代码。
Therefore丶·2020-07-05 15:27

Spark Streaming源码解读之数据清理内幕彻底解密

SparkStreaming应用是持续不断地运行着的。如果不对内存资源进行有效管理，内存就有可能很快就耗尽。SparkStreaming应用一定有自己的对象、数据、元数据的清理机制。
阳光男孩spark·2020-07-05 13:45

在IntelliJ中运行并扩展Kafka Streams

不同于SparkStreaming和Flink等，使用KafkaStreams不需要单独的集群，只要在代码中调用KafkaStreams的API即可，并且天生可以享受Kafka本身带来的优势：高可扩展性
表现力·2020-07-05 13:01

Spark Streaming源码解读之Receiver在Driver详解

一：Receiver启动的方式设想1.SparkStreaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个BatchDurations就可以根据汇报的数据生成不同的
snail_gesture·2020-07-05 12:10

陌陌:使用Spark SQL和Alluxio加速Ad Hoc查询

星球里经常有人问，如何保存sparkstreaming状态，回答的时候也会说道Alluxio。可能很多公司并没有去做Alluxio相关的使用。
大数据星球-浪尖·2020-07-05 11:13

Spark Streaming Backpressure分析

1.为什么引入Backpressure默认情况下，SparkStreaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batchprocessingtime>batchinterval
这个该叫什么呢·2020-07-05 09:24

SparkStreaming应用解析(一)

文章目录一、SparkStreaming是什么SparkStreaming的关键抽象SparkStreaming的整体架构SparkStreaming的背压机制SparkStreaming的入口StreamingContext
2NaCl·2020-07-05 08:16

黑猴子的家：为什么要有 Kafka Stream

当前已经有非常多的流式处理系统，最知名且应用最多的开源流式处理系统有SparkStreaming和ApacheStorm。
黑猴子的家·2020-07-05 05:30

使用 JGibbLDA 进行 LDA 模型训练及主题分布预测

优先使用SparkLDA的主要原因是希望和能和SparkStreaming结合在一起进行实时预测。
牛肉圆粉不加葱·2020-07-04 21:07

游戏报表方案设计

一.三种方案方案1.sparkstreaming做实时数据分析，hive做数据仓库，sparksql做离线数据分析方案2.sparkstreaming做数据同步，es做数据仓库，sparksql做离线数据分析方案
kequanjade·2020-07-04 20:59

SparkStreaming官方示例程序运行方式

一、前置条件安装NetCat（有“瑞士军刀”之称，简称nc），输入如下命令：yuminstall-ync二、方式一：直接运行官方Example2.1打开一个shell，输入命令：nc-lk99992.2打开另一个shell，切换到SPARK_HOME/bin目录，输入命令：./run-examplestreaming.NetworkWordCountlocalhost9999三、方式二：spark
an7800666·2020-07-04 10:43

SparkStreaming + kafka 的 offset 保存在 Zookeeper、MySQL、HBase、Redis，kafka 中

前言（代码亲测）Streaming-kafka-0-8mysql、zookeeperStreaming-kafka-0-10kafka、redis其中都是翻阅前辈们的代码分享，总结汇总在这里供自己参考，但kafka的offset生产一般都维护在HBase、kafka、mysql中，zookeeper维护需要消耗zookeeper资源，切zookeeper还是比较昂贵的。Kafka做为一款流行的分布
夜古诚·2020-07-04 06:27

Spark Streaming应用启动过程分析

本文为SparkStreaming源码剖析的第三篇，主要分析SparkStreaming启动过程。
weixin_30877493·2020-07-04 02:26

spark源码阅读基本思路

比如sparkstreaming与kafka早期版本结合，是不支持动
浪尖聊大数据-浪尖·2020-07-03 23:38

Kafka+Spark Streaming如何保证exactly once语义

在Kafka、Storm、Flink、SparkStreaming等分布式流处理系统中（没错，Kafka本质上是流处理系统，不是单纯的“消息队列”），存在三种消息传递语义（messagedeliverysemantics
LX旭日东升·2020-07-02 17:17

kafka 顺序消费， spark streaming exactly-once以及零丢失的一些总结

–>分布式流式平台生产者sourceBrokerchannel消费者sink正常部署的是：Broker进程（一个机器一个（分布式），一个机器多个（伪分布式））使用场景：Flume-->Kafka-->Sparkstreaming
holomain·2020-07-02 17:53

[spark streaming] DStream 和 DStreamGraph 解析

看sparkstreaming源码解析之前最好先了解sparkcore的内容。前言SparkStreaming是基于SparkCore将流式计算分解成一系列的小批处理任务来执行。
BIGUFO·2020-07-02 17:01

spark Streaming +kafka 的offset数据保存MySQL、hbase、redis，zookeeper

Kafka做为一款流行的分布式发布订阅消息系统，以高吞吐、低延时、高可靠的特点著称，已经成为SparkStreaming常用的流数据来源。
曹雪朋·2020-07-02 16:42

spark streaming任务,读kafka写入mysql

1.背景sparkstreamingdirect方式读取kafka消息，设置checkpoint并写入mysql2.发送数据到kafkapackagecom.bigdata.kafka;importjava.util.Properties
灰二和杉菜·2020-07-02 15:58

Spark hadoop票据过期问题HDFS_DELEGATION_TOKEN

Sparkstreaming应用运行7天之后，自动退出，日志显示tokenforxxx(用户名):[email protected],renewer=yarn
mlwise·2020-07-02 12:36

spark与Flink对比

批流理念不同spark准确的说是批处理，Sparkstreaming是微批处理，spark底层都依赖于RDDflink是流式处理，批处理看做是有限的流处理SQLsparksql支持的更好flink一般，
herokang·2020-07-02 11:02

【推荐实践】Flink 状态(State)管理在推荐场景中的应用

背景Flink作为纯流式大数据实时计算引擎，较于SparkStreaming的微批处理引擎，不管是内存管理，多流合并，还是时间窗口，迭代处理上，Flink在实时计算场景更较适合。
m0_37586850·2020-07-02 11:00

Spark Streaming开发入门——WordCount（Java&Scala）

2、开发环境采用eclipsemaven工程，需要添加SparkStreaming依赖。
唐予之_·2020-07-02 10:29

flume+kafka+spark streaming日志流式处理系统搭建实验

伴随着spark的强势崛起，其内置的sparkstreaming也随着spark的快速版本迭代，逐渐变的稳定和易用。
江畔独步·2020-07-02 09:45

spark streaming参数调优

应用sparkstreaming的时候，可以在sparkUI页面监控sparkstreaming的运行，UI页面有一个Streaming选项卡，展示如下：里面有四个选项，分别是inputrate,，schedulingdelay
littlely_ll·2020-07-02 08:35

pyspark streaming与Kafka的应用及offset的手动设置

sparkstreaming现在主要分为两个部分，一个是DStreams，另一个就是StructuredStreaming，前一个是基于RDD进行编程，后一个是基于DataFrame或Dataset编程的
littlely_ll·2020-07-02 08:05

实时流计算、Spark Streaming、Kafka、Redis、Exactly-once、实时去重

本文以Kafka–>SparkStreaming–>Redis为例，一方面说明一下如何做到Exactly-once，另一方面说明一下我是如何计算实时去重指标的。
lin502·2020-07-02 08:40

Spark Streaming结合redis实现state的功能

前言在前面的文章中有介绍SparkStreaming中的updateStateByKey算子，具体可见文章：SparkStreaming中状态算子的使用，但是使用updateStateByKey算子会存在一个问题
疯狂呼呼呼·2020-07-02 07:00

【十八Spark Streaming实战】日志分析之Flume+Kafka+Spark Streaming+Hbase

【十七SparkStreaming实战】日志分析之用python生成日志对接Python日志产生器输出的日志到Flume1.编写flumeagent的配置文件在node1上进入flume目录cd/app
jy02268879·2020-07-02 06:24

你真的了解Flink Kafka source吗？

引言当我们在使用SparkStreaming、Flink等计算框架进行数据实时处理时，使用Kafka作为一款
jmx_bigdata·2020-07-02 06:33
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他