sparkstreaming

sparkstreaming动态资源分配

在数据高峰期会出现大量job处于queened状态,可以通过调高num-executors参数,以及调高程序的并法度,来解决这个问题,但大多数情况下,根本用不了这么多资源,所以启用资源的动态管理解决这个问题方法:配置参数1.不开启动态调度.--num-executors=XXX2.开启动态调度:--confspark.dynamicAllocation.initialExecutors=10(刚开
woloqun·2020-03-04 04:31

Spark Streaming Backpressure Rate Control

SparkStreaming整体流程如下图所示。图中左边部分负责流数据的接收，右边部分负责流数据的处理。
imarch1·2020-03-03 20:44

剖析Spark数据分区之Spark streaming & TiSpark

本文来自OPPO互联网技术团队，是《剖析Spark数据分区》系列文章的第三篇，本篇我们将分析Sparkstreaming，TiSpark中的数据分区。
OPPO互联网技术·2020-03-03 13:17

8.Spark SQL

SparkSQL1WhyApacheSpark2关于ApacheSpark3如何安装ApacheSpark4ApacheSpark的工作原理5spark弹性分布式数据集6RDD持久性7spark共享变量8SparkSQL9SparkStreaming
全能程序猿·2020-03-03 11:42

Spark Streaming Failed to read checkpoint from directory ...

现象使用spark-submit提交一个SparkStreamingApplication至yarn集群,报错Causedby:java.lang.ClassNotFoundException:XXXStartup
牛肉圆粉不加葱·2020-03-02 07:16

Study Schedule

Spark1、Spark构架(差一点，这周搞定)2、Job流程、Scheduling(get)3、SparkonYarn(暂定)4、Shuffle机制（暂定）5、SharkvsSparkSQL（下周）6、SparkStreaming
龙少侠·2020-03-01 22:30

windows 下sparkstreaming或flink测试用，nc安装及使用

下载并安装：下载netcat(https://eternallybored.org/misc/netcat/netcat-win32-1.12.zip)解压，将nc.exe拷贝到C:\Windows\system下。nc-l9999结果报“locallistenfuxored:INVAL”改成：nc-l-p9999这时，尝试输入一些内容，你的输入并不会显示出来。将读取sock的程序启动后，之前输入
朤长弓·2020-03-01 10:26

7.spark共享变量

1WhyApacheSpark2关于ApacheSpark3如何安装ApacheSpark4ApacheSpark的工作原理5spark弹性分布式数据集6RDD持久性7spark共享变量8SparkSQL9SparkStreaming
全能程序猿·2020-03-01 01:22

Spark中Task数量的分析

本文主要说一下Spark中Task相关概念、RDD计算时Task的数量、SparkStreaming计算时Task的数量。
upupfeng·2020-02-29 20:00

如何高效的使用foreachRDD

对于foreachRDD的正确理解，请参考对DStream.foreachRDD的理解在sparkstreaming的官方文档中也有对foreachRDD的说明，请参见DesignPatternsforusingforeachRDD
Woople·2020-02-29 17:29

数据平台实践②——Logstash+Elasticsearch+Kibana

简介在上一次的数据平台实践①中，对基于Flume，Kafka和SparkStreaming的数据平台组合做了介绍，这一次对业界流行的ELK组合进行学习与实践。
playwolf719·2020-02-29 15:28

1.Spark前言

LogisticregressioninHadoopandSparkSpark核心组件Spark的核心组件有：SparkSQLSparkStreamingMLlib(machinelearning)G
逆流而上kiss·2020-02-29 10:43

揭开Spark Streaming神秘面纱⑥ - Spark Streaming结合 Kafka 两种不同的数据接收方式比较

DirectKafkaInputDStream只在driver端接收数据，所以继承了InputDStream，是没有receivers的在结合SparkStreaming及Kafka的实时应用中，我们通常使用以下两个
牛肉圆粉不加葱·2020-02-28 21:05

什么是spark？

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、Gra
mls12·2020-02-26 17:00

【实战篇】如何优雅的停止你的 Spark Streaming Application

Spark1.3及其前的版本你的一个sparkstreamingapplication已经好好运行了一段时间了，这个时候你因为某种原因要停止它。你应该怎么做？
牛肉圆粉不加葱·2020-02-26 04:41

Spark Streaming 实时统计商户当日累计PV流量

二、实现步骤1、采用SparkStreaming读取Kafka中的实时日志流，生成DStream2、过滤其中的商户页流量，生成DStream[k,v]（注：k为shopid,v为pv）3、采用SparkStreaming
phycsgy·2020-02-22 22:49

【线上直播】spark streaming高级特性在ndcg计算实践

【线上直播】sparkstreaming高级特性在ndcg计算实践▼嘉宾：王富平王富平简介：历任百度大数据部高级工程师、1号店搜索与精准化部门架构师，一直从事大数据方向的研发工作，对大数据工具、机器学习有深刻的认知
尤娜_d831·2020-02-22 21:17

Spark Streaming提高写数据库的效率

1.前言这是一篇挂羊头卖狗肉的文章，事实上，本文要描述的内容，和SparkStreaming没有什么关系。
郭寻抚·2020-02-21 14:08

Maxwell + spark + Kafka安装

问题现在有一个需求，在一定时间段（15分钟）统计交易情况，Hive的话是可以实现功能，但是效率低，最终决定使用SparkStreaming+Kafka。
忘净空·2020-02-20 21:40

Spark Streaming Crash 如何保证Exactly Once Semantics

这篇文章只是为了阐述SparkStreaming意外Crash掉后，如何保证ExactlyOnceSemantics。本来这个是可以直接给出答案的，但是我还是啰嗦的讲了一些东西。
祝威廉·2020-02-20 09:40

Spark 提交任务于参数解释

/bin/spark-submit\--classspark_streaming.SparkStreaming_first\--masterspark://master:7077\--deploy-modeclient
大数据在说话·2020-02-20 03:42

Spark相关文章索引（2）

基本常识Spark2.0时代全面到来——2.0.1版本发布Spark生态系统中的图数据分析知识算法架构Spark任务调度流程及调度策略分析Sparkrdd转换过程Spark计算过程分析可靠保证华为叶琪：论SparkStreaming
司小幽·2020-02-19 04:13

Spark Streaming运行流程及源码解析（二）

SparkStreaming源码流程解析。
upupfeng·2020-02-18 10:00

Spark Streaming运行流程及源码解析（一）

本系列主要描述SparkStreaming的运行流程，然后对每个流程的源码分别进行解析之前总听同事说Spark源码有多么棒，咱也不知道，就是疯狂点头。今天也来撸一下Spark源码。
upupfeng·2020-02-18 10:00

Spark Streaming 误用.transform(func)函数导致的问题解析

Spark/SparkStreamingtransform是一个很强的方法，不过使用过程中可能也有一些值得注意的问题。
祝威廉·2020-02-18 00:17

Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)

目前Spark的最新版本是2.3.0，更新了Sparkstreaming对接Kafka的API，但是最新的API仍属于实验阶段，正式版本可能会有变化，本文主要介绍2.3.0的API如何使用。
Woople·2020-02-17 23:04

[语法]updateStateByKey~Spark Streaming累加器操作

Spark源码走读12——SparkStreaming-峰哥的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/huwenfeng_2011/article/details/43371325UpdateStateByKey
葡萄喃喃呓语·2020-02-17 21:59

Spark生态圈

Spark生态圈的五大组件：SparkCore、SparkStreaming、SparkSQL、SparkMLlib和SparkGraphX。
终生学习丶·2020-02-16 13:54

Spark Streaming中简单粗暴执行TensorFlow

SparkStreaming=>很火，在流处理中得到了广泛的应用。TensorFlow=>很火，由Google大神开源，目前已经在深度学习领域展现了超高的流行潜质。
biggeng·2020-02-14 22:07

CDH Spark Streaming

翻译：https://www.cloudera.com/documentation/enterprise/latest/topics/spark_streaming.html版本：5.14.2SparkStreaming
金刚_30bf·2020-02-13 19:55

如何将Apache Spark用于不同类型的大数据分析用例

了解SparkCore及加载项库，包括SparkSQL、SparkStreaming、GraphX、Mllib和SparkML。了解开发者在项目中使用Spark时可能需要用到的开发和测试工具。
丨程序之道丨·2020-02-13 15:32

我应该选择哪种Kafka？

你可能听说过ApacheStorm、ApacheSparkStreaming亦或是ApacheFlink，它们在大规模流处理领域可都是响当当
石志远·2020-02-13 00:04

2020寒假生活学习日记（十三）

林子雨实验六SparkStreaming编程初级实践一、实验目的（1）通过实验学习日志采集工具Flume的安装和使用方法；（2）掌握采用Flume作为SparkStreaming数据源的编程方法。
Double晨·2020-02-12 12:00

kafka分区，sparkStreaming的excutor，RDD分区的关系

1、kafka分区，sparkStreaming的excutor，RDD分区的关系：首先要明确数据的流向：项目中的数据从kafka---->sparkStreaming-------->RDD（1）kafka
大数据up·2020-02-12 10:00

sparkStreaming项目问题

项目使用批处理方式处理数据，最开始项目很稳定，一秒一批，200ms基本处理完毕。后来数据量激增一倍之后，项目时不时有阻塞的情况发生。解决思路，1，最开始以为计算资源不够用，查看机器之后发现没有问题。2，各个服务器之间通讯速度，用的都是阿里的服务器，把所有服务器调整到一个网段之后，情况仍然没有改善。3，没有办法盯上redis，但是redis是和后端通用的，不能轻易做结论，在业务逻辑里打点，把每次操作
大数据up·2020-02-12 09:00

elasticsearch 7.0 新特性之 索引生命周期管理（一）

新引入的一系列对索引管理的操作，其中会涉及到很多之前没有遇到过的概念，为了把这些操作搞明白，会尽量结合一些例子来说明1、介绍引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化，比如易企秀通过sparkstreaming
_江边城外_·2020-02-12 06:30

Spark Streaming 1.6 流式状态管理分析

这篇文章会详细介绍SparkStreaming里新的流式状态管理。关于状态管理在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Duration)的统计，这个时候就不得不维护状态了。
达微·2020-02-12 06:12

[R]高性能计算SparkR

而Spark力图整合机器学习（MLib）、图算法（GraphX）、流式计算（SparkStreaming）和数据仓库（SparkSQL）等
HOHOOO·2020-02-11 20:29

HQ

1、sparkStreaming批次你们是设置多少。10s的话，假设我10s的数据，生成几个rdd，这个rdd有几个分区。2、kafkatopic的patition你们设置多少。
大数据up·2020-02-11 10:00

Spark Streaming 和kafka 集成指导（kafka 0.8.2.1 或以上版本）

本节介绍一下如何配置SparkStreaming来接收kafka的数据。
pcqlegend·2020-02-09 09:53

Storm框架基础（一）

*Storm框架基础（一）Storm简述如果你了解过SparkStreaming，那么Storm就可以类比着入门，在此我们可以先做一个简单的比较：在SparkStreaming中：我们曾尝试过每秒钟的实时数据处理
Z尽际·2020-02-09 01:29

通过案例对spark streaming透彻理解三板斧之三

通过案例对sparkstreaming透彻理解三板斧之三：解密SparkStreaming运行机制和框架首先我们运行以下的程序，然后通过这个程序的运行过程进一步加深理解SparkStreaming流处理的
阳光男孩spark·2020-02-09 00:45

实时Lamda大数据平台搭建Flume+Kafka+HDFS+SparkStreaming

整体架构图image.png一、python模拟生成日志importrandomimporttimeiplist=[101,198,65,177,98,21,34,61,19,11,112,114]urllist=['baidu.com','google.com','sougou.com','360.com','yahoo.com','yisou.com']mobile=['xiaomi','vi
lbship·2020-02-08 07:55

Spark介绍和集群模式搭建

Spark提供了大数据处理的一站式解决方案，以SparkCore为基础推出了SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等组件。
零度沸腾_yjz·2020-02-07 13:30

SparkStreaming基础

*SparkStreaming基础打开之前构建好的Maven工程，如何构建？请参看SparkCore基础（二）的最后部分。
Z尽际·2020-02-06 21:19

浅谈RabbitMQ的基石——高级消息队列协议（AMQP）

前言自从去年来到这边之后，做了不少流式系统（Flink也好，SparkStreaming也好）对接RabbitMQ的实时作业。
LittleMagic·2020-02-06 16:31

Flink Source/Sink探究与实践：RocketMQ数据写入HBase

前言最近我们正在尝试把原有的一些SparkStreaming任务改造成FlinkStreaming任务，自定义Source和Sink是遇到的第一个主要问题，稍微记录一下。
LittleMagic·2020-02-06 16:42

是时候丢掉Spark Streaming 升级到Structured Streaming了

SparkStreaming历史比较悠久，也确实非常好用，更重要的是，大家已经用熟了，有的还做了不少工具了，所以觉得这东西特别好了，不会像一开始各种吐槽了。
祝威廉·2020-02-06 07:10

2020年寒假学习进度第六天

今天主要进行了spark实验六的学习，SparkStreaming编程初级实践Flume是非常流行的日志采集系统，可以作为SparkStreaming的高级数据源。
生活依旧·2020-02-05 13:00

Spark Streaming使用Kafka保证数据零丢失

sparkstreaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件：数据输入需要可靠的sources和可靠的receivers应用metadata必须通过应用drivercheckpointWAL
丹之·2020-02-05 03:38
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他