Sparkstreaming 第27页

Storm（一）分布式实时大数据处理框架

Storm的核心组件storm特征Storm架构设计与Hadoop架构对比storm与MapReduce区别storm与SparkStreaming区别Storm计算模式Storm任务提交流程Storm

志想汇·2020-08-11 00:38

Spark Kafka 基于Direct自己管理offset

1、SparkStreaming中使用Kafka的createDirectStream自己管理offset在SparkStreaming中，目前官方推荐的方式是createDirectStream方式，

小东升职记·2020-08-10 19:51

初识spark

SparkStreaming：是Spark提供

天一涯·2020-08-10 13:39

记SparkStreaming连接kafka

背景项目需要用SparkStreaming连接kafka，本以为很简单，没想到遇到不少麻烦版本scala版本2.10，kafka版本2.11.0-0.11.0.0，jdk1.8pom依赖4.0.0...

coder_szc·2020-08-10 07:13

搭建Spark所遇过的坑

一.经验1.SparkStreaming包含三种计算模式：nonstate.stateful.window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD

沸腾的可乐·2020-08-10 05:50

spark 写 ElasticSearch 提升性能解决方案

ES官网提供了一套Spark写ES接口参见：https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html在工作实践中使用SparkStreaming

zhixingheyi_tian·2020-08-10 05:04

spark大数据架构初学入门基础详解

Spark是什么a)是一种通用的大数据计算框架b)SparkCore离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)

星月情缘02·2020-08-10 04:28

sparkstreaming消费多个topic数据获取topic的信息

这个问题是最近一个朋友问我的,用sparkstreaming消费kafka的多个topic,怎么获取topic的信息,然后根据不同topic的数据做不同的逻辑处理.其实这个问题非常简单,最容易想到的办法就是直接对

JasonLee'blog·2020-08-10 04:01

Kafka-SparkStreaming-ElasticSearch踩坑记（一）

1.前言笔者刚参加到新的工作中，进入了新的公司，从事的是大数据分析方向的岗位，用的是Java语言，由于公司之前一直采用的是Storm框架，并且采用的是高级的Trident框架，但是依据公司业务调整，需要转向Spark进行开发，也正因此我可以说是第一个吃螃蟹的人，每天死磕Spark和Elasticsearch，所以在代码编写过程中，出现了很多BUG，很多新的API，今天的第一记录主要是记录几个jar

常琪龙·2020-08-10 03:46

SparkStreaming 实现入门WordCount

@羲凡——只为了更好的活着SparkStreaming实现入门WordCount这是SparkStreaming的基本入门，官网：http://spark.apache.org/docs/2.3.2/streaming-programming-guide.html

羲凡丞相·2020-08-10 03:07

spark streming写入外部系统

2019独角兽企业重金招聘Python工程师标准>>>SparkStreaming的DStream提供了一个dstream.foreachRDD方法，该方法是一个功能强大的原始的API，它允许将数据发送到外部系统

weixin_34162401·2020-08-10 03:25

sparkStreaming的编程步骤

（1）StreamingContext 与sparkcore的编程类似，在编写SparkStreaming的程序时，也需要一个通用的编程入口----StreamingContext。

weixin_33924770·2020-08-10 03:10

Spark Streaming性能优化: 如何在生产环境下应对流数据峰值巨变

1、为什么引入Backpressure默认情况下，SparkStreaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batchprocessingtime>batchinterval

weixin_30703911·2020-08-10 02:08

pyspark下kafka+streaming落地数据到HIVE中

网上查找的kafka通过sparkstreaming落地到HIVE的方案一般都是Scala写的，为此碰到了很多的坑，特此记录一下使用pyspark来实现实时落地到HIVE的方案说在前面sparkStreaming

wang_306·2020-08-10 02:20

Rejected connection from xx.xx.xx.xx, address already has the configured maximum of 10 connections

Rejectedconnectionfromxx.xx.xx.xx,addressalreadyhastheconfiguredmaximumof10connections.问题描述解决方法问题描述SparkStreaming

记录点滴人生·2020-08-10 01:14

Spark Streaming性能优化: 如何在生产环境下动态应对流数据峰值

1、为什么引入Backpressure默认情况下，SparkStreaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batchprocessingtime>batchinterval

付冰冰的博客·2020-08-10 01:41

windows本地sparkstreaming开发环境搭建及简单实例

不用装那么多插件，且提供免费版，官网直接下载安装就可以）2：环境配置：(开发语言scala)由于公司网络原因，下载不方便，没有用mavn，直接拖了本地的jar包（1）sparkcore开发jar包：（2）sparkstreaming

TracyGao01·2020-08-10 01:29

Spark Streaming 读书笔记

SparkStreaming工作原理：SparkStreaming接收实时输入数据流并将数据分成批，然后由Spark引擎处理，以批量生成最终结果流。

codeyulive·2020-08-10 00:46

Spark学习（二）SparkStreaming的官方文档

1、SparkCore、SparkSQL和SparkStreaming的类似之处2、SparkStreaming的运行流程2.1图解说明2.2文字解说1、我们在集群中的其中一台机器上提交我们的ApplicationJar

匿名啊啊啊·2020-08-10 00:10

用spark streaming实时读取hdfs数据并写入elasticsearch中

1.首先用sqoop将mysql数据定时导入到hdfs中，然后用sparkstreaming实时读取hdfs的数据，并把数据写入elasticsearch中。

数据僧人·2020-08-10 00:26

spark笔记之Spark Streaming整合kafka实战

kafka作为一个实时的分布式消息队列，实时的生产和消费消息，这里我们可以利用SparkStreaming实时地读取kafka中的数据，然后进行相关计算。

我是楠楠·2020-08-10 00:47

SparkStreaming基本使用与Window简单的介绍

SparkStreaming基本使用与Window简单的介绍1.SparkStreaming基本使用1.1pom.xml的依赖org.scala-langscala-library2.3.0org.apache.sparkspark-core

张行之·2020-08-09 23:01

使用python完成Kafka+sparkstreaming+elasticsearch

在网上找了很久python的Kafka+sparkstreaming+elasticsearch的代码找不到，基本都是scala或者java的（好像是spark自己本身提供了库给java和scala写入

铲子挖数据·2020-08-09 22:12

Sparkstreaming 消费Kafka写入Elasticsearch

1.版本说明jdk1.8spark2.3elasticsearch7.4scala2.11Kafka0.102.pom依赖org.apache.kafkakafka_2.111.0.0org.apache.sparkspark-core_${scala.version}${spark.version}providedorg.apache.sparkspark-streaming_${scala.v

米兰昆德拉的幽默·2020-08-09 22:28

spark core、spark sql、spark streaming 联系与区别

sparkcore是做离线批处理sparksql是做sql高级查询sparkshell是做交互式查询sparkstreaming是做流式处理区别：SparkCore：Spark的基础，底层的最小数据单位是

lipviolet·2020-08-09 22:33

Spark Streaming与Storm的对比分析

SparkStreaming与Storm的对比分析一、SparkStreaming与Storm的对比二、SparkStreaming与Storm的优劣分析事实上，SparkStreaming绝对谈不上比

kwu_ganymede·2020-08-09 21:01

SparkStreaming 编程指导

概述sparkstreaming是sparkcoreAPI的扩展，它支持可伸缩、高吞吐量、容错的实时数据流处理。

我的天儿啊·2020-08-09 21:12

--- Spark学习（拾壹）- Spark Streaming整合Flume

文章目录Push方式整合之概述Push方式整合之FlumeAgent配置开发Push方式整合之SparkStreaming应用开发Push方式整合之本地IDEA环境联调Push方式整合之服务器环境联调Pull

-无妄-·2020-08-09 20:58

Spark Streaming + Kafka整合实例

摘要：本文主要讲了一个SparkStreaming+Kafka整合的实例本文工程下载：https://github.com/appleappleapple/BigDataLearning1、工程目录结构

Evankaka·2020-08-09 18:11

filebeat和flume写入kafka后数据格式的不同

笔者在使用这两个工具对接kafka的过程中发现他们采集到kafka里的数据格式是不同的，这里我使用sparkstreaming分别消费出几条数据对比一下：sparkstreaming程序：defrun(

极伪·2020-08-09 18:00

spark streaming读kafka写elasticsearch

sparkstreaming作为当下依然火热的流计算引擎，对于kafka和elasticsearch都有很好的api支持，以下是笔者在测试环境中的一个数据从kafka到es案例。

极伪·2020-08-09 18:00

sparkstreaming开发kafka实战（一）

由于公司需要对用户的访问行为实时计算，推荐出用户喜欢的影片，所以采用当下最流行的工具sparkstreaming对log日志的数据进行及时分析送给算法部门进行推荐数据，同时本人对sparkstreaming

oceanwavewyt·2020-08-09 17:14

sparkstreaming开发kafka实战（二）

第一部分对sparkstreaming向kafka写数据和读取数据进行简单的测试和开发，本部分主要是从kafka消费数据的时候，防止意外情况sparkstreaming程序终止运行，导致数据丢失情况发生

oceanwavewyt·2020-08-09 17:14

Spark Streaming 有状态流 updateStateByKey & mapWithState 实践(Java版) 及 CheckPoint使用

背景：对于有状态的sparkstreaming数据处理，官方提供了两种方案updateStateByKey和mapWithState，可以通过在内存中维护一个状态值，进行比较/统计处理，二者的区别与联系大致如下

藏呆羊·2020-08-09 16:53

手动维护kafka的偏移量，各种方式整理总结

对sparkstreaming消费kafka消息进行逻辑判断，逻辑清晰明确，但是offset存在zookeeper当中，需要自己实现其他存储https://my.oschina.net/u/1027043

导演我死哪儿·2020-08-09 16:17

从spark streaming checkpoint文件中还原数据

checkpoint的最大的弊端在于，一旦你的流式程序代码或配置改变了，或者更新迭代新功能了，这个时候，你先停旧的sparkstreaming程序，然后新的程序打包编译后执行运行，会发现两种情况：（1）

walt_xu·2020-08-09 16:45

spark checkpoint用法

>>>checkpoint注意点：1.当某一窗口被打断之后，重新从checkpoint恢复时，不会继续执行这一窗口未执行完的代码，仅仅是恢复sparkstreaming的配置和代码，进行下一批次的执行。

weixin_34415923·2020-08-09 14:55

spark checkpoint详解

spark中主要有两块应用：一块是在sparkcore中对RDD做checkpoint，可以切断做checkpointRDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外一块是应用在sparkstreaming

weixin_30802171·2020-08-09 13:37

Spark-RDD高级算子

Spark课堂笔记Spark生态圈：SparkCore：RDD（弹性分布式数据集）SparkSQLSparkStreamingSparkMLLib：协同过滤，ALS，逻辑回归等等-->机器学习SparkGraphx

weixin_30257433·2020-08-09 13:47

【异常】SparkStreaming长时间运行出现： Dropping SparkListenerEvent because no remaining room in event queue

问题描述在SparkStreaming任务提交后，经过长时间的运行会在SparkUI的Jobs界面出现Job的执行时间出现几个小时的情况，点进去发现Stage已经处于unkown状态，如下图：查看日志后发现下面

wangweislk·2020-08-09 13:54

你真的了解Flink Kafka source吗？

引言当我们在使用SparkStreaming、Flink等计算框架进行数据实时处理时，使用Kafka作为一款

西贝木土·2020-08-09 13:25

第四篇|Spark Streaming编程指南(1)

SparkStreaming是构建在SparkCore基础之上的流处理框架，是Spark非常重要的组成部分。

西贝木土·2020-08-09 13:20

第五篇|Spark-Streaming编程指南(2)

第四篇|Spark-Streaming编程指南(1)对SparkStreaming执行机制、Transformations与OutputOperations、SparkStreaming数据源(Sources