sparkstreaming

kafka broker Leader -1引起spark Streaming不能消费 已解决

一、问题描述：Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了，并且系统起不来了，使得线上的sparkStreaming实时任务不能正常消费，重启实时任务都不行。
Stitch_x·2019-06-21 10:29

Hadoop中HDFS小文件产生场景及其处理方案

（jvm复用）产生场景：1、实时处理：比如我们使用SparkStreaming从外部数据源接收数据，然后经过ETL处理之后
Stitch_x·2019-06-21 09:18

Spark练习之通过Spark Streaming实时计算wordcount程序

Spark练习之通过SparkStreaming实时计算wordcount程序Java版本Scala版本pom.xmlJava版本importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.function.FlatMapFunction
爱是与世界平行·2019-06-20 11:23

Spark Straming，Spark Streaming与Storm的对比分析

SparkStraming，SparkStreaming与Storm的对比分析一、大数据实时计算介绍二、大数据实时计算原理三、SparkStreaming简介3.1SparkStreaming初始理解3.22
爱是与世界平行·2019-06-20 11:30

大数据 Spark 架构，Spark企业级大数据项目实战视频，项目集成Hadoop教程，Spark

26套Spark企业级项目实战，源码深度剖析，实时流处理，机器学习，数据分析，运行原理，性能调优，图计算，性能调优，缓存优化，监控分析SparkCore，SparkSQL，SparkStreaming，
wx5d089cc7a67a3·2019-06-19 16:29

大数据 Spark 架构，Spark企业级大数据项目实战视频，项目集成Hadoop教程，Spark

26套Spark企业级项目实战，源码深度剖析，实时流处理，机器学习，数据分析，运行原理，性能调优，图计算，性能调优，缓存优化，监控分析SparkCore，SparkSQL，SparkStreaming，
wx5d089cc7a67a3·2019-06-19 16:26

Spark学习笔记(4)Spark2全面深度剖析--知识点视频，源码，调优，JVM，图计算，项目实战

26套Spark企业级项目实战，源码深度剖析，实时流处理，机器学习，数据分析，运行原理，性能调优，图计算，性能调优，缓存优化，监控分析SparkCore，SparkSQL，SparkStreaming，
wx5d089cc7a67a3·2019-06-19 16:38

Spark 入门实战之最好的实例视频，Spark从入门到上手实战教程

26套Spark企业级项目实战，源码深度剖析，实时流处理，机器学习，数据分析，运行原理，性能调优，图计算，性能调优，缓存优化，监控分析SparkCore，SparkSQL，SparkStreaming，
wx5d089cc7a67a3·2019-06-19 16:44

Spark 基本架构及原理，Spark核心解密源码剖析，调度流程源码剖析视频教程下载，算子优化

26套Spark企业级项目实战，源码深度剖析，实时流处理，机器学习，数据分析，运行原理，性能调优，图计算，性能调优，缓存优化，监控分析SparkCore，SparkSQL，SparkStreaming，
wx5d089cc7a67a3·2019-06-19 16:58

Flink消费Kafka

Flink是由Apache开源的分布式流处理框架，常用来处理实时性的任务，与SparkStreaming和Strom功能上类似，具体选择需要根据业务场景来进行选择。
雷禄辉·2019-06-18 14:45

Spark Streaming的优化之从Receiver到Direct模式

SparkStreaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。
Qiucold·2019-06-18 11:00

Spark Streaming的优化之从Receiver到Direct模式

SparkStreaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。
Qiucold·2019-06-18 11:00

Spark Streaming的优化之路—从Receiver到Direct模式

SparkStreaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。
个推·2019-06-18 09:17

Spark Streaming实时流处理项目实战

let课程地址="http://icourse8.com/SparkStreaming.html";章节信息第1章课程介绍第2章初识实时流处理第4章分布式发布订阅消息系统Kafka第5章实战环境搭建第6
zhaonlv·2019-06-17 10:36

Spark Streaming简单案例

概述：本文主要介绍SparkStreaming的几个应用案例。
JeeThink·2019-06-16 20:36

Spark Streaming读取kafka数据方式的优化对比

SparkStreaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。
个推·2019-06-16 00:00

Spark Streaming 的优化之路—从 Receiver 到 Direct 模式

SparkStreaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。
jack·2019-06-14 16:00

Hadoop、storm和Spark Streaming简单介绍（非原创）

文章大纲一、Hadoop是什么二、storm是什么三、SparkStreaming是什么四、Spark与storm比较五、参考文章一、Hadoop是什么1.简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构
故事爱人·2019-06-14 15:00

Spark Streaming算子开发实例

SparkStreaming算子开发实例transform算子开发transform操作应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作，还可以用于实现DStreamAPI中所没有提供的操作
SetsunaMeow·2019-06-14 10:07

Spark学习笔记Spark Streaming的使用

1.SparkStreamingSparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理SparkStreaing中有一个最基本的抽象叫DStream
EVAO_大个子·2019-06-14 09:55

大数据系列——Spark学习笔记Spark Streaming

1.SparkStreamingSparkStreaming是一个基于SparkCore之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理SparkStreaing中有一个最基本的抽象叫DStream
EVAO_大个子·2019-06-14 00:00

大数据系列——kafka学习笔记

大数据领域数据类型1.1有界数据一般批处理(一个文件或者一批文件),不管文件多大，都是可以度量mapreducehivesparkcoresparksql1.2无界数据源源不断的流水一样(流数据)StormSparkStreaming2
EVAO_大个子·2019-06-14 00:00

Flink与SparkStreaming的wordcount

Flink是Apache开源的流处理框架，Spark是Apache开源的大规模数据处理快速通用的计算引擎，两者都是分布式框架，支持Java、Scala等多种语言。接下来通过实例来说明两者的应用。基于Flink的WordCount1.对pom.xml文件添加依赖org.apache.flinkflink-streaming-scala_2.111.8.02.在idea上编写WordCount代码im
雷禄辉·2019-06-13 11:15

Flink简介

Flink同时具有Storm的低延时和SparkStreaming的高吞吐能力，这个也许是越来越被重视的原因Flink的特点同时支持高吞吐、低延迟、高性能Fl
SunnyRivers·2019-06-13 11:47

大数据体系概览Spark、Spark核心原理、架构原理、Spark特点

Spark整体架构Spark的特点Spark核心原理Spark架构原理spark内核架构RDD及其特点SparkSQLVSHiveSparkStreamingVSStorm小提示：这里，使用axure（
爱是与世界平行·2019-06-09 16:34

大数据体系概览Spark、Spark核心原理、架构原理、Spark特点

Spark整体架构Spark的特点Spark核心原理Spark架构原理spark内核架构RDD及其特点SparkSQLVSHiveSparkStreamingVSStorm小提示：这里，使用axure（
爱是与世界平行·2019-06-09 16:34

学习spark 技术

sparksql可以说是spark中的精华部分了，我感觉整体复杂度是sparkstreaming的5倍以上，现在spark官方主推structedstreaming，sparkstreaming维护的也不积极了
大数据森林·2019-06-02 14:00

Spark Streaming实战

在之前SparkStreaming&Flume&Kafka打造通用流处理平台中已经一起学习了环境的搭建，接下来在此基础上做SparkStreaming处理日志实战。
董二弯·2019-05-30 22:05

Spark 以及 spark streaming 核心原理及实践

导语spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming之后，对spark技术的使用有一些自己的经验积累以及心得体会
kdy·2019-05-29 14:00

Spark Streaming&Flume&Kafka打造通用流处理平台

前几章一起学习了SparkStreaming整合Flume，SparkStreaming整合Kafka。这一章一起学习三者的整合搭建一个流处理平台环境。
董二弯·2019-05-28 22:17

今天来看下sparkstreaming做一个简单的实时数据处理并且保存到mysql中

已经搞定了开发环境，很快需求就要下来.话不多说，我们开始配置一下先研究部分实时部分的代码逻辑，提供将来实时计算逻辑。[root@node1~]#catkafka_output.shfor((i=0;i>/usr/local/soft/flume/flume_dir/kafka.log;done[root@node1~]#这是我们即将写入的东西。然后我们执行以下。看一下我们idea---------
大壮vip·2019-05-27 17:40

大数据之实时处理SparkStreaming

1.SparkStreaming基础知识SparkStreaming是spark核心API的一个扩展，可以实现高吞吐量、有容错机制的实时流数据处理。
code__online·2019-05-26 15:43

spark初步理解和认识

了解spark前应学习hadoop体系和scala语言1.概念Spark是一种快速、通用、可扩展的大数据分析引擎spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming
我係外星人·2019-05-23 10:30

SparkStreaming安全消费Kafka数据

前言在这之前做SparkStreaming连接Kafka，我会这么写：valsparkConf=newSparkConf().setAppName("Spark2Kafka")valssc=newStreamingContext
SunnyRivers·2019-05-21 16:41

Spark Streaming Lisener 监控批次处理延迟进行告警

概述StreamingListener是针对sparkstreaming的各个阶段的事件监听机制。
XIAO的博客·2019-05-21 16:00

基于BroadcastState打造Flink ETL动态解析

多年以来ETL的技术也在光速的进行发展和更新，包括从Mapreduce等离线数据处理方式到后来的Flume,Logstash,Filebeat等数据采集工具和现在火热的SparkStreaming以及Flink
Snak1enn·2019-05-21 10:37

StructuredStreaming项目开发记录

1放弃SparkStreaming选用StructuredStreaming关于当时项目技术
shirukai·2019-05-20 09:47

超越Spark，大数据集群计算的生产实践

本文会介绍Spark核心社区开发的生态系统库，以及ML/MLlib及SparkStreaming的Spark库的具体用
机器学习和人工智能·2019-05-19 20:47

SparkStreaming读写kerberos Hive（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5.conf需要在yarn集群所有节点相同位置放置client.keytab需要在命令提交节点，yarn集群所有节点相同位置放置，container连接HDFS[kerberos]集群使用kafka
雾幻·2019-05-15 14:02

SparkStreaming读写kerberos HBase（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5.conf需要在yarn集群所有节点相同位置放置client.keytab需要在命令提交节点，yarn集群所有节点相同位置放置，container连接HDFS[kerberos]集群使用kafka
雾幻·2019-05-15 14:54

SparkStreaming读写kerberos HDFS（Yarn Cluster）

yarnCluster模式也可适用于从集群外部提交（接口机）提交命令spark-submit的最后一行为args参数，经多次尝试发现yarncluster模式通过该方式传入kerberos文件可行krb5.conf需要在yarn集群所有节点相同位置放置client.keytab需要在命令提交节点，yarn集群所有节点相同位置放置，container连接HDFS[kerberos]集群使用kafka
雾幻·2019-05-15 14:17

SparkStreaming读写kerberos Kafka（Yarn Client、Yarn Cluster）

因YarnClient模式、YarnCluster模式下SparkStreaming程序的提交及运行机制不同，则对读写kafka【kerberos】集群中相关代码也略有差异首先需要确保集群中的相应组件正常部署
雾幻·2019-05-15 13:26

Spark Streaming 整合Flume 和Kafka

前言首先会使用Java开发一个日志产生器，使用Flume收集此信息到Kafka，然后SparkStreaming从Kafka读取消息。
GYT0313·2019-05-14 10:52

非常详细、全面的大数据组件安装及IDEA开发环境搭建 - 搭建虚拟机集群 -包括Hadoop、HBase、Zookeeper、Spark、Kafka、Flume、IDEA

最近，在学习SparkStreaming中需要开启很多大数据服务，笔记本搭建虚拟机的集群已经带不动程序。正好，学校配了台高配的主机，所以决定从头开始搭建大数据的集群。并且记录完整、详细的安装过程。
GYT0313·2019-05-13 11:34

大数据学习之路108-spark streaming基于redis历史state统计

我们之前使用sparkstreaming做过基于mysql的历史state统计，但是当时的方法很笨，因为写到mysql中第一是性能不好，第二是编码麻烦，所以一般不会有人那么做。
王杰0110·2019-05-11 11:08

sparkstreaming使用keberos认证写hbase

最近在项目实施过程中，使用hdp和cdh集群时，hbase配置了kerberos认证之后，通过sparkstreaming程序连接操作hbase时，会出以如下错误：1、ERRORipc.AbstractRpcClient
hblicy·2019-05-10 11:23

Flink替代Spark Streaming怎么样？本篇给你答案

Flink是目前Qunar主推的实时数据处理开源平台，用于替代SparkStreaming。如果你们使用Flink也是和我们之前一样，不知道如何使用Fl
�Horde�·2019-05-10 10:55

Flink替代Spark Streaming怎么样？本篇给你答案

Flink是目前Qunar主推的实时数据处理开源平台，用于替代SparkStreaming。如果你们使用Flink也是和我们之前一样，不知道如何使用Fl
�Horde�·2019-05-10 10:55

Spark streaming消费Kafka的正确姿势

Sparkstreaming消费Kafka的正确姿势前言在游戏项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了
ljtyxl·2019-05-08 12:56

史上最简单的spark教程第二十一章-Spark实时处理kafka消息实现wordCount案例

github.com/Mydreamandreality/sparkResearch数据输入源之前已经了解如何把处理完的数据写入到MySQL,ES,Redis等等,那我们现在该搞一下不同数据源是如何和sparkStreaming
李时珍皮啊·2019-05-06 11:39
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他