Sparkstreaming

使用Spark SQL构建交互式查询引擎

StreamingPro目前已经涵盖流式/批处理，以及交互查询三个领域，实现配置和SQL化前言StreamingPro原来仅仅是用来作为SparkStreaming的一个配置化+SQL封装，然而不经意间
祝威廉·2020-07-15 20:34

SparkStreaming 新增Metrics 支持Kafka数据消费堆积监控

在SparkStreaming任务运行的过程中，由于数据流量或者网络的抖动，任务的batch很可能出现delay，所以就出现了一个需求：实时监控任务对kafka消息的消费，及时了解堆积情况。
PowerMee·2020-07-15 19:19

Spar入门到放弃（1）-Spark简介

Spark简介[一、简介][二、特点][三、集群架构][四、核心组件][4.1SparkSQL][4.2SparkStreaming][4.3MLlib][4.4Graphx]一、简介Spark于2009
百年叔叔·2020-07-15 18:45

SparkStreaming---Spark流式数据计算模块

目录：一、SparkStreaming概述二、SparkStreaming特点三、SparkStreaming架构四、SparkStreaming代码实时分析数据1.实时分析端口或目录中的数据2.实时分析
孤独の√ 3·2020-07-15 17:56

Spark Streaming官方文档复习笔记-4

SparkStreamingMemoryTuningMemoryTuningTuningthememoryusageandGCbehaviorofSparkapplicationshasbeendiscussedingreatdetailintheTuningGuide.Itisstronglyrecommendedthatyoureadthat.Inthissection
javartisan·2020-07-15 17:44

SparkStreaming与Kafka010之05之01 Consumer

packageKafka010importKafka010.Utils.MyKafkaUtilsimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.spark.SparkConfimportorg.apache.spark.streaming.dstream.InputDStreamimportorg.apa
C_time·2020-07-15 17:22

SparkStreaming与Kafka010之05之04 广播变量的变化重置 与redis监控的结合

我在mysql存的某个规则，我启动sparkStreaming程序的时候使用broadcast广播出去，注意这个就仅执行一次的然后吧在redis有这么一个kv作为标志，比如说flag=true，每次sparkStreaming
C_time·2020-07-15 17:22

千亿级数据量kafka集群性能调优实战总结

broker，基于Ambari,hdp管理（ambari_v2.5,hdp_v2.6）10台broker配置5块3T盘30台broker配置12块6T盘每天所有生产端产生2000亿条左右的数据消费端有SparkStreaming
双椒叔叔·2020-07-15 15:23

大数据笔试真题集锦---第一章:通用面试题

试题总体概述面试题包含时下流行的多个大数据工具和概念（spark、sparkStreaming、kafka、hadoop、hive、hbase、redis、flume、sqoop、zk、azkaban、
千锋教育官方博客·2020-07-15 13:10

SparkStreaming与Kafka010之05 监控Spark程序 获取Metrics信息 addStreamingListener或读取http信息解析json串

要获取Metrics信息，监控1.加监听：新的办法，直接一句话搞定ssc.addSparkStreamingListenerSparkStreaming、spark程序都能加监听只适合spark2.2.0
C_time·2020-07-15 13:50

SparkStreaming与Kafka010之06 SparkStreaming读取kafka数据再写出到kafka Consumer/ Producer

kafka->sparkStreaming->kafka序列化还可以这样写（就是说的代码中直接写在KafkaProducer后面）（序列化、lazy、广播变量）这是一套放在一起写比较好场景是让变量这样在
C_time·2020-07-15 13:50

浅谈实时数据开发

（三）流式技术架构目前流式计算框架相对成熟，以Storm、SparkStreaming为代表的开源组件也被广泛应用。
木东居士·2020-07-15 12:57

spark streaming程序因集群kafka版本不一致造成ZkUtils类无法更新offset解决方案

问题：因为CDH集群环境问题，我sparkstreaming程序的依赖就依照其版本来进行，但这就遇到一个问题，集群spark2支持的kafka版本是0.9.0，而我们程序操作zookeeper的ZkUtils
zeb_perfect·2020-07-15 12:56

sparkstreaming写入hbase,mysql

sparkstreaming的开发流程1.构建StreamingContext，这个类型封装了SparkContext2.从数据源处加载流数据，获取DStream，它封装了rdd3.调用DStream的各种
修水管的·2020-07-15 10:41

如何在idea里面直接运行spark streaming程序

在windows环境下，虽然控制台报了一大堆错误，但是sparkstreaming还是按照它的逻辑跑着，也能得到正确的结果，并且能够打断点调试！！！
xiao_jun_0820·2020-07-15 10:04

IDEA编写简单spark streaming案例,提交jar包运行

编写案例之前,首先要确认IDEA的jdk,scalasdk等已配置完成.1.sparkstreaming相关依赖1）验证是否安装了nc$whichnc/usr/bin/which:noncin.....
x_littlemiss·2020-07-15 10:43

Apache SparkStreaming

SparkStreaminghttp://spark.apache.org/docs/latest/streaming-programming-guide.html#overviewSparkStreaming
非常爱非常·2020-07-15 08:06

SparkStreaming+Kafka+flume实战案例

项目分析：flume监控某端口下产生的日志，并将监控到的信息推送给kafka，kafka产生消费数据，再由SparkStreaming接收，并在控制台实时显示接收到的数据1.pom.xmlorg.scala-langscala-library
我不吃面条z·2020-07-15 07:07

SparkStreaming StructuredStreaming Flink Storm 对比

文章目录1.SparkStreaming2.StructuredStreaming延迟数据处理Watermark容错性3.FlinkFlink分层API3.场景1.SparkStreamingSparkStreaming
孟知之·2020-07-15 07:00

Apache Spark Streaming-教案

SparkStreaming流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。
麦田里的守望者··2020-07-15 06:32

sparkstreaming接受kafka数据实时存入hbse并集成rest服务

1：整个项目的流程分析通过flume向kafka发送数据，然后通过sparkstreaming实时处理kafka的数据，处理完之后存到hbse，算法模型通过rest服务调用处理完的数据2:服务器各组件的版本
呵呵小短腿·2020-07-15 06:59

基于spark和sparkstreaming的word2vec

整体流程是spark离线训练模型，可以是1小时1训练也可以1天1训练，根据具体业务来判断，sparkstreaming在线分析。由于历史问题，spark还在用1.5.0，接口上和2.1还是有点区别，
weixin_34221332·2020-07-15 05:32

[Spark 基础] 如何安装Spark和使用spark-shell

，支持Java、Scala、Python和R多种语言，同时在计算引擎之上提供了多种工具，比如处理SQL和结构化数据的SparkSQL，用于机器学习的MLlib，用于图处理的GraphX和用于流计算的的SparkStreaming
大数据学徒·2020-07-15 04:37

Spark Streaming架构原理剖析

文章目录一、SparkStreaming原理概述二、DStream生成RDD实例的过程1、什么是DStream2、DStreamGraph3、通过DStream生成RDD实例3.1何时生成RDD实例3.2
疯狂哈丘·2020-07-15 01:23

Spark系列--Spark Streaming(二)IDEA编写Spark Streaming--NetWordCount程序

前言前面介绍了SparkStreaming的相关概念，这里我们使用IDEA编写SparkStreaming基于Socket数据流进行的WordCount。
淡淡的倔强·2020-07-15 01:54

Spark Streaming缓存、Checkpoint机制

SparkStreaming缓存、Checkpoint机制1SparkStream缓存Dstream是由一系列的RDD构成的，它同一般的RDD一样，也可以将流式数据持久化，采用同样的persisit方法
yanzhelee·2020-07-15 00:35

如何优雅的停止Spark Streaming 作业 -----非手动

#一网上也有停止SparkStreaming作业的方法，但是都不够优雅，不能够从程序内部实现停止SparkStreaming作业。我来介绍一种优雅的方式。
张超_·2020-07-14 22:18

java 用递归实现球上下级（牵涉到对上级的去重）

1：最近遇到一个问题需要用到SparkStreaming算出某个角色的所有的上级,同时当上级的等级相同的时候需要去重。我想到了用递归去实现数据描述：自己的id,等级,父节点的id。
张超_·2020-07-14 22:17

SparkStreaming 搭建《一》Win10可通用，供参考

是在本地windows配的，具体的如何配置其实要搞的麻烦事很多，多百度吧。编译环境：Spark2.3.1scala2.11.8jdk1.8hadoop2.6.5hive1.2.2kafka1.1.0Hbase1.4.5一、新建工程：File-scala-idea二、指定工程名称，JDK版本，Scala版本。三、这里你看到的是scala项目，但是我们一般常用的是mvn项目，这里需要单击工程，右键选择
sinat_32176267·2020-07-14 22:09

sparkStreaming消费kafka时发生"java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange"的解决办法

问题描述：开发环境为spark2.0+kafka0.8，spark-streaming-kafka-0-8-assembly_2.11.jarsparkStreaming消费kafka时遇到如下错误：18
sh0308·2020-07-14 22:08

【图文详细 】Kafka消息队列——Kafka是什么

经典架构：Flume+Kafka+Storm/SparkStreaming+RedisApacheKafka最初由LinkedIn开发的基于发布订阅的分布式的消息系统，由Scala/Java编写，并于2011
谦卑t·2020-07-14 20:01

代码问题：用idea写的SparkStreaming和Kafka整合，实时从kafka中消费数据，有错误，望指正。

SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/D:/jars/webproject/kafka-libs/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J:Foundbindingin[jar:fil
不足1.9的程序员·2020-07-14 20:39

Spark编程

综述Scala语言写成的一套分布式内存计算系统，核心抽象模型是RDD（弹性分布式数据集）在Spark之上还有一些工具：支持用Sql查询的SparkSQL、支持流式计算的SparkStreaming、机器学习库
Yuanhui·2020-07-14 19:21

SparkStreaming和Kafka整合

Kafka项目在版本0.8和0.10之间引入了一个新的消费者API，因此有两个单独的对应SparkStreaming包可用。
烙痕·2020-07-14 19:26

SparkStreaming和Flume整合

maven依赖：org.apache.sparkspark-streaming-flume_2.11${spark.version}Streaming+Flume整合有两种模式1.Flume-stylePush-basedApproachFlume源码:avro-sink-agent.sources=netcat-sourceavro-sink-agent.sinks=avro-sinkavro-
烙痕·2020-07-14 19:55

Spark Streaming官方编程指南【上】

定义SparkStreaming是核心SparkAPI的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。
ShuffledRDD·2020-07-14 18:39

LInux下redis的密码设置操作详情

在linux下搭建redis是比较简单的，在之前项目中用到了kafka+SparkStreaming+Redis来实时计算列车检修数据的实时状态数据，redis的安装直接采用的是apt-get方式，没有设置
夏至&未至·2020-07-14 18:28

Spark 2.x企业级大数据项目实战（实时统计、离线分析和实时ETL）

第一章：流式数据实时分析（Kafka+SparkStreaming+Redis）1、流式实时数据分析项目实战内容提纲（企业级开发、仿双十一订单实时统计及性能优化）2、SparkStreaming实时状态统
richard_w0ng·2020-07-14 17:18

六、Spark Streaming消费数据反写Kafka

streaming读取kafka的数据进行清洗3、将清洗后的数据再次放到kafka清洗后的结果数据为：houseid|gathertime|srcip:srcport|destip:destport|urlsparkstreaming
murphyZ·2020-07-14 15:23

SparkStreaming的单词计数案例

importorg.apache.spark.streaming.dstream.ReceiverInputDStreamimportorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.{SparkConf,SparkContext}/***需要用到nc-lk9999**//***Createdby
lemonlhy·2020-07-14 13:12

SparkStreaming的实时单词统计小例子

packagecom.yc.sparkimportorg.apache.spark.SparkConfimportorg.apache.spark.SparkContextimportorg.apache.spark.sql.SQLContextimportorg.apache.spark.sql.Rowimportorg.apache.spark.sql.types.{StructType,St
DT平哥·2020-07-14 12:41

2019-02-05：金融风控系统设计 - 外汇管理风控系统

涵盖了互联网信贷核心的系统建设，基于Spark[SparkML,SparkStreaming(Flink替换中)，SparkGraphx]技术体系的信贷风控系统建设，以及长期为合作伙伴提供有效的低风险资产的流量业务
胖子钓鱼·2020-07-14 12:09

SparkStreaming 在idea中的测试实例及配置

(SparkStreaming在idea中的测试实例及配置)本人也是最近才接触这些大数据的有关内容，刚开始上手确实很多困难，现把我所能知道的知识与大家分享下，希望能帮到那些正在学习大数据的小伙伴们！
@Yang~XY·2020-07-14 11:59

第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考

第7课：SparkStreaming源码解读之JobScheduler内幕实现和深度思考/*王家林老师授课http://weibo.com/ilovepains每天晚上20：00YY频道现场授课频道68917580
段智华·2020-07-14 10:21

测试Spark Streaming：单元测试

我们将看到Spark（尤其是SparkStreaming）在自动化测试的不同方面的表现。什么是流处理流处理是一种编程范例，适用于无限和连续的数据流，并对它们应用并行操作。这个
danpu0978·2020-07-14 09:22

Spark Streaming小结

概述SparkStreaming类似于ApacheStorm，用于流式数据的处理。根据其官方文档介绍，SparkStreaming有高吞吐量和容错能力强这两个特点。
cq1982·2020-07-14 09:12

美团1万台 Hadoop 集群 YARN 的调优之路

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
会飞的火轮·2020-07-14 08:36

spark 与storm的对比及适用场景

转载如下：http://www.cnblogs.com/yaohaitao/p/5703288.html对比点StormSparkStreaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来
秋实先生·2020-07-14 08:35

IDEA使用Springboot整合SparkStreaming的环境搭建及pom.xml

1.如图选择maven项目的webapp,然后点击下一步，填写项目名2.引入sparkstreaming需要的依赖注意：这里需要注意版本要相对应，不然编写代码会出现很多版本冲突、类找不到等问题2.11.80.9.0.02.2.02.6.0
隔壁老王ing·2020-07-14 06:48

Spark高效数据结构

SparkStreaming在状态管理时应用了一些高效的数据结构，本文我们就来看下这些数据结构的实现。
我要大声告诉你·2020-07-14 06:16
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他