Sparkstreaming

Spark Streaming实战对论坛网站动态行为pv，uv，注册人数，跳出率的多维度分析，实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示

论坛数据运行代码自动生成，该生成的数据会作为Producer的方式发送给Kafka，然后SparkStreaming程序会从Kafka中在线Pull到论坛或者网站的用户在线行为信息，进而进行多维度的在线分析数据格式如下
首席撩妹指导官·2020-08-26 09:51

大数据学习之路108-spark streaming基于redis历史state统计

我们之前使用sparkstreaming做过基于mysql的历史state统计，但是当时的方法很笨，因为写到mysql中第一是性能不好，第二是编码麻烦，所以一般不会有人那么做。
爱米酱·2020-08-26 09:51

第110讲： Spark Streaming电商广告点击综合案例通过updateStateByKey等实现广告点击流量的在线更新统计

packagecom.dt.spark.SparkApps.sparkstreaming;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement
Android进阶·2020-08-26 09:16

第106讲： Spark Streaming电商广告点击综合案例黑名单过滤实现

有兴趣想学习国内整套Spark+SparkStreaming+Machinelearning顶级课程的，可加我qq 471186150。共享视频，性价比超高！
Android进阶·2020-08-26 09:16

Spark Streaming应用与实战全攻略（Ⅰ）

SparkStreaming应用与实战系列包括以下六部分内容：背景与架构改造通过代码实现具体细节，并运行项目对Streaming监控的介绍以及解决实际问题对项目做压测与相关的优化Streaming持续优化之
csdn郭芮·2020-08-26 09:14

【十五】Spark Streaming整合Kafka使用Direct方式（使用Scala语言）

官方文档配置SparkStreaming接收从kafka来的数据有两种方式。老的方式要使用Receiver，新的方式是Spark1.3后引进的不用Receiver。Approa
jy02268879·2020-08-26 09:14

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
javastart·2020-08-26 09:56

sparkStreaming+kafka+redis小项目实战

5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数；这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中；2、业务流程首先造一些模拟数据实时传入kafka队列，然后sparkStreaming
时不我待，一日千里·2020-08-26 09:55

Kafka+Spark Streaming+Redis实时计算整合实践

MainmenuSkiptocontent首页编程语言算法开源技术数据库服务器数据挖掘关于搜索：Kafka+SparkStreaming+Redis实时计算整合实践2015-04-2821:11:35Yanjun
ASIA_kobe·2020-08-26 09:17

demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreachRDD输出到redis

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
weixin_34416754·2020-08-26 09:16

Spark Streaming写数据到Redis

SparkStreaming写数据到Redis参考2篇文章：1、Kafka+SparkStreaming+Redis实时系统实践https://www.iteblog.com/archives/13782
weixin_34372728·2020-08-26 09:45

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
美团技术团队·2020-08-26 08:20

Spark Streaming + Kafka 入门实例

初学SparkStreaming和Kafka，直接从网上找个例子入门，大致的流程：有日志数据源源不断地进入kafka，我们用一个sparkstreaming程序从kafka中消费日志数据，这些日志是一个字符串
挨踢正能量·2020-08-26 08:19

Spark基础

应用场景，企业中用来做报表统计SparkStreaming:是实时数据流处理组件，类似StormSparkSt
班得瑞的猫·2020-08-25 17:11

3.1 Spark Streaming 性能调优(一): 提高并行度

目录1.系统架构2.环境搭建2.1本地环境下kafka批量导入数据2.2kafka-manager的安装与配置3.1SparkStreaming性能调优(一):解决并行度3.2SparkStreaming
PigPIgAutumn·2020-08-25 00:25

深入理解Spark Streaming的执行模型（全局性word count）

本文译自《DivingintoApacheSparkStreaming’sExecutionModel》，作者:TathagataDas,MateiZaharia,PatrickWendell发布于ENGINEERINGBLOGJuly30,2015
孙小雨·2020-08-24 23:34

SQL On Streaming

实时计算的一个方向实时计算未来会成为一个趋势，基本上所有的离线计算任务都能通过实时计算来完成，对于实时计算来算，除了性能，延迟性和吞吐量这些硬指标要求以外，我觉得易用性上面应该是未来的一个发展方向，毕竟现在的实时计算入storm，flink，sparkstreaming
网易数帆·2020-08-24 22:28

SparkStreaming总结下

consumer传统的消息者（老的方式）需要连接ZK，新的方式（高效的方式）不需要连接ZK，但是要自己维护偏移量consumergroup一个消费者组下可以有多个消费者，不重复消息DStream离散的数据流，是SparkStreaming
xiaoqiang17·2020-08-24 18:19

SparkStreaming（1）入门

目前有三种比较常用的流式计算框架，分别是storm,sparkStreaming和Samza，,sparkS
joli_1034498274·2020-08-24 17:37

sparkStreaming：实时流计算Java案例

现在，网上基于spark的代码基本上都是Scala，很多书上也都是基于Scala，没办法，谁叫spark是Scala写出来的了，但是我现在还没系统的学习Scala，所以只能用java写spark程序了，spark支持java，而且Scala也基于JVM,不说了，直接上代码这是官网上给出的例子，大数据学习中经典案例单词计数在linux下一个终端输入$nc-lk9999然后运行下面的代码package
花和尚也有春天·2020-08-24 17:31

Spark Streaming 运行日志 、 任务监控 Web UI 、Kafka 、Listener 邮件短信通知

任务监控一、SparkWebUI对于SparkStreaming任务的监控可以直观的通过SparkWebUI，该页面包括InputRate,SchedulingDelay、ProcessingTime等
哥伦布112·2020-08-24 16:42

为什么选择Canal + Flume + Kafka 架构而不是Canal + Kafka架构？

对于采集MySQL的Binlog并实时解析，我们知道Canal直接对接的消息队列MQ中就包含Kafka组件，那么我们为什么不能直接使用Canal+Kafka+SparkStreaming架构呢？
杨鑫newlfe·2020-08-24 16:53

sparkStreaming_电商案例

数据生成：packagecom.java__SparkStreaming;importkafka.javaapi.producer.Producer;importkafka.producer.KeyedMessage
漠小浅·2020-08-24 16:48

SparkStreamingj集成Kafka的几个重要参数

[img]http://dl2.iteye.com/upload/attachment/0122/7173/fb8db43b-7cad-309b-ade5-8b89f8af6473.png[/img]sparkstreaming
三劫散仙·2020-08-24 16:01

Flink与Spark Streaming在与kafka结合的区别！

当然，单纯的介绍flink与kafka的结合呢，比较单调，也没有可对比性，所以的准备顺便帮大家简单回顾一下SparkStreaming与kafka的结合。
大数据星球-浪尖·2020-08-24 16:32

Spark系列4- Spark Streaming

静态数据和动态数据的处理模型2SparkStreamingSparkStreaming简
georgeguo·2020-08-24 15:23

使用idea编写SparkStreaming消费kafka中的数据，并对数据进行某一指标的处理【小案例】（五）

接使用idea编写SparkStreaming消费kafka中的数据【小案例】（四）https://georgedage.blog.csdn.net/article/details/103508619先对上篇做一个回顾
乔治大哥·2020-08-24 15:04

Spark Kafka

SparkStreamingwithKafkaintegration在这里我们开始介绍如何配置sparkStreaming去接受来自kafka的数据，有两个方法能够做到：1.老方法，使用的是Receivers
王峥jeff·2020-08-24 15:40

spark streaming

SparkStreaming课程目标掌握SparkStreaming的原理熟练使用SparkStreaming完成流式计算任务SparkStreaming介绍SparkStreaming概述什么是SparkStreamingSparkStreaming
大数据专家·2020-08-24 15:39

SparkStream流处理

输入流文件输入流//sparkstreaming文件输入流//valinputFile="file:///usr/local/spark/mycode/wordcount/word.txt"valinputFile
宁缺100·2020-08-24 15:35

spark streaming和spark SQL整合使用出现的问题

问题描述：在sparkstreaming的foreachrdd中使用sparksession获取hive中的数据时，只会显示一个default库解决方法：1、在resources中放入集群中的core-site.xml
Demon_gu·2020-08-24 15:03

Spark Streaming和Kafka 参数调优

https://www.jianshu.com/p/5c20e5bc402c再谈SparkStreamingKafka反压batchDuration：每隔batchDuration秒，切分成一个数据块(
海涛高软·2020-08-24 15:46

spark streaming 读取kafka 配置

使用SparkStreaming集成kafka时有几个比较重要的参数：（1）spark.streaming.stopGracefullyOnShutdown（true/false）默认fasle确保在kill
九指码农·2020-08-24 15:15

Spark Streaming介绍

SparkStreaming特点：高吞吐量：Streaming在Spark的基础上集成了流式处理，可以以类似Spark批处理的方式写流式作业，"接收+处理+输出"大量数据。
时光格·2020-08-24 15:25

sparkstreaming整合kafka参数设置，message偏移量写入mysql

https://blog.csdn.net/Lu_Xiao_Yue/article/details/84110045kafka高级数据源拉取到spark，偏移量自我维护，借助scalikejdbc写入到mysql。需要导入org.scalikejdbcscalikejdbc_2.112.5.0org.scalikejdbcscalikejdbc-config_2.112.5.0org.apache
灵佑666·2020-08-24 15:39

sparkstreaming对接kafka出现的数据积压问题

kafka数据积压问题1.问题描述生产环境开发了一套sparkstreaming对接kafka，并进行数据处理的程序。
ntk1986·2020-08-24 15:03

「官文译」Spark 结构Streaming-2.1.1 + Kafka 集成指南 (Kafka broker version 0.10.0 or higher)

注：SparkStreaming+Kafka集成指南ApacheKafka是作为分布式，分区，复制的提交日志服务的发布订阅消息。在开始使用Spark集成之前，请仔细阅读Kafka文档。
www.thutmose.cn·2020-08-24 14:51

sparkstreaming kafka Failed to get records for after polling for 512

这个错误上次说的解决方案是设置heartbeat.interval.ms和session.timeout.ms这两个参数，但发下效果不理想，错误还是会出现。从错误日志里翻阅源码，发现了问题所在，报错的代码是：atorg.apache.spark.streaming.kafka010.CachedKafkaConsumer.get(CachedKafkaConsumer.scala:74)查看Cac
lmb633·2020-08-24 14:14

sparkStreaming整合flume

sparkStreaming整合flume需要把spark-streaming-flume-sink_2.11-2.1.3.jar放到flume的lib目录下使用scala-library-2.11.8
source·2020-08-24 14:02

Spark接入kafka的jar问题

首先spark的实时处理分为sparkStreaming和structuredstreaming俩中处理方式sparkStreaming需要引入org.apache.sparkspark-streaming-kafka
目录哥·2020-08-24 14:15

spark的反压与推测机制

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦反压背景在默认情况下，SparkStreaming通过receivers(或者是Direct方式)以生产者生产数据的速率接收数据
阿华田512·2020-08-24 13:59

SparkStreaming + Kafka集成指南（Kafka版本要求0.8.2.1以上）

注意：spark2.3版本已经取消了对kafka0.8版本的支持这里主要对如何配置SparkStreaming程序接受kafka的数据进行介绍。
V_Gbird·2020-08-24 13:46

SparkStreaming+kafka参数设置

近期项目中对SparkStreaming+Kafka模式使用过程中需要限制单批次最大数据量，在容器节点计算出现延迟或故障时进行自动降低消费频率，在此对几个参数进行分享，同时也为加深自己的印象；由于项目中使用的技术组件主要为
CircleLee404·2020-08-24 12:22

Spark Streaming整合Kafka指南(超详细)

checkpoint二、Direct方式1.kafka基于direct方式一2.kafka基于direct方式二——使用checkpoint3.kafka基于direct方式三——使用HBase管理offset三、SparkStreaming
DanielMaster·2020-08-24 12:54

SparkStreaming读Kafka- Couldn't find leaders for Set

在运行SparkStreaming程序时，出现了这样的错Couldn'tfindleadersforSet([tt,1],[tt,2]))这个异常意思是Spark找不到partition的Leader。
ZIMMY_fb0f·2020-08-24 08:18

Gank Spark

MemoryStore内存模型doPut()数据写入流程Block备份复制的过程任务执行计算引擎部署模式资源调度任务执行过程Standalone模式的整套流程容错机制部署模式YARNMesosSparkSQLSparkStreamingGraphX
gwt0425·2020-08-24 08:48

sparkstreaming 源码 我们从 start() 开始说起

所有的入口就是：StreamingContext.start()这里的关键点就是：启动了调度，调用了JobScheduler.start()defstart():Unit=synchronized{statematch{caseINITIALIZED=>startSite.set(DStream.getCreationSite())StreamingContext.ACTIVATION_LOCK.
hankl1990·2020-08-24 06:15

spark2.1 新特性

在性能方面，Spark2.x有2~10倍的提升；在功能方面，SparkSQL中的Dataset变得成熟，Spark2.x通过Dataset重构了SparkStreaming和MLlib的API，进而使得这两个系统在易用性和性能方面有重大提升
wisgood·2020-08-24 04:16

Log4j、Flume、kafka和spark streaming时时日志处理

本次实战flume是1.7版本，kafka是0.10，sparkstreaming是2.2.0版本第一步：flume=》kafka，首先配置flume的source为avro，然后sink为kafka方式
zwb_jianshu·2020-08-23 16:13

Spark Streaming 简介

流计算针对的是流数据，必须采用实时计算流计算秉承一个基本理念，即数据的价值随着时间的流逝而降低SparkStreaming简介Spa
博弈史密斯·2020-08-23 15:51
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他