Sparkstreaming

SparkStreaming 算子updateStateByKey的应用

@羲凡——只为了更好的活着SparkStreaming算子updateStateByKey的应用updateStateByKey功能是按照key进行分组，将该批次的value数据和上一个批次该key的value
羲凡丞相·2020-08-09 01:06

[大数据]连载No16之 SparkSql函数+SparkStreaming算子

本次总结图如下SparkSql可以自定义函数、聚合函数、开窗函数作用说明：自定义一个函数，并且注册本身，这样就能在SQL语句中使用使用方式sqlContext.udf().register(函数名，函数(输入，输出),返回类型)）代码publicstaticvoidmain(String[]args){SparkConfconf=newSparkConf().setAppName("udf").s
小石头2014·2020-08-08 22:27

Spark简介

详细内容参照Spark官网：http://spark.apache.org/Spark相关项目：SparkSQL、SparkStreaming、MachineLearning、GraphX1、SparkSQL
Jay_Sherry·2020-08-08 20:22

Spark _30_SparkStreaming算子操作&Driver HA

SparkStreaming算子操作foreachRDDoutputoperation算子,必须对抽取出来的RDD执行action类算子，代码才能执行。
乔治大哥·2020-08-08 20:25

你真的了解Flink Kafka source吗？

引言当我们在使用SparkStreaming、Flink等计算框架进行数据实时处理时，使用Kafka作为一款
西贝木土·2020-08-08 14:34

SparkStreaming算子操作，Output操作

SparkStreaming练习之StreamingTest，UpdateStateByKey，WindowOperator一、SparkStreaming算子操作1.1foreachRDD1.2transform1.3updateStateByKey1.4
爱是与世界平行·2020-08-08 12:01

SparkStreaming算子

SparkStreaming算子分为两类：transformation算子和outputOperator算子transformation算子：flatMap、count、mapToPair、map、countByValue
Aying_seeya·2020-08-08 10:13

flume-kafka- spark streaming(pyspark) - redis 实时日志收集实时计算

鉴于实在是比较少python相关是sparkstreaming的例子，对于自己实现的测试例子分享上来一起讨论。
Dino系我·2020-08-07 22:18

一个高性能交互式查询与分析引擎的设计思路

SQL-on-Hadoop方案（Hive、SparkSQL、Impala）流计算方案（Storm、SparkStreaming）全文检索方案（Solr、ElasticSearch）最优方案（一个万亿数据秒级查询与分析引
vv8086·2020-08-07 19:38

实时流计算Spark Streaming原理介绍

1、SparkStreaming简介1.1概述SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。
mishidemudong·2020-08-07 18:58

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新，Spark的重点也放到了StructuredStreaming，但由于Spark版本过低或者其他技术选型问题，可能还是会选择SparkStreaming。
实时计算·2020-08-07 07:38

13.window滑动窗口以及热点搜索词滑动统计案例实战

window滑动窗口SparkStreaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。
十点进修·2020-08-06 11:17

8.输入DStream之Kafka数据源实战（基于Receiver的方式）

receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。
十点进修·2020-08-06 11:45

1. 大数据实时计算介绍

SparkStreaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的SparkCore的。
十点进修·2020-08-06 11:45

2.Spark Streaming：基本工作原理

SparkStreaming简介SparkStreaming是SparkCoreAPI的一种扩展，它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。
十点进修·2020-08-06 11:45

3.Spark Streaming：与Storm的对比分析

SparkStreaming与Storm的优劣分析事实上，SparkStreaming绝对谈不上比Storm优秀。这两个框架在实时计算领域中，都很优秀，只是擅长的细分场景并不相同。
十点进修·2020-08-06 11:45

超全干货--Flink思维导图，花了3周左右编写、校对

大数据RPC技术链接：RPC研究，从浅到深，含研究笔记：超级全面，包懂在流式分布式计算领域中，Flink可以和SparkStreaming、Storm叫板了。
十点进修·2020-08-06 10:29

Spark Streaming快速入门系列（7）

第一章SparkStreaming引入1.1.新的场景需求●集群监控一般的大型集群和平台,都需要对其进行监控的需求。
KO哥·2020-08-06 09:32

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新，Spark的重点也放到了StructuredStreaming，但由于Spark版本过低或者其他技术选型问题，可能还是会选择SparkStreaming。
品途旅游·2020-08-06 09:17

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新，Spark的重点也放到了StructuredStreaming，但由于Spark版本过低或者其他技术选型问题，可能还是会选择SparkStreaming。
实时流式计算·2020-08-06 08:00

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新，Spark的重点也放到了StructuredStreaming，但由于Spark版本过低或者其他技术选型问题，可能还是会选择SparkStreaming。
独孤风·2020-08-06 08:00

阿里内部的 Flink 分支 Blink 要开源了

今年，实时流计算技术开始步入主流，各大厂都在不遗余力地试用新的流计算框架，实时流计算引擎和API诸如SparkStreaming、KafkaStreaming、Beam和Flink持续火爆。
不贰过先生·2020-08-05 20:32

sqoop读取postgresql数据库表格导入到hdfs中

最近再学习sparkstreaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下。
秋名山庄李逍遥·2020-08-05 16:40

千亿级数据量kafka集群性能调优实战总结

broker，基于Ambari,hdp管理（ambari_v2.5,hdp_v2.6）10台broker配置5块3T盘30台broker配置12块6T盘每天所有生产端产生2000亿条左右的数据消费端有SparkStreaming
大数据技术与应用实战·2020-08-05 04:08

用Spark进行实时流计算

SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。
实时计算·2020-08-05 02:05

SparkStreaming读取Kafka的两种方式

pgc_id=6855283208414560780本文主要从以下几个方面介绍SparkStreaming读取Kafka的两种方式:一、SparkStreaming简介二、Kafka简介三、Redis简介
静远小和尚·2020-08-05 01:34

SparkStreaming 详解

原文链接：https://www.toutiao.com/i6854493461903901197/本文主要从以下几个方面介绍SparkStreaming:一、SparkStreaming是什么二、SparkStreaming
静远小和尚·2020-08-05 01:34

Spark Streaming kafka 实现数据零丢失的几种方式

在使用sparkstreaming消费kafka数据时，程序异常中断下发现会有数据丢失的情况。下文将说明如何避免这种情况。
breeze_lsw·2020-08-05 01:15

大数据课程30天掌握 spark内存计算（python ）-徐培成-专题视频课程

大数据课程30天掌握spark内存计算（python）—16625人已学习课程介绍本部分内容全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，SparkonYarn,SparkStreaming
十八掌教育·2020-08-04 22:31

若泽大数据--玩转大数据之Spark入门到实战--专题视频课程

课程收益全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，SparkonYarn,SparkStreaming流式计算原理与实践，SparkSQL,Spark的多语言编程以及SparkR的原理和运行
ruozedata·2020-08-04 17:24

spark streaming 检查点机制

SparkStreaming的检查点具有容错机制，有足够的信息能够支持故障恢复。支持两种数据类型的检查点：元数据检查点和数据检查点。
richard_w0ng·2020-08-04 16:03

Spark Streaming与Kafka的整合

SparkStreaming与Kafka整合receiver模式基于receiver方式的图解数据丢失问题数据吞吐量问题receiver方式存在的其余问题receiver方式的注意点receiver方式的总结
疯狂呼呼呼·2020-08-04 15:07

使用Spark进行实时流计算的方法

SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。
·2020-08-04 09:43

用Spark进行实时流计算

SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。
品途旅游·2020-08-04 09:27

用Spark进行实时流计算

SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。
独孤风·2020-08-04 08:00

用Spark进行实时流计算

SparkStreamingVSStructuredStreamingSparkStreaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。
实时流式计算·2020-08-04 08:00

实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示

最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。iduvpvdatehour11555993060532018-07-2718关于什么是pv,uv，可以参见这篇博客:https://blog.csdn.n
weixin_30885111·2020-08-04 04:11

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景?

2）SparkStreaming：（类似于storm）可以对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kafka、Flume、Twitter、Zero和TCP套接字）进行类似于hadoop
有风微冷·2020-08-03 22:27

sparkstreaming多consumer消费kafka报错问题

欢迎访问:https://blog.csdn.net/qq_21439395/article/details/80428047交流QQ:824203453版本：sparkstreaming2.2kafka0.10sparkstreaming
gssgch·2020-08-03 21:50

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access

_21439395/article/details/80412688交流QQ:824203453欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492sparkstreaming2.2
gssgch·2020-08-03 21:50

Spark Streaming Demo练习

环境准备版本scala版本:2.11.8spark版本:2.1.0pom.xml文件添加依赖jar包org.apache.sparkspark-streaming_2.11${spark.version}SparkStreamingwc
huo_火力全开·2020-08-03 17:17

第8课：Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

第8课：SparkStreaming源码解读之RDD生成全生命周期彻底研究和思考/*王家林老师授课http://weibo.com/ilovepains每天晚上20：00YY频道现场授课频道68917580
段智华·2020-08-03 16:30

SpringBoot + Spark on Yan踩坑记

终极目标采用SpringBoot集成SparkStreaming+Kafka+Redis+HDFS等组件，打包成jar（下文将之简称为“应用”），运行在SparkonYan环境，实现离线+实时分布式计算
xianyuxiaoqiang·2020-08-03 08:16

Spark生态相关组件介绍

Spark大厦的地基(RDD)SparkSQLSparkStreamingStructuredStreaming为什么需要Spark？
苝花向暖丨楠枝向寒·2020-08-03 07:03

Spark与Flink对比

Spark缺点无论是SparkStreaming还是StructuredStreaming,Spark流处理的实时性还不够,所以无法用在一些对实时性要求很高的流处理场景中。
苝花向暖丨楠枝向寒·2020-08-03 07:33

Spark2.2（三十三）：Spark Streaming和Spark Structured Streaming更新broadcast总结

背景：需要在spark2.2.0更新broadcast中的内容，网上也搜索了不少文章，都在讲解sparkstreaming中如何更新，但没有sparkstructuredstreaming更新broadcast
weixin_34255793·2020-08-03 07:04

Spark Streaming(一) 基础知识介绍

本文介绍流处理的概念，流处理引擎环境和ApacheSparkStreaming概述。流处理批数据处理是指通过固定的输入数据集运行计算逻辑，并在结束时产生结果。这意味着处理将在到达数据集末尾时停止。
the_conquer_zzy·2020-08-03 04:45

Spark中的Catalyst

sparkstreaming依赖于datasetdataframe，而datasetdataframe依赖于catalyst；catalyst不仅仅是sql的一个解析器引擎，应看做spark新一代的解析器引擎
Perkinl·2020-08-03 01:00

sparkStreaming

目录核心概念DStreamReceiverTransformationOutputOperationIDEA搭建SparkStreaming环境的pom文件带状态的算子：UpdateStateByKey
kylin_xue·2020-08-03 01:45

Spark Streaming简介

参考：SparkStreaming介绍SparkStreaming介绍SparkStreaming官方文档SparkStreaming简介SparkStreaming是一个基于SparkCore之上的实时计算框架
风情客家__·2020-08-03 01:33
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他