E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sparkstreaming
大数据开发(Spark面试真题-卷一)
大数据开发(Spark面试真题)1、什么是
SparkStreaming
?简要描述其工作原理。2、什么是Spark内存管理机制?请解释其中的主要概念,并说明其作用。
Key-Key
·
2024-03-13 07:58
大数据
spark
面试
Structured Streaming
目录一、概述(一)基本概念(二)两种处理模型(三)StructuredStreaming和SparkSQL、
SparkStreaming
关系二、编写StructuredStreaming程序的基本步骤(
Francek Chen
·
2024-02-12 11:44
Spark编程基础
spark
zookeeper
kafka
Structured
Streaming
入门篇 - Spark简介
Spark核心模块image.pngSparkCore:提供了Spark最基础与最核心的功能,Spark其他的功能如:SparkSQL,
SparkStreaming
,GraphX,MLlib都是在SparkCore
君子何为
·
2024-02-12 10:22
Flink状态编程
SparkStreaming
在状态管理这块做的不好,很多时候需要借助于外部存储(例如Redis)来手动管理状态,增加了编程的难度.访问redis需要通过网络访问,增大处理时间状态一致性问题,可能会造成数据的不一致
万事万物
·
2024-02-08 22:41
Spark streaming写入delta数据湖问题
但项目上线到生产环境,检查
sparkstreaming
的job,发现数据在merge写入到数据湖时,往往超过1小时。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
大数据
分布式
Spark streaming batch运行时间过长问题02
排查
Sparkstreaming
数据写入时间过长问题,一方面是因为程序写数据湖小文件问题。在解决了小文件问题后,还是不能达到预期的1分钟一个batch。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
Spark简介
我用到的主要是SparkCore,SparkSQL,
SparkStreaming
。Spark以Rdd作为基础,Rdd是一个分布式的容器,类似于java中的String数组,但是它是分布式的。
麦克阿瑟99
·
2024-02-06 18:07
SparkStreaming
---DStream
3.1.1Transformations3.1.2join3.2有状态转换操作3.2.1UpdateStateByKey3.2.2WindowOperations4.DStream输出1.DStream是什么参考博文
SparkStreaming
肥大毛
·
2024-02-05 20:06
scala
大数据
spark
spark
scala
sql
Spark的JVM调优
目录导致gc因素内存不充足的时候,出现的问题降低cache操作的内存占比调节executor堆外内存与连接等待时长调节executor堆外内存调节连接等待时长SparkJVM参数优化设置
Sparkstreaming
王一1995
·
2024-02-05 10:55
jvm
spark
2019-10-08 大数据开发进阶之路
HiveSQL掌握Hadoop生态主流技术,如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD转换算子/行动算子/持久化算子/任务调度/
SparkStreaming
红瓦李
·
2024-02-03 20:39
2019-03-16 Spark基本架构及运行原理
SparkStreaming
:实时数据流处理组件,类似Storm。
SparkStreaming
提供了A
做一只乐观的小猴子
·
2024-02-03 02:04
大数据之Spark:Spark大厂面试真题
9.
Sparkstreaming
以及基本
浊酒南街
·
2024-02-01 12:35
大数据系列三
spark
big
data
面试
SparkStreaming
---入门
文章目录1.
SparkStreaming
简介1.1流处理和批处理1.2实时和离线1.3
SparkStreaming
是什么1.4
SparkStreaming
架构图2.背压机制3.DStream案例实操1.
肥大毛
·
2024-02-01 09:12
spark
大数据
scala
spark
sql
大数据
window环境下安装spark
spark是大数据计算引擎,拥有SparkSQL、
SparkStreaming
、MLlib和GraphX四个模块。
FTDdata
·
2024-01-31 17:06
Spark 的架构与组件
Spark的核心组件包括SparkCore、SparkSQL、
SparkStreaming
和MLlib等。本文将详细介绍Spark的架构和组件,并分析其优势和挑战。
OpenChat
·
2024-01-29 21:24
spark
架构
大数据
分布式
大数据——Flink 知识点整理
目录1.Flink的特点2.Flink和
SparkStreaming
的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang
·
2024-01-28 06:17
Flink
flink
面试
big
data
大数据
Apache Spark架构与特点
Spark的核心组件是
SparkStreaming
、MLlib、GraphX和SparkSQL,它们分别提供了流式数据处理、机器学习、图形计算和
OpenChat
·
2024-01-27 23:35
apache
spark
架构
大数据
分布式
Spark-core
SparkCore中还包含了对弹性分布式数据集的APISparkSQL可以使用sql结构化语句来查询数据,支持多种数据源,hive,json等
SparkStreaming
是Spark对
luckboy0000
·
2024-01-27 23:12
学习笔记
flume+kafka+
SparkStreaming
+mysql+ssm+高德地图热力图项目
第一步、编写python脚本,产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200
·
2024-01-27 12:24
Flink 基础入门
前言
SparkStreaming
准确来说算是一个微批处理伪实时的做法,可是Flink是真的来一条就会处理一条,而且在
SparkStreaming
和Kafka进行整合时我们需要手动去管理偏移量的问题,而在
IT领域君
·
2024-01-26 19:28
大数据开发之Spark(spark streaming)
第1章:
SparkStreaming
概述1.1
sparkstreaming
是什么
sparkstreaming
用于流式数据的处理。
Key-Key
·
2024-01-25 21:07
大数据
spark
分布式
Flink1.17总结
1.Flink介绍1.Flink和
SparkStreaming
区别2.Flink分层API3.WordCount案例需求:写一个文本,统计出单词的个数1.使用flink批处理查看WordCountBatchDemo
asxyyjh
·
2024-01-25 14:29
大数据
flink
java
SparkStreaming
稽查布控/动态广播变量(处理电信数据)
SparkStreaming
稽查布控/动态广播变量需求:1.在mysql中建表2.在虚拟机中使用指令:nc-lk88883.在IDEA中编写代码数据如下需求:1.在mysql中建表CREATETABLE
莫尼莫尼
·
2024-01-25 05:54
大数据
spark
big
data
scala
Stuuctured Streaming基础--学习笔记
Structuredstreaming介绍spark进行实时数据流计算时有两个工具:
SparkStreaming
:编写rdd代码处理数据流,可以解决非结构化的流式数据StructuredStreaming
祈愿lucky
·
2024-01-23 14:58
大数据
学习
笔记
kafka
Pyspark
Accumulator:5.Sparkconf6.SparkFiles7.StorageLevel二、SparkSQL1.读取数据2.保存/写入数据3.Dataframes3.pysparkSQL函数三、
SparkStreaming
李明朔
·
2024-01-23 12:24
机器学习
spark-ml
(转)Spark Streaming遇到问题分析
StructuredStreaming还没仔细了解,可参考:https://github.com/lw-lin/Coo...2、Spark的Job与Streaming的Job有区别及StreamingJob并发控制:先看看
SparkStreaming
达微
·
2024-01-22 20:06
大数据学习之 Flink
目录一:简介二:为什么选择Flink三:哪些行业需要四:Flink的特点五:与
sparkStreaming
的区别六:初步开发七:Flink配置说明八:环境九:运行组件一:简介Flink是一个框架和分布式得计算引擎
会编程的海贼王
·
2024-01-22 19:58
Flink
大数据
Flink
大数据学长面试之OPPO面试题
1)技术部分(1)
SparkStreaming
消费方式及区别,Spark读取HDFS的数据流程(2)Kafka高性能(3)Hive调优,数据倾斜(4)Zookeeper怎么避免脑裂,什么是脑裂。
大数据小理
·
2024-01-19 16:01
大数据1
大数据
面试
职场和发展
Flink1.17 基础知识
Flink1.17基础知识来源:B站尚硅谷目录Flink1.17基础知识Flink概述Flink是什么Flink特点Flinkvs
SparkStreaming
Flink的应用场景Flink分层APIFlink
魅美
·
2024-01-19 08:16
大数据基础
大数据
flink
sparkstreaming
实时写入hive
最近一直在研究presto接口hive和mysql的一些使用和功能,因此,我在想是否能将数据实时的写入到hive呢,刚好公司项目有需求数据实时写入到hive中,对此,我特定实现了一下。pom文件spark-streaming-kafka-0-10_2.112.1.0spark-core_2.11spark-sql_2.11scala-library采用的是scala2.11.8实现逻辑:实时的获取
会飞的蜗牛66666
·
2024-01-18 16:11
django大数据_草稿本01
文档Learning_Spark/5.
SparkStreaming
/ReadMe.mdatmaster·LeslieZhoa/Learning_Spark#在pyspark下运行frompyspark.ml.featureimportHashingTF
哈都婆
·
2024-01-18 09:15
django
Spark面试
适当增加sparkstandbymaster编写shell脚本,定期检测master状态,出现宕机后对master进行重启操作2.
Sparkstreaming
以及基本工作原理?
lune_Lucky
·
2024-01-17 05:30
大数据
big
data
spark
【Flink-1.17-教程】-【一】Flink概述、Flink快速入门
【Flink-1.17-教程】-【一】Flink概述、Flink快速入门1)Flink是什么1.1.有界流和无界流1.2.Flink的发展史2)Flink特点3)Flinkvs
SparkStreaming
4
bmyyyyyy
·
2024-01-16 08:16
Flink
flink
java
大数据
#flink概述
#flink快速入门
#wordcount
streaming 101
看之前就知道这是两篇能够提升你对流处理理解的文章,不是一般的提升,可以说是一种升华,因为他谈的不是一个具体的工具(
sparkstreaming
,flink等),而是谈流处理应该是怎么样的,流处理要打败批处理一统天下的话需要有什么特性
Bitson
·
2024-01-15 12:31
sparkStreaming
连接kafka的方式
sparkStreaming
消费kafak有两种方式1:receiver方式2:direct方式receiver方式:1:
sparkStreaming
将kafka之中的数据读取到spark内存之中,然后对
流砂月歌
·
2024-01-15 06:59
Spark Streaming
SparkStreaming
随着大数据技术的不断发展,人们对于大数据的实时性处理要求也在不断提高,传统的MapReduce等批处理框架在某些特定领域,例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求
奋斗的蛐蛐
·
2024-01-13 06:13
81、Spark Streaming之DStream以及基本工作原理
SparkStreaming
简介
SparkStreaming
是SparkCoreAPI的一种扩展,它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。
ZFH__ZJ
·
2024-01-10 20:43
Java接入Apache Spark(入门环境搭建、常见问题)
它还支持一组丰富的高级工具,包括用于SQL和结构化数据处理的SparkSQL,用于机器学习的MLlib,用于图计算的GraphX和
SparkStreaming
。Spark是Ma
许忆
·
2024-01-09 13:12
java
apache
spark
Spark streaming架构中的Driver和Executor
Driver在Driver中,有StreamContext作为
SparkStreaming
的入口,
SparkStreaming
的最终处理实际还是交给SparkContext。
她雅_b28e
·
2024-01-09 05:43
学习笔记-日志采集和实时分析简单实例
一个出口直接写到ElasticSearch,提供Kibana进行日志分析可视化处理;一个出口直接写到HDFS,提供后期离线统计分析处理;一个出口写入Kafka中,提供
SparkStreaming
进行近实时日志统计分析处理
人生偌只如初见
·
2024-01-07 13:27
Spark
Kafka
ElasticSearch
Filebeat
Logstash
Kafka
Spark
大数据编程期末大作业
大数据编程期末大作业文章目录大数据编程期末大作业一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、
SparkStreaming
编程一、Hadoop基础操作在HDFS中创建目录/user/
-北天-
·
2024-01-07 05:20
大数据学习
大数据
课程设计
hadoop
Spark Streaming与数据源连接:Kinesis、Flume等
Apache
SparkStreaming
是一个强大的工具,可用于处理实时数据流。
晓之以理的喵~~
·
2024-01-06 16:13
Spark
spark
flume
大数据
Spark Streaming的容错性与高可用性
Apache
SparkStreaming
是一个强大的工具,用于实时数据处理和分析,具备卓越的容错性和高可用性。
晓之以理的喵~~
·
2024-01-06 16:13
Spark
spark
大数据
分布式
使用Kafka与Spark Streaming进行流数据集成
为了实现实时数据集成和分析,组合使用ApacheKafka和Apache
SparkStreaming
是一种常见的做法。
晓之以理的喵~~
·
2024-01-06 16:43
Spark
kafka
spark
分布式
【数据采集与预处理】流数据采集工具Flume
解压安装包(三)配置环境变量(四)查看Flume版本信息四、Flume的运行(一)Telnet准备工作(二)使用Avro数据源测试Flume(三)使用netcat数据源测试Flume五、Flume作为
SparkStreaming
Francek Chen
·
2024-01-06 14:07
Spark编程基础
大数据技术基础
flume
大数据
spark
分布式
SparkStreaming
基础解析(四)
1、
SparkStreaming
概述1.1
SparkStreaming
是什么
SparkStreaming
用于流式数据的处理。
有语忆语
·
2024-01-05 10:05
大数据之Spark
SparkStreaming
实时数据处理概述与Spark Streaming简介
SparkStreaming
是ApacheSpark生态系统中的一个模块,专门用于实时数据处理。本文将深入探讨实时数据处理的概念,并介绍如何使用
SparkStreaming
来处理实时数据流。
晓之以理的喵~~
·
2024-01-04 11:16
Spark
spark
c#
大数据
Spark Streaming的DStream与窗口操作
实时数据处理已经成为当今大数据时代的一个重要领域,而
SparkStreaming
是ApacheSpark生态系统中的一个关键模块,用于处理实时数据流。
晓之以理的喵~~
·
2024-01-04 11:42
Spark
spark
大数据
分布式
Spark Streaming + Flume
Push,指的是Flume主动push数据给
SparkStreaming
。Pull,指的是
SparkStreaming
主动从Flume拉取数据。
歌哥居士
·
2024-01-03 18:53
大数据编程期末大作业
目录一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、
SparkStreaming
编程五、Flume的安装配置一、Hadoop基础操作按要求完成以下操作:1、在HDFS中创建目录/user
Francek Chen
·
2024-01-01 14:50
Spark编程基础
spark
大数据
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他