E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark源码解读
Spark
Shuffle模块详解
Shuffle,具有某种共同特征的一类数据需要最终汇聚(aggregate)到一个计算节点上进行计算。这些数据分布在各个存储节点上并且由不同节点的计算单元处理。以最简单的WordCount为例,其中数据保存在Node1、Node2和Node3;经过处理后,这些数据最终会汇聚到Nodea、Nodeb处理。这个数据重新打乱然后汇聚到不同节点的过程就是Shuffle。但是实际上,Shuffle过程可能会
晓之以理的喵~~
·
2024-02-06 03:14
大数据
Hadoop
Spark
spark
大数据
hadoop
Py
Spark
(三)RDD持久化、共享变量、
Spark
内核制度,
Spark
Shuffle
目录RDD持久化RDD的数据是过程数据RDD缓存RDDCheckPoint共享变量广播变量累加器
Spark
内核调度DAGDAG的宽窄依赖和阶段划分内存迭代计算
Spark
是怎么做内存计算的?
独憩
·
2024-02-06 03:43
PySpark
大数据
python
分布式
spark
python-sql-
spark
常用操作
2.尽量使用
spark
.sql,而不是rdd。sql处理groupby会快很多。基本上10min的rdd,sql只需2min。所以基本除了复杂函数,都用sql解决。
竹竹竹~
·
2024-02-06 03:32
MySQL
python学习
数据处理
python
sql
spark
Spark
On Yarn 运行模式
在
Spark
中,支持4种运行模式:1)Local:开发时使用2)Standalone:是
Spark
自带的,如果一个集群是Standalone的话,那么就需要在多台机器上同时部署
Spark
环境3)YARN
bandi4506
·
2024-02-06 03:02
大数据
java
关于
Spark
/Hadoop中Master/Slave IP不正确的问题
在配置
Spark
StandAloneMode的时候,我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置.
ecce
·
2024-02-06 02:37
【xxl-job系列】xxl-job2.4.0版本源码梳理及解读
本文将基于xxl-job2.4.0版本源码进行代码的梳理作者:后端小肥肠目录1.前言2.xxl-job概述2.1.xxl-job架构2.2.xxl-job表结构及接口信息3.
源码解读
(核心!!)
后端小肥肠
·
2024-02-05 22:15
JAVA
java
spring
boot
spring
cloud
工作之后,我对 HashMap 有了新的理解
目录写在前面的话核心
源码解读
一些关键静态常量hash()方法(降低碰撞的原理&2的幂次方的问题)右移16位这个操作的目的是什么?对取模操作的补充为什么要对低位的16位左这些操作,为什么不对高位做?
老吴还小呢
·
2024-02-05 20:52
哈希算法
java
面试
我在 JUC 的门口望了望,先瞥见的是 AtomicBoolean
文章目录写在前面的话
源码解读
关键变量方法总览构造方法常规get()和set()方法getAndSet()方法lazySet()方法compareAndSet()方法一些规划关联阅读写在前面的话为什么单独写这篇文章
老吴还小呢
·
2024-02-05 20:49
java
后端
Spark
Sql---用户自定义函数UDF&&UDAF
文章目录1.UDF2.UDAF2.1UDF函数实现原理2.2需求:计算用户平均年龄2.2.1使用RDD实现2.2.2使用UDAF弱类型实现2.2.3使用UDAF强类型实现1.UDF用户可以通过
spark
.udf
肥大毛
·
2024-02-05 20:08
scala
大数据
spark
spark
大数据
分布式
Spark
Sql---RDD DataFrame DataSet
文章目录1.DataFrame2.DataSet3.RDD、DataFrame、DataSet三者的关系4.使用SQL操作DataFrame类型的数据4.1DSL语法4.2RDD转换为DataFrame4.3DataFrame转换为RDD5.使用SQL操作DataSet的数据5.1使用样例类序列创建DataSet5.2DataSet转换为RDD5.3DataSet和DataFrame相互转换1.D
肥大毛
·
2024-02-05 20:38
大数据
json
sql
hive
hadoop
spark
Spark
Streaming---DStream
3.1.1Transformations3.1.2join3.2有状态转换操作3.2.1UpdateStateByKey3.2.2WindowOperations4.DStream输出1.DStream是什么参考博文
Spark
Streaming
肥大毛
·
2024-02-05 20:06
scala
大数据
spark
spark
scala
sql
解析UE动画系统——核心实现
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
UWA
·
2024-02-05 16:36
U
Sparkle
精华来稿
动画
unreal
engine
游戏动画
Hudi学习6:安装和基本操作
目录1编译Hudi1.1第一步、Maven安装1.2第二步、下载源码包1.3第三步、添加Maven镜像1.4第四步、执行编译命令1.5第五步、HudiCLI测试2环境准备2.1安装HDFS2.2安装
Spark
3
hzp666
·
2024-02-05 14:59
Hudi
学习
hudi
Hudi学习 6:Hudi使用
准备工作:1.安装hdfshttps://mp.csdn.net/mp_blog/creation/editor/1096891432.安装
spark
spark
学习4:
spark
安装_hzp666的博客
hzp666
·
2024-02-05 14:58
Hudi
hudi
数据湖
湖仓一体
湖仓融合
实时数仓
spark
学习4:
spark
安装
1.下载
spark
安装包2.配置环境1.cd/bigdata/
spark
-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666
·
2024-02-05 14:58
spark
spark
大数据
计算机毕业设计hadoop+
spark
+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计
mapreduce对mysql中的小说数据集进行数据清洗,转为.csv文件上传至hdfs文件系统;3.根据.csv文件结构,使用hive建库建表;4.一半分析指标使用hive_sql完成,一半分析指标使用
Spark
-Scala
计算机毕业设计大神
·
2024-02-05 14:48
Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg
hadoop-3.1.3hbase-2.2.2-bin一、问题描述:在学习林子雨老师编写的《
Spark
编程基础》时使用如下命令运行jar包读取HBase时出现如下错误:Exceptioninthread
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
java
hadoop
hive
【
Spark
ML实践7】特征选择器FeatureSelector
本节介绍了用于处理特征的算法,大致可以分为以下几组:提取(Extraction):从“原始”数据中提取特征。转换(Transformation):缩放、转换或修改特征。选择(Selection):从更大的特征集中选择一个子集。局部敏感哈希(LocalitySensitiveHashing,LSH):这类算法结合了特征转换的方面与其他算法。FeatureSelectorsVectorSlicerVe
周润发的弟弟
·
2024-02-05 12:41
Spark机器学习
spark-ml
Spark
依赖包加载方式
1
Spark
依赖包来源我们知道
Spark
application运行加载依赖有三个地方:systemClasspath:
Spark
安装时候提供的依赖包,${
SPARK
_HOME}/jars下的包。
大数据AI
·
2024-02-05 12:11
大数据从入门到精通
spark
大数据
使用Py
Spark
处理DataFrame以拆分数组列
问题:用py
spark
处理df1,df1有三列,第一列是商品pid,第二列是商品name,第三列是候选标品cid_list(有多个cid),将df1中的cid_list拆开,转换成一个商品id和name
samoyan
·
2024-02-05 12:41
python
linux
服务器
运维
Spark
的JVM调优
目录导致gc因素内存不充足的时候,出现的问题降低cache操作的内存占比调节executor堆外内存与连接等待时长调节executor堆外内存调节连接等待时长
Spark
JVM参数优化设置
Spark
streaming
王一1995
·
2024-02-05 10:55
jvm
spark
Hadoop3.x单机安装教程
以最小化的成本学习和测试Hadoop;搭建基于Hadoop的上层应用,比如单机
Spark
环境需要先拥有单机的Hadoop;如果需要搭建分布式集群环境的Hadoop环境,请参考另外一篇:Hadoop3.x
文景大大
·
2024-02-05 10:06
[qtp581715564-18] ERROR
spark
.http.matching.GeneralError - org.neo4j.driver.exceptions.ResultConsum
今天使用java连接neo4j执行查询的时候遇到了这个问题,报错如下:[qtp581715564-18]ERROR
spark
.http.matching.GeneralError-org.neo4j.driver.exceptions.ResultConsumedException
路过Coder
·
2024-02-05 09:36
spark
neo4j
大数据
java
趣头条
Spark
Remote Shuffle Service最佳实践
1.业务场景与现状趣头条是一家依赖大数据的科技公司,在2018-2019年经历了业务的高速发展,主App和其他创新App的日活增加了10倍以上,相应的大数据系统也从最初的100台机器增加到了1000台以上规模。多个业务线依赖于大数据平台展开业务,大数据系统的高效和稳定成了公司业务发展的基石,在大数据的架构上我们使用了业界成熟的方案,存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术
·
2024-02-05 09:29
大数据
spark
1.CDH集成Trino(PrestoSQL)
系列文章目录1.CDH集成Trino(PrestoSQL)2.1TrinoWindows开发环境搭建—组件篇2.2TrinoWindows开发环境搭建—源码修改篇3.1Trino二次开发-动态数据源管理-需求及
源码解读
zhao_rock_2016
·
2024-02-05 09:28
presto
trino
Spark
Sql读取外部Hql文件的公共类开发
Spark
Sql读取外部Hql文件的公共类开发
Spark
SQL与Hive的区别简介一、什么是
Spark
SQL?
岁月的眸
·
2024-02-05 09:27
#
Hive总结
#
Spark总结
大数据
hive
大数据
spark
在 CDH 中调优 Apache Hive on
Spark
Spark
上的Hive在提供相同功能的同时提供比MapReduce上的Hive更好的性能。在
Spark
上运行Hive不需要更改用户查询。
海阔天空&沫语
·
2024-02-05 09:27
大数据/架构
hive
hadoop
spark
Spark
Shuffle Service简介与测试
Spark
管理资源有两种方式:静态资源分配和动态资源分配。静态资源分配:
spark
提交任务前,指定固定的资源,在
spark
运行任务过程中,一直占用这些资源不释放,job运行结束后才会释放。
大数据AI
·
2024-02-05 09:26
spark
大数据
CDH6.3.2 多
Spark
版本共存
一部署
Spark
客户端1.1部署
spark
3客户端tar-zxvf
spark
-3.3.1-bin-3.0.0-cdh6.3.2.tgz-C/opt/cloudera/parcels/CDH/libcd/
大数据AI
·
2024-02-05 09:56
大数据从入门到精通
spark
cdh
大数据-
Spark
调优(一)
大数据-
Spark
调优(一)分配更多的资源分配更多的资源是性能优化调优的王道,就是增加和分配更多的资源,这对于性能和速度上的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升,是成正比的;写完了一个复杂的
海恋北斗星
·
2024-02-05 09:29
大数据
spark
大数据笔记--
Spark
(第五篇)
目录一、
Spark
的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景,用mapPartitions代替map5、避免使用collect二、
Spark
的共享变量1、广播变量
是小先生
·
2024-02-05 09:59
大数据08-Spark
spark
大数据 -
Spark
系列《三》- 加载各种数据源创建RDD
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn
·
2024-02-05 09:28
spark
大数据
spark
分布式
大数据原理-
Spark
概述:基于内存计算三大分布式计算系统:Hadoop、
Spark
、Storm特点:采用有向无环图DAG作业调度运行速度快循环数据流容易使用:可以通过
Spark
Shell交互式编程用途:SQL查询、流式计算
monster++
·
2024-02-05 09:28
大数据原理
分布式
编程语言
分布式计算
hadoop
spark
大数据 -
Spark
系列《四》-
Spark
分布式运行原理
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-05 08:54
spark
大数据
分布式
spark
Windows系统运行py
spark
报错:Py4JJavaError
运行py
spark
时出现以下错误---------------------------------------------------------------------------Py4JJavaErrorTraceback
赫桃
·
2024-02-05 07:25
windows
spark
scala
py
spark
报错TypeError: an integer is required (got type bytes)
安装配置py
spark
,计算时报错如下:Using
Spark
'sdefaultlog4jprofile:org/apache/
spark
/log4j-defaults.propertiesSettingdefaultloglevelto"WARN
helluy
·
2024-02-05 07:23
bug解决
bug
spark
python
py
spark
报错:ValueError: object of IntegerType out of range
背景:py
spark
任务中,调用了udf处理数据,并使用了链接:py
spark
并行调用udf函数的方式,报错如上。但是在python中很少遇到整型越界问题。
leap_ruo
·
2024-02-05 07:53
pyspark
spark
Python调用py
spark
报错整理
Pycharm配置了SSH服务器和Anaconda的python解释器,如果没有配置可参考大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接Pycharm执行的脚本执行如下py
spark
_model.py
赫加青空
·
2024-02-05 07:52
Python
spark
大数据
python
开发语言
基于hadoop+
spark
的大规模日志的一种处理方案
而且CDN上的访问日志一般都非常大,需要用大数据处理架构来进行处理,本文描述了一种利用hadoop+
spark
来处理大量CDN日志的方法,当然本方
码农心语
·
2024-02-05 06:36
日志处理
大规模
大数据
hadoop
spark
cdn
Flink实时流计算入门系列——广播变量使用
Flink和
Spark
一样,都有支持广播变量这定义。广播变量,可以理解成为日常的广播,是一个公共的变量。广播变量创建后,它可以运行在集群中的任何function上,而不需要多次传递给集群节
晨冉1688
·
2024-02-05 06:19
HIVE
--------hive数据仓库hive底层执行引擎有MapReduceTez
Spark
压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_
·
2024-02-05 00:23
spark
-submit 任务提交过程分析
https://blog.csdn.net/u013332124/article/details/91456422一、
spark
-submit脚本分析
spark
-submit的脚本内容很简单:#如果没设置
疯狂的哈丘
·
2024-02-04 22:08
深度解析源码,Spring 如何使用三级缓存解决循环依赖
2.2.三级缓存2.3.原理执行流程三.
源码解读
3.1.代码入口3.2.第一层3.3.第二层3.4.第三层3.5.返回第二层3.6.返回第一层四.原理深度解读4.1.什么要有三级缓存?
流华追梦
·
2024-02-04 20:28
Spring
spring
循环依赖
三级缓存
singletonObject
earlySingleton
singletonFactor
运行环境jre版本和jar包编译版本不一致导致:Unsupported major.minor version 52.0
问题我在本地使用IntellijIdea打包了一个
spark
的程序jar包,放到linux集群上运行,报错信息是:Unsupportedmajor.minorversion52.0环境本机系统->windows10
stone_zhu
·
2024-02-04 18:51
Java是如何实现自己的SPI机制的?
注:该源码分析对应JDK版本为1.81引言这是【源码笔记】的JDK
源码解读
的第一篇文章,本篇我们来探究Java的SPI机制的相关源码。2什么是SPI机制那么,什么是SPI机制呢?
tyrroo
·
2024-02-04 14:14
win10环境下通过anaconda安装py
spark
解决方法本来应该可以在anaconda上直接搜索安装,但是非常慢,而且还有错误,说python3.8无法和和py
spark
3.1.2兼容,需要安装python3.8之前的版本才行。
零下2度
·
2024-02-04 14:36
笔记
python
大数据
大数据技术未来发展前景及趋势分析
Spark
:
Spark
是一个兼容Hadoop数据源的内存数据处理平台,运行速度相比于HadoopMapReduce更快。
丨程序之道丨
·
2024-02-04 12:54
大数据入门-大数据技术概述(二)
目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务:Zookeeper2.分布式资源管理器:Yarn3.计算引擎:
Spark
4.
水坚石青
·
2024-02-04 11:11
大数据理论
大数据
spark
kafka
完结,从零开始学python(十八)想成为一名APP逆向工程师,需要掌握那些技术点?
我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoop
Spark
5
爬完虫变成龙
·
2024-02-04 07:52
python
python开发
APP逆向
python
开发语言
python爬虫
python开发
java
APP逆向
NDK
Fink CDC数据同步(三)Flink集成Hive
利用Flink来读写Hive的表Flink打通了与Hive的集成,如同使用
Spark
SQL或者Impala操作Hive中的数据一样,我们可以使用Flink直接读写Hive中的表。
苡~
·
2024-02-04 07:20
flink
hive
大数据
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他