E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
rdd
Mysql 修改用户密码
新建用户或修改密码时,报错(ERROR1819(HY000):Yourpasswo
rdd
oesnotsatisfythecurrentpolicyrequiremen
两个蝴蝶飞
·
2023-04-03 17:32
mysql
数据库
java
Spark统计一座城市的男女人数,以及男女消费额的最高与最低
newFileWriter("生成文件的路径以及名称");intx=r.nextInt(1100000)-100000;for(inty=1;ylines=sc.textFile("数据路径");Java
RDD
rdd
1
我爱让机器学习
·
2023-04-03 16:42
spark
大数据
big
data
java
eclipse
Saprk面试
1.谈谈Spark
RDD
的几大特性,并深入讲讲体现在哪?Spark的
RDD
有五大特性:Alistofpartitions:
RDD
是由多个分区(partition)组成的集合。
Rinma
·
2023-04-03 12:07
Spark中内存模型管理
本文中阐述的原理基于Spark2.1版本,阅读本文需要读者有一定的Spark和Java基础,了解
RDD
、Shuffle、JVM等相关概念
Perkinl
·
2023-04-03 11:26
spark
spark
内存模型管理
算法学习day46
算法学习day461.力扣139.单词拆分1.1分析1.2代码2.参考资料1.力扣139.单词拆分1.1分析题目描述:给定一个非空字符串s和一个包含非空单词的列表wo
rdD
ict,判断s是否可以被空格拆分成为一个或者多个在字典中出现的单词
起一个不存的用户昵称
·
2023-04-03 10:41
算法
动态规划
c++
数据结构
leetcode
PySpark:DataFrame及其常用列操作
Spark版本:V3.2.11.DataFrame虽然
RDD
是Spark最基本的抽象,但
RDD
的计算函数对Spark而言是不透明的。也就是说Spark并不知道你要在计算函数里干什么。
Sun_Sherry
·
2023-04-03 08:27
PySpark
PySpark
pyspark DataFrame问题解决
参考文档1、https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.
RDD
.html1、去除重复列pyspark.sql.DataFrame.dropDuplicates
天天~
·
2023-04-03 08:18
Spark
spark
big
data
数据挖掘
1024程序员节
PySpark-DataFrame条件筛选
目录示例DataFrame.where条件筛选.filter过滤.isin过滤funcs.when()示例DataFrame#创建一个SparkDataFrame
rdd
=sc.parallelize([
旺仔的算法coding笔记
·
2023-04-03 07:41
大数据
PySpark实战一之入门
1、PySpark的编程模型分三个模块:数据输入:通过SparkContext对象,完成数据输入数据处理计算:输入数据后得到
RDD
对象,对
RDD
对象的成员方法进行迭代计算数据输出:最后通过
RDD
对象的成员方法
Younger成
·
2023-04-03 07:01
大数据
pyspark(二)
pysparkdataframeselect()collect()select()就是列名进行选择,collect()就是对数据的最终结果或者中间结果进行收集,非常类似于Java的Stream流的collect(),对
RDD
muyuchenzi
·
2023-04-03 07:55
Spark
Python
pandas
python
大数据
Big Data Management笔记04:SparkSQL和PySpark MLlib
PySparkMLlibSparkSQLDataframeCreateDataframeDataframeOperationsMoreonDataframesColumnarStorage(柱状存储)Dataframeand
RDD
SchemasinDataFramePlanOptimization
MYJace
·
2023-04-03 07:08
学习笔记
机器学习
hadoop
spark
hdfs
Spark高手之路1—Spark简介
Hadoop比较2.1从时间节点上来看2.2从功能上来看3.SparkOrHadoop4.Spark4.1速度快4.2易用4.3通用4.4兼容5.Spark核心模块5.1Spark-Core和弹性分布式数据集(
RDD
s
W_chuanqi
·
2023-04-03 07:30
Spark高手之路
spark
hadoop
大数据
大数据最佳实践-sparkstreaming
目录概述架构案例Dstream创建3.1文件数据源3.2
RDD
队列自定义数据源Kafka数据源ReceiverDirectDStream转换有状态转化操作4.2.2WindowOperationsreducelast30secondsofdata
猿与禅
·
2023-04-02 22:31
大数据
sparkstreaming
最佳
实践
kafka
调优
大数据--spark生态4--sparkSQL
目录一:sparkSQL介绍二:DataFrame三:dataSet四:
rdd
,dataframe,dataset之间的转换五:
rdd
,dataframe,dataset异同点5.1相同点5.2区别六:
斑马!
·
2023-04-02 10:21
大数据
#
spark生态
flink生态
spark
big
data
hadoop
【Spark】Spark 的三大数据结构
今天学习一下Spark的数据结构,分别是:
RDD
:弹性分布式数据集;累加器:分布式共享只写变量;广播变量:分布式共享只读变量。它们分别用于不同的场景解决不同的问题。
和风与影
·
2023-04-02 10:15
Spark
大数据
spark
Spark---并行度和分区
这个数量可以在构建
RDD
时指定。记住,这里的并行执行的任务数量(Task),并不是指的切分任务的数量。集合数据源分区de
快跑呀长颈鹿
·
2023-04-02 10:13
Spark
spark
scala
大数据
Spark---持久化
Spark之持久化文章目录Spark之持久化持久化
RDD
Cache缓存
RDD
Persist缓存
RDD
CheckPoint检查点缓存和检查点区别cachepersistcheckpoint持久化持久化的作用
快跑呀长颈鹿
·
2023-04-02 10:12
Spark
spark
scala
大数据
Spark---常用
RDD
算子
Spark之
RDD
转换算子和行动算子文章目录Spark之
RDD
转换算子和行动算子
RDD
算子
RDD
转换算子Value类型mapmapPartitionsmapPartitionsWithIndexflatMapglomgroupByfiltersampledistinctcoalescecoalesceshuffle
快跑呀长颈鹿
·
2023-04-02 10:42
Spark
spark
scala
大数据
Spark---
RDD
算子的依赖关系
Spark之
RDD
算子的依赖关系文章目录Spark之
RDD
算子的依赖关系
RDD
血缘关系
RDD
依赖关系
RDD
窄依赖
RDD
宽依赖
RDD
血缘关系
RDD
只支持粗粒度转换,即在大量记录上执行的单个操作。
快跑呀长颈鹿
·
2023-04-02 10:42
Spark
spark
scala
大数据
Spark 之Spark三大数据结构
Spark前言Spark知识系列文章一、
RDD
弹性分布式数据集1.1
RDD
定义以及框架1.2特点1.3创建
RDD
1.4算子1.5
RDD
依赖关系1.5.1窄依赖1.5.2宽依赖1.6
RDD
任务划分1.7
RDD
向、向向日葵
·
2023-04-02 09:12
大数据
Spark
spark
数据结构
big
data
Pandoc格式转换(常见word转markdown)
Pandoc支持不同格式文件的转换:包括Markdown,HTML,LaTeX,Wo
rdd
ocx。
guo1wu3shi4
·
2023-04-02 09:37
工具
Spark---三大数据结构
Spark之三大数据结构文章目录Spark之三大数据结构三大数据结构
RDD
弹性分布式数据集数据抽象不可变五大配置1.分区列表2.分区计算函数3.
RDD
之间的依赖关系4.分区器5.首选位置执行原理启动Yarn
快跑呀长颈鹿
·
2023-04-02 09:55
Spark
spark
数据结构
scala
Spark之SparkSQL
SparkSQLSparkSQL是Spark用于结构化数据处理的模块SparkSQL的原理SparkSQL提供了两个编程抽象,DataFrame和DataSetDataFrame1)DataFrame是一种类似
RDD
勤奋的ls丶
·
2023-04-02 04:45
spark
spark
蓝桥杯
大数据
Spark学习
1.Spark是什么是用于分布式内存计算的统一分析引擎
RDD
:弹性分布式数据集,使得程序员能够在大规模集群中做内存运算中间数据存储在内存中,从而提高了运行速度(Hadoop要进行多次磁盘和内存的读写)2
半觞盛夏半觞秋
·
2023-04-02 03:53
spark
学习
hadoop
spark core之
RDD
之间的依赖关系
什么是
RDD
之间的依赖关系?什么是关系(依赖关系)?
wjl7813
·
2023-04-02 02:12
spark
spark
spark 源码分析之一 --
RDD
的四种依赖关系
RDD
的四种依赖关系
RDD
四种依赖关系,分别是ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四种依赖关系。
weixin_30421809
·
2023-04-02 02:29
大数据
python
数据结构与算法
Spark
RDD
弹性分布式数据集——
RDD
的分区和依赖关系
目录3.4
RDD
的分区3.5
RDD
的依赖关系总结3.4
RDD
的分区在分布式程序中,网络通信的开销是很大的,因此控制数据分布以获得最少的网络传输开销可以极大的提升整体性能;Spark程序可以通过控制
RDD
尘埃要变大佬
·
2023-04-02 02:54
Spark
Scala
spark
大数据
big
data
【hadoop期末复习】第十章 Spark 超详细讲解
SparkSQL目前暂时不支持下列哪种语言A.JavaB.ScalaC.PythonD.Lisp我的答案:D解析:Scala是Spark的主要编程语言,但Spark还支持Java、Python、R作为编程语言2.
RDD
新世纪debug战士
·
2023-04-02 02:44
hadoop期末复习
分布式
spark
大数据
hadoop
RDD
依赖关系
1)
RDD
血缘关系
RDD
只支持粗粒度转换,即在大量记录上执行的单个操作。将创建
RDD
的一系列Lineage(血统)记录下来,以便恢复丢失的分区。
未来影子
·
2023-04-02 02:14
Spark
big
data
大数据
spark学习笔记:
RDD
的依赖关系
1.
RDD
的依赖关系1.1
RDD
的依赖
RDD
和它依赖的父
RDD
的关系有两种不同的类型,即窄依赖(narrowdependency)和宽依赖(widedependency)。
黄道婆
·
2023-04-02 02:33
bigdata
Spark简介及运行架构
这里有对应的中译版:Spark官方文档-快速入门Spark官方文档-Spark编程指南spark中文文档参考链接:http://dblab.xmu.edu.cn/blog/972-2/基础概念重要概念:
RDD
一碗竹叶青
·
2023-04-02 02:28
BigData
大数据
spark
hadoop
scala
5.2 Spark运行架构及流程检测
AA、Job->Stage->TaskB、Stage->Task->JobC、Task->Job->StageD、Job->Task->Stage2、以下哪项可以反映
RDD
之间的依赖关系?
Agoni_u
·
2023-04-02 02:18
大数据技术与应用
spark
大数据hadoop与spark研究——1 spark环境搭建
第一章介绍一、spark组件Spark是一个用于集群计算的通用计算框架Spark可将如何Hadoop分布式文件系统(HDFS)上的文件读取为分布式数据集(
RDD
)Spark是用Scala写的,运行在Java
南山二毛
·
2023-04-02 00:52
大数据
如何从Word,Excel和PowerPoint文档中提取图像,文本和嵌入式文件
SaysomeonesentyouaWo
rdd
ocumentwithalotofimages,andyouwantyoutosavethoseimagesonyourha
rdd
rive.YoucanextractimagesfromaMicrosoftOfficedocumentwithasimpletrick
culun797375
·
2023-04-02 00:05
嵌入式
xml
excel
java
windows
第四十六天打卡
第四十六天打卡单词拆分单词拆分中等2K相关企业给你一个字符串s和一个字符串列表wo
rdD
ict作为字典。请你判断是否可以利用字典中出现的单词拼接出s。
Mr.Jungle10
·
2023-04-01 22:03
算法
动态规划
数据结构
leetcode
[SwapLine]58. Length of Last Word
LengthofLastWordGivenastringsconsistsofupper/lower-casealphabetsandemptyspacecharacters'',returnthelengthoflastwordinthestring.Ifthelastwo
rdd
oesnotexist
野生小熊猫
·
2023-04-01 21:46
kaggle房价预测得分_在r中使用预测能力得分
kaggle房价预测得分InrecentmonthsFlorianWetschoreckpublishedastoryonTowa
rdD
ataScience’sMediumchannelthatattractedtheattentionofmanydatascientistsonLinkedInthankstoitsveryprovocativetitle
weixin_26750481
·
2023-04-01 20:55
人工智能
机器学习
算法
java
2019-08-16 Cisco XRv 6.6.1升级到6.6.25
前面几步一样的:1、备份配置文件RP/0/RP0/CPU0:router#copyrunning-configha
rdd
isk:然后copy到tftp服务器或者用scp备份到别处。
AK蜗牛
·
2023-04-01 19:50
K8s弃用docker???
Dockerdaemon(dockerd)containe
rdd
ocker-shimrunc当看到这个消息身为刚学会Docker的我无非当头一棒,表面风轻云淡的,心里已经在祝母亲节快乐了。
最强滴菜鸟
·
2023-04-01 18:16
docker
kubernetes
代码随想录算法训练营day46|139.单词拆分,多重背包,背包问题总结篇
139.单词拆分力扣思路:背包算法1.完全背包:物品是wo
rdD
ict中的单词,背包是s;2.dp数组及其下标的含义:dp[i]表示长度为i的字符串是否可以被拆分为wo
rdD
ict中的单词;dp[i]=
扭一扭.
·
2023-04-01 13:48
leetcode
算法
职场和发展
Spark 架构及运行流程
Spark架构基于两个抽象:
RDD
:弹性分布式数据集DAG:有向无环图1.1Spark运行架构Spark运行架构中包括:集群资源管理器(ClusterManager)Spark驱动节点(Driver)若干个工作节点
JOEL-T99
·
2023-04-01 13:16
BigData
spark
架构
代码随想录算法训练营天 第九章 四十六天| 139.单词拆分
代码随想录算法训练营天第九章四十六天|139.单词拆分139.单词拆分classSolution{publicbooleanwordBreak(Strings,Listwo
rdD
ict){//这个题感觉很难
酷酷的贝吉塔
·
2023-04-01 13:10
算法
动态规划
leetcode
代码随想录算法训练营第四十六天 |139. 单词拆分 背包问题总结
139.单词拆分给你一个字符串s和一个字符串列表wo
rdD
ict作为字典。请你判断是否可以利用字典中出现的单词拼接出s。**注意:**不要求字典中出现的单词全部都使用,并且字典中的单词可以重复使用。
十月里
·
2023-04-01 13:39
算法
leetcode
动态规划
代码随想录算法训练营第46天|139.单词拆分
139.单词拆分classSolution{public:boolwordBreak(strings,vector&wo
rdD
ict){vectordp(s.size()+1,false);dp[0]=
冷酷的橙子
·
2023-04-01 13:39
代码随想录算法训练营
c++
算法
数据结构
leetcode
Spark学习笔记-理论篇-01-Spark系统综述
文章目录Spark系统综述1.1大数据处理框架1.2Spark大数据处理框架1.2.1
RDD
的表达能力1.2.2Spark子系统Spark系统综述1.1大数据处理框架集群环境对编程来说带来了很多挑战,比如并行化
Chris刘
·
2023-04-01 13:01
大数据
Spark
大数据
iOS OCR 接入
,项目的运行环境需要iOS8.0及以上导入SDK包将MSModuleIDCardScannery.framework、MSModuleIDScannerResource、opencv2、libIdca
rdD
et
super_2e20
·
2023-04-01 13:25
快速且通用的集群计算系统——Spark
文章目录快速且通用的集群计算系统——SparkSpark基础知识Spark的特点Spark和Hadoop的比较弹性分布式数据集
RDD
RDD
的概念
RDD
的创建方式
RDD
的操作
RDD
的执行过程Spark作业运行机制运行在
渣渣苏
·
2023-04-01 13:15
学习笔记
spark
大数据
分布式
spark源码分析StatCounter以及用法
StatCounter这是用于统计的一个类,在org.apache.spark.util包中如果是
RDD
[Double]可以通过隐式转化Double
RDD
Functions来获得一些额外的功能,就比如能产生这个对象的
达微
·
2023-04-01 13:39
代码随想录算法训练营第四十六天|139.单词拆分
(i&wo
rdD
ict){unordered_setwordSet
kuiisy
·
2023-04-01 12:36
leetcode
算法
c++
读懂Spark存储系统
目录1Spark存储系统概述2存储系统的基本组成3Spark
RDD
缓存之MemoryStore4SparkShuffle之DiskStore5小结1Spark存储系统概述Spark存储系统用于存储3个方面的数据
莫叫石榴姐
·
2023-04-01 12:57
spark
spark
上一页
45
46
47
48
49
50
51
52
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他