RDD

Oracle数据库备份，导出dmp文件

expdpORACLE_USER/ORACLE_PASSWORDdirectory=dmpdumpfile=mes_user.
hongyu#ding·2024-02-04 15:50

子雨大数据之Spark入门教程---Spark入门：RDD的设计与运行原理1.3

Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成大数据计算任务。
千寻～·2024-02-04 06:38

Spark 的Driver程序中定义的外部变量或连接为什么不能在各种算在中直接用，如果要要如何做？

例如，将RDD数据写入数据库可以这样实现：rdd.foreach(record=>{//在这里初始化数据库连接valconnection=createNewConnection()//假设这是创建连接的函数
小湘西·2024-02-04 06:32

pyspark_1_理论篇(RDD基础)

跟着Leo学习PySparkchapter1——rdd的基础编程指南一、准备工作1.背景介绍Spark是用scala编程语言实现的，为了使Spark支持Python，ApacheSpark社区发布了一个工具
NikolasNull·2024-02-04 04:50

Vc下unicode和UTF8相互转换

一，utf8转UnicodeCStringUTF8ToUnicode(char*UTF8){DWORDdwUnicodeLen;//转换后Unicode的长度TCHAR*pwText;//保存Unicode
xingtianxia710·2024-02-04 04:15

58. Length of Last Word

Givenastringsconsistsofupper/lower-casealphabetsandemptyspacecharacters'',returnthelengthoflastwordinthestring.Ifthelastworddoesnotexist
JERORO_·2024-02-04 02:08

戴尔 服务器重装后蓝屏,dell笔记本不能重装系统,一直进入蓝屏界面?

：由于硬盘模式不同，而导至的蓝屏现象，一般遇上这种情况，可以按下面的方法处理：只要进入BIOS中修改一下硬盘模式，这样安装系统就不会出现蓝屏，方法如下：开机过程中不断按F2到BIOS，依次到OnboardDevices
童哲·2024-02-03 21:57

12月｜伊索寓言-吹箫的渔夫

TheFishermanPipingAfishermanskilledinmusictookhisfluteandhisnetstotheseashore.Standingonaprojectingrock,heplayedseveraltunesinthehopethatthefish,attractedbyhismelody,wouldoftheirownaccorddanceintohisn
Tracy的小书斋·2024-02-03 21:29

Spark程序执行逻辑迷你版

Driver就是自己写的程序，里面有一个main方法，main方法划分DAG，形成Task，再把Task发出去DAGScheduler的功能，将rdd转换逻辑切分stage，生成taskset然后模拟taskScheduler
{BOOLEAN}·2024-02-03 21:21

2019-10-08 大数据开发进阶之路

市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术，如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD
红瓦李·2024-02-03 20:39

C#写个小工具，把多个word文档进行合并成一个word文档

先要安装包帮助类WordDocumentMerger，用于处理word合并功能usingSystem;usingSystem.Collections.Generic;usingSystem.Text;usingMicrosoft.Office.Interop.Word
搬砖的诗人Z·2024-02-03 18:35

spark WordCount

SparkWC.scalapackageday06importorg.apache.spark.rdd.RDDimportorg.apache.spark.
lehuai·2024-02-03 16:27

git 基本操作记录

clone到想要的文件gitpushoriginHEAD:refs/for/xxxx#例如gitpushoriginHEAD:refs/for/master#回退到某次提交的版本gitreset--hardde62ce5c0539bfab44e83b262b2e6e731d9f4dd4
mihuayishi·2024-02-03 14:34

js获取当前日期后几天的日期

GetDateStr(5);//后5天functionGetDateStr(AddDayCount){vardd=newDate();dd.setDate(dd.getDate()+AddDayCount
Y2000104·2024-02-03 12:38

PySpark笔记(三)：DataFrame

DataFrame是在Spark1.3中正式引入的一种以RDD为基础的不可变的分布式数据集，类似于传统数据库的二维表格，数据在其中以列的形式被组织存储。
Daisy丶·2024-02-03 10:31

【数据开发】pyspark入门与RDD编程

【数据开发】pyspark入门与RDD编程文章目录1、pyspark介绍2、RDD与基础概念3、RDD编程3.1Transformation/Action3.2数据开发流程与环节1、pyspark介绍pyspark
小哈里·2024-02-03 08:58

Spark如何用repartition来提升执行效率

这个操作会产生一个新的RDD，DataFrame或Dataset，并将数据重新分布到新的分区中。
HanhahnaH·2024-02-03 08:28

2019-03-16 Spark基本架构及运行原理

SparkCore:包含Spark的基本功能，包含任务调度，内存管理，容错机制等，内部定义了RDDs(弹性分布式数据集)，提供了很多APIs来创建和操作这些RDDs。为其他组件提供底层的服务。
做一只乐观的小猴子·2024-02-03 02:04

什么是RDD

ResilientDistributedDataset==>弹性分布式数据集Resilient==>指的是RDD的分区数量是可以进行弹性控制的Distributed==>指的是RDD的分区分布式的存在于各个执行
zholeiv5·2024-02-02 22:18

【linux】mdadm

1PreliminaryNoteInthisexampleIhavetwoharddrives,/dev/sdaand/dev/sdb,withthepartitions/dev/sda1and/dev
tiandaochouqin99·2024-02-02 18:25

原型模式

publicclassWordDocume
Dane_404·2024-02-02 17:33

外贸出口谈判技巧二：英国语言学家带你解密各国客户沟通模式

上周，我们一起学习了英国语言学家RichardD.Lewis研究中《十九个国家的客户沟通模式》。今天，我们来看研究的第二部分，看看歪果仁眼中的中国客户是怎么样的！
诸葛逸航·2024-02-02 16:05

k8s问题排查：kubernetes-dashboard crashloopbackoff 状态

root@k18-5~]#kubectlgetpod-nkubernetes-dashboardNAMESPACENAMEREADYSTATUSRESTARTSAGEkubernetes-dashboarddashboard-metrics-scra
paopaodog·2024-02-02 14:15

史上最全的spark面试题

1.spark中的RDD是什么，有哪些特性？
@毛毛·2024-02-02 13:12

spark相关面试题总结

1.spark中的RDD是什么，有哪些特性？
专注于大数据技术栈·2024-02-02 13:39

[Scala学习笔记] Spark开发小笔记

1.RDDSpark里的计算都是操作RDD进行，那么学习RDD的第一个问题就是如何构建RD
Rinnki·2024-02-02 13:39

PySpark（二）RDD基础、RDD常见算子

目录RDDRDD五大特性RDD创建RDD算子常见的Transformation算子mapflatMapmapValuesreduceByKeygroupByfilterdistinctunionjoinintersectionglomgroupByKeygroupByKey
独憩·2024-02-02 13:07

2018-12-29 humor

www.azquotes.com/quote/31954Humorisbyfarthemostsignificantactivityofthehumanbrain.幽默是人类大脑最重要的活动爱德华·德·波诺（EdwarddeBono
Grit的格林频道·2024-02-02 10:17

Java接口练习（组装电脑）

publicabstractStringgetHZ();}EMS.javapublicinterfaceEMS{//获取内存容量publicabstractStringgetEMSCapacity();}HardDisk.javapublicinterf
dyy888aaa·2024-02-02 05:48

介绍 Apache Spark 的基本概念和在大数据分析中的应用

它的核心概念是弹性分布式数据集（ResilientDistributedDataset，简称RDD），它表示一个可以并行操作的分布式集合。R
做一个AC梦·2024-02-01 21:07

ubuntu中实现多用户共享挂载硬盘上的文件

通过谷歌搜索“ubuntumultipleusersharefilesonmountedharddisk"可以找到解决方法Mountingexternalharddiskforallusers
Blateyang·2024-02-01 20:22

Spark基础

Spark基础几个重要的概念：RDD：是弹性分布式数据集（ResilientDistributedDataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型；DAG：是DirectedAcyclicGraph
cjyang·2024-02-01 19:23

大数据之Spark:Spark大厂面试真题

5.RDD持久化原理？checkpoint检查点机制？7.checkpoint和持久化机制的区别？RDD机制理解吗？9.Sparkstreaming以及基本
浊酒南街·2024-02-01 12:35

大数据之 Spark DAG

在Spark中，用户通过对RDD（ResilientDistributedDatasets）的操作构建一系列转换和动作，这些操作会形成一个有向无环图结构。
转身成为了码农·2024-02-01 12:00

同构异机迁移方案2_目标服务器仅安装数据库软件scp物理文件

迁移背景iposversionosuser/passworddbversiondbuser/password数据量源库192.168.40.52centos7.9x86_64r
福娃筱欢·2024-02-01 07:07

黑马---big-event

修改密码前端代码如下:import{ref}from'vue'//定义数据模型constresetPasswordData=ref({old_pwd:'',new_pwd:'',re_pwd:''})construles
学java的冲鸭·2024-02-01 04:48

OCP NVME SSD规范解读-8.SMART日志要求-2

SMART-7：软错误ECC计数可能是记录了被第一级ECC（比如LDPCHardDecode）成功纠正过的读取错误次数。这意味着数据恢复成功，但依然表明存储介质出现了某种程度上的可靠性下降。
古猫先生·2024-02-01 03:41

node.js基础--01

node.js是一个开源，跨平台的js运行环境commoncommands（常用指令）1、C:enterharddisk进入硬盘2、cd文件夹名enterfolder进入文件夹3、dirreviewalloffolders
码路老默007·2024-01-31 14:29

算法随想录第四十六天打卡|139.单词拆分 ，关于多重背包，你该了解这些！ ， 背包问题总结篇！

|LeetCode：139.单词拆分_哔哩哔哩_bilibili代码随想录我写的(还没写对)classSolution(object):defwordBreak(self,s,wordDict):dp=
星曜366·2024-01-31 11:19

（一）PySpark3：安装教程及RDD编程（非常详细）

目录一、pyspark介绍二、PySpark安装三、RDD编程1、创建RDD2、常用Action操作①collect②take③takeSample④first⑤count⑥reduce⑦foreach⑧countByKey⑨saveAsTextFile3
唯余木叶下弦声·2024-01-31 08:57

211. 添加与搜索单词 - 数据结构设计

leetcode官方题解classTrieNode{public:vectorchildren;boolisEnd;TrieNode():children(26),isEnd(false){}};classWordDictionary
咔咔咔的·2024-01-30 23:39

003-90-16【SparkSQL&DF&DS】慈航寺庙山脚下八卦田旁油菜花海深处人家王二爷家女儿大红用GPT学习Rdd和Dataaset 以及DataFrame 的转换

003-90-16【SparkSQL&DF&DS】慈航寺庙山脚下八卦田旁油菜花海深处人家王二爷家女儿大红用GPT学习Rdd和Dataaset以及DataFrame的转换【SparkSQL&DF&DS】Dataset
一杯派蒙·2024-01-30 21:31

迷宫（蓝桥杯省赛C/C++）

对于上面的迷宫，从入口开始，可以按DRRURRDDDR的顺序通过迷宫，一共10步。其中D、U、L
菜只因C·2024-01-30 19:50

H264 编码标准配置档次 Profile 详解

维基百科中解释：Thestandarddefinesseveralsetsofcapabilities,whicharereferredtoasprofiles,targetingspecificclassesof
DogDaoDao·2024-01-30 18:02

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

Spark的核心RDD（ResilientDistributedDatasets弹性分布式数据集）铺垫在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念
fcyh·2024-01-30 15:46

Spark RDD（弹性分布式数据集）

1.RDD1.1RDD是什么RDD（ResilientDistributedDataset）：弹性分布式数据集，是Spark对数据集的抽象，代表一个只读、不可变、可分区、其中元素可进行并行计算的集合，并且是可跨越集群节点进行并行操作的有容错机制的集合
JOEL-T99·2024-01-30 15:15

理解Spark中RDD(Resilient Distributed Dataset)

文章目录1RDD基础1.1分区1.2不可变1.3并行执行2RDD结构2.1SparkContext、SparkConf2.2Partitioner2.3Dependencies2.4Checkpoint
小何才露尖尖角·2024-01-30 15:45

Spark RDD基础实战(弹性分布式数据集)

jsonlines.org/examples/官网的准备的数据集合启动Spark集群bin/spark-shell\--masterspark:centoshadoop1:7077官方文档:SparkRDDSpark
蜗牛杨哥·2024-01-30 15:14

Spark弹性分布式数据集（Resilient Distributed Dataset）

1.弹性分布式数据集RDD1.1.RDD概述1.1.1.什么是RDDRDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区
你狗·2024-01-30 15:14

Spark——（RDD(弹性分布式数据集)，RDD的创建和操作，Transformation 算子）

文章目录RDD(弹性分布式数据集)RDD的创建和操作常见的Transformation算子RDD(弹性分布式数据集)RDD（ResilientDistributedDataset）是Spark中的核心概念
想做CTO的任同学...·2024-01-30 15:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他