【Distributed】第3页

史上最全的spark面试题

答：RDD（ResilientDistributedDataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合Dataset：就是一个集合，

@毛毛·2024-02-02 13:12

专注于大数据技术栈·2024-02-02 13:39

【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）

【深度学习】多卡训练__单机多GPU详解（torch.nn.DataParallel、torch.distributed）文章目录【深度学习】多卡训练__单机多GPU详解（torch.nn.DataParallel

Casia_Dominic·2024-02-02 12:46

HarmonyOS鸿蒙开发如何读取工程目录中的非图片资源文件（pdf,word,txt等等）的uri

context.cacheDircontext.tempDircontext.databaseDircontext.preferencesDircontext.bundleCodeDircontext.distributedFilesDircontext.resourceDir

_小呵呵·2024-02-02 10:53

分布式限流的方案

基于此尝试写了这个组件：https://github.com/crossoverJie/distributed-redis-toolDEMO以下采用的是https://github.com/crossoverJie

陈晓阳_矿洞程序员·2024-02-02 02:06

2020-12-10

《Semantic-awareWorkflowConstructionandAnalysisforDistributedDataAnalyticsSystems》：粗读关键词：

幸福大黑鸭·2024-02-02 01:23

介绍 Apache Spark 的基本概念和在大数据分析中的应用

它的核心概念是弹性分布式数据集（ResilientDistributedDataset，简称RDD），它表示一个可以并行操作的分布式集合。R

做一个AC梦·2024-02-01 21:07

Spark基础

Spark基础几个重要的概念：RDD：是弹性分布式数据集（ResilientDistributedDataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型；DAG：是DirectedAcyclicGraph

cjyang·2024-02-01 19:23

29.极具破坏力的DDoS：浅析其攻击及防御

DDoS:DistributedDenialofService(分布式拒绝服务)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力

封闭_e657·2024-02-01 17:59

Twin Contrastive Learning for Online Clustering

这篇文章利用双路对比学习实现了在线聚类，对我这个方向有一定帮助，以下是此双路对比学习的对比损失函数实例对比损失classInstanceLoss(nn.Module):"""Contrastivelosswithdistributeddataparallelsupport

Mr___WQ·2024-02-01 15:12

bigtable: A Distributed Storage System for Structured Data

bigtable:ADistributedStorageSystemforStructuredDatahttp://static.googleusercontent.com/external_content

weixin_33978044·2024-02-01 12:35

经典论文研读：《Bigtable: A Distributed Storage System for Structured Data》

一概述BigTable是以大神JeffreyDean为首的Google团队在2006年公开的分布式存储系统，是Google“三驾马车”论文中（GFS、MapReduce、BigTable）中最后公开的。在BigTable论文中，Google构思、设计并实现了一套支持结构化数据存储的超大容量分布式存储系统。BigTable中关于数据模型、底层存储技术和架构模型的设计思路直到今日仍被奉为经典，下面我们

WanderingScorpion·2024-02-01 12:02

Bigtable: A Distributed Storage System for Structured Data_中文翻译

Bigtable:ADistributedStorageSystemforStructuredData（作为分布式数据库的经典文献，个人在学习的过程中参考其它译文进行翻译：参考译文：https://blog.csdn.net

冷冽的火花·2024-02-01 12:31

大数据之 Spark DAG

在Spark中，用户通过对RDD（ResilientDistributedDatasets）的操作构建一系列转换和动作，这些操作会形成一个有向无环图结构。

转身成为了码农·2024-02-01 12:00

分布式系统中的CAP的原理

前言分布式系统（distributedsystem）正变得越来越重要，大型网站几乎都是分布式的。分布式系统的最大难点，就是各个节点的状态如何同步。

Devincd·2024-02-01 10:15

【万字长文】带你搞懂Kafka中的所有知识点

目录概述主题和分区日志消息压缩日志分段条件日志清理多副本写入流程生产者必要参数配置消息的发送流程元数据更新重要的生产者参数消费者消费者组分区分配策略协调器重平衡触发方式流程如何避免rebalance位移提交消费者offset的存储broker集群控制器事务消息保障传输幂等性事务概述ApacheKafka是消息引擎系统，也是一个分布式流处理平台（DistributedStreamingPlatfor

1_5_2_·2024-02-01 09:46

Hadoop生态系统中一些关键组件的详细解析

1.Hadoop核心组件HDFS（HadoopDistributedFileSystem）:分布式文件存储系统。提供高吞吐量的数据访问，非常适合用于大规模数据集。

薛定谔的zhu·2024-01-31 07:27

2017HPCS-The Parallel and Distributed Future of Data Series Mining

标题：时间序列挖掘到的并行化和分布式的未来本文是时间序列大佬ThemisPalpanas在2017年HPCS上做的一篇techreport。2017年发布了DPiSAX，之后2018-2020三年，涌现了近十篇timeseriessimilaritysearch的分布式并行算法。除了Palpanas的实验室以外，还有伍斯特理工学院的课题组提供的TARDIS方案2019、Chainlink方案202

Caucher·2024-01-31 06:20

通俗理解分布式光纤声波传感技术（DAS）

转自51CTO博客，原文链接，有删改01分布式光纤声波传感技术简介分布式光纤声波传感技术（DistributedfiberAcousticSensing，DAS）：利用相干瑞利散射光的相位而非光强来探测音频范围内的声音或振动等信号

这个飞宏不太冷·2024-01-30 23:38

【EI国际学术会议】第五届信息科学与并行、分布式处理国际学术会议（ISPDS 2024）

第五届信息科学与并行、分布式处理国际学术会议（ISPDS2024）20245thInternationalConferenceonInformationScience,ParallelandDistributedSystems2024

艾思科蓝-何老师【H8053】·2024-01-30 22:52

paddlepaddle-gpu安装错误-No module named ‘paddle.fluid.dygraph.parallel‘

paddle.fluid.dygraph.parallel’百度了一圈没有找到对应答案，应该是升级后api改变了，于是乎翻了对应paddle的api使用指南，将paddle.fluid.dygraph.parallel改为paddle.distributed.parallel

baidu_32683111·2024-01-30 21:56

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

Spark的核心RDD（ResilientDistributedDatasets弹性分布式数据集）铺垫在hadoop中一个独立的计算，例如在一个迭代过程中，除可复制的文件系统（HDFS）外没有提供其他存储的概念

fcyh·2024-01-30 15:46

Spark RDD（弹性分布式数据集）

1.RDD1.1RDD是什么RDD（ResilientDistributedDataset）：弹性分布式数据集，是Spark对数据集的抽象，代表一个只读、不可变、可分区、其中元素可进行并行计算的集合，并且是可跨越集群节点进行并行操作的有容错机制的集合

JOEL-T99·2024-01-30 15:15

理解Spark中RDD(Resilient Distributed Dataset)

文章目录1RDD基础1.1分区1.2不可变1.3并行执行2RDD结构2.1SparkContext、SparkConf2.2Partitioner2.3Dependencies2.4Checkpoint（检查点）2.5StorageLevel（存储级别）2.6Iterator(迭代函数)3依赖关系4RDD操作4.1转化操作4.2行动操作4.3惰性求值4.4持久化5Spark程序工作流程参考1RDD

小何才露尖尖角·2024-01-30 15:45

Spark弹性分布式数据集（Resilient Distributed Dataset）

1.弹性分布式数据集RDD1.1.RDD概述1.1.1.什么是RDDRDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区

你狗·2024-01-30 15:14

Spark——（RDD(弹性分布式数据集)，RDD的创建和操作，Transformation 算子）

文章目录RDD(弹性分布式数据集)RDD的创建和操作常见的Transformation算子RDD(弹性分布式数据集)RDD（ResilientDistributedDataset）是Spark中的核心概念

想做CTO的任同学...·2024-01-30 15:12

初识 RDD 弹性分布式数据集(Resilient Distributed Datasets)

RDD是什么RDD,全称为弹性分布式数据集(ResilientDistributedDatasets),是一个容错的,并行的数据结构,可以让用户显式地将数据存储到磁盘和内存中,并能控制数据的分区.同时,

腹黑客·2024-01-30 15:42

spark学习笔记：弹性分布式数据集RDD(Resilient Distributed Dataset)

弹性分布式数据集RDD1.RDD概述1.1什么是RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合

黄道婆·2024-01-30 15:39

【Spark】之 RDD（Resilient Distributed Dataset）

文章目录RDD编程模型一、RDD之间的依赖关系（Dependency）如何生成RDD？二、RDD计算（1）RDD获得数据（2）RDD计算任务（3）RDD操作算子三、RDD容错（1）`Lineage`（2）`checkpoint`机制RDD编程模型需求：需要在多个并行操作之间重用工作数据集。典型场景：机器学习和图应用中常用的迭代算法（每一步对数据执行相似的函数）数据重用隐藏在系统实现背后，没有将重用

fanfan4569·2024-01-30 15:39

【Spark】RDD(Resilient Distributed Dataset)究竟是什么？

checkpoint基本概念官方文档介绍RDD的官方说明：http://spark.apache.org/docs/latest/rdd-programming-guide.html概述含义RDD(ResilientDistributedDataset

关于我转生变成程序猿这档事·2024-01-30 15:08

横扫Spark之 - RDD（Resilient Distributed Dataset）弹性分布式数据集

水善利万物而不争，处众人之所恶，故几于道文章目录一、概念二、理解1.弹性2.分布式3.数据集三、5个主要特性1.一个分区列表2.作用在每个分区上的计算函数3.一个和其他RDD的依赖列表4.一个分区器（可选）5.计算的最佳位置（可选）一、概念 RDD就是Spark中的一种数据抽象，比如下面的代码（不用管他是干啥的）很多操作的返回值就直接是一个RDD类型。代码里面RDD就是一个抽象类你可以理解成

阿年、嗯啊·2024-01-30 15:07

2PC（两阶段提交）方案

的传统方案是在数据库层面实现的，如Oracle、MySQL都支持2PC协议，为了统一标准减少行业内不必要的对接成本，需要制定标准化的处理模型及接口标准，国际开放标准组织OpenGroup定义了分布式事务处理模型DTP（DistributedTransactionProcessingReferenceModel

CodingSoldier·2024-01-30 15:45

Apache Spark 的基本概念和在大数据分析中的应用

Spark的基本概念包括：ResilientDistributedDatasets(RDDs)：RDD是Spark的核心数据结构，代表了分布式内存中的不可变的、可分区的数据集合。

数据科学与艺术的贺公子·2024-01-30 06:17

阿里云云上微服务 EDAS接入使用以及注意事项

阿里云分布式应用服务（EDAS,ElasticDistributedApplicationService）是阿里云提供的一款支持微服务架构的PaaS平台，它帮助用户在云端构建、部署和管理分布式应用。

云服务商呀·2024-01-30 06:40

hadoop必记知识点（1）

Hadoop核心组件包括HDFS（HadoopDistributedFileSystem）和MapReduce。其中，HDFS为分布式文件系统，负责数据存储；MapR

运维仙人·2024-01-30 02:40

FPGA逻辑资源评估之BRAM（以Xilinx为例）

其中DRAM为DistributedRAM，是以FPGA中LUT（L

wkonghua·2024-01-29 13:38

[转]Bram和Dram的区别

选择distributedmemorygenerator和blockmemorygenerator标准：Dram和bram区别：1、bram的输出需要时钟，dram在给出地址后既可输出数据。

ddk43521·2024-01-29 13:02

分布式锁（Distributed Lock）介绍（基于数据库（mysql）；基于缓存（redis）；基于ZooKeeper等分布式协调服务）

文章目录分布式锁介绍1.分布式锁的工作原理1.1锁的基本概念1.2工作机制2.分布式锁的实现方式2.1基于数据库的分布式锁2.2基于Redis的分布式锁2.3基于ZooKeeper的分布式锁3.分布式锁的挑战3.1死锁问题3.2锁粒度问题粗粒度锁细粒度锁锁粒度的选择3.3锁的公平性问题1.使用中心化的服务2.时间戳排序3.队列机制4.总结分布式锁介绍分布式锁是一种在分布式环境下，对共享资源提供访问

Dontla·2024-01-29 08:34

【Spark系列2】Spark编程模型RDD

RDD概述RDD最初的概述来源于一片论文-伯克利实验室的ResilientDistributedDatasets：AFault-TolerantAbstractionforIn-MemoryClusterComputing

周润发的弟弟·2024-01-28 23:12

【Spark系列3】RDD源码解析实战

RDD：弹性分布式数据集，ResillientDistributedDataset的缩写。个人理解：RDD是一个容错的、并行的数据结构，可以让用户显式的将数据存储到磁盘和内存中，并能控制数据的分区。

周润发的弟弟·2024-01-28 23:12

mysql distributed transaciton_Distributed Transaction Processing：mysql

DistributedTransactionProcessing:TheXASpecificationmysqlXATransactionsoracle10gmysqlxa例子X/OpenXAdistributedtransactionsSHOWENGINES

碧霄丶·2024-01-28 17:33

Spring Cloud 系列：基于Seata 实现 XA模式

seata.io/zh-cn/docs/user/mode/xahttps://seata.io/zh-cn/docs/dev/mode/xa-modeXA规范是X/Open组织定义的分布式事务处理（DTP，DistributedTransactionProcessing

Code技术分享·2024-01-28 13:00

Impala源码阅读——SimpleScheduler

stiga-huang·2024-01-28 12:38

初识Redis

目录前言Redis的诞生Redis特性速度快：基于键值对的数据结构：丰富的功能：简单稳定：客户端语言多：持久化：主从复制(Replication)：高可用(HighAvailability)和分布式(Distributed

Obto-·2024-01-28 08:45

不可不知 DDoS的攻击原理与防御方法

DoS是DenialofService的简写就是拒绝服务，而DDoS就是DistributedDenialofService的简写就是分布式拒绝服务,而DRDoS就是DistributedReflectionDenialofService

封闭_e657·2024-01-28 06:55

【分布式架构】什么是企业级分布式应用服务

什么是企业级分布式应用服务企业级分布式应用服务（EnterpriseDistributedApplicationService,简称EDAS）以阿里巴巴中间件团队多款成熟的分布式产品作为核心基础组件，面向企业级云计算市场提供高可用分布式解决方案

开发者社区小百科·2024-01-27 17:27

【分布式架构】企业级分布式应用服务EDAS使用攻略（上篇）

基本介绍：企业级分布式应用服务（EnterpriseDistributedApplicationService,简称EDAS）以阿里巴巴中间件团队多款成熟的分布式产品作为核心基础组件，面向企业级云计算市场提供高可用分布式解决方案

开发者社区小百科·2024-01-27 17:26

【Scala-spark.mlib】分布式矩阵——分布式计算的基石与利器

分布式矩阵1.mlib.linalg.distributed包2.DistributedMatrix特质3.BlockMatrix类4.CoordinateMatrix类5.IndexedRowMatrix

JimmyShis·2024-01-27 10:12

知识库-kafka shell脚本用法

脚本名称用途描述connect-distributed.sh连接kafka集群模式connect-standalone.sh连接kafka单机模式kafka-acls.shtodokafka-broker-api-versions.shtodokafka-configs.sh

知秋ing·2024-01-27 08:52

我理解的虚拟电厂

DG：distributedgenerator，分布式电源。DER：distributedenergyresource，分布式能源。DER包

杜占坤·2024-01-27 04:35

推荐频道

【Distributed】