Distributed

Hadoop基本介绍

Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

FPGA之分布式RAM（2）

1)128X1SinglePortDistributedRAM下图中可以看出来,通过2个LUT的组合使用可以串联实现更大深度的分布式RAM.下图中出现了F7BMUX的加入,F7BMUX可以用于LUT输出的选通
行者..................·2024-01-23 06:59

RDD简介

RDD-弹性分布式数据集(ResilientDistributedDataSet)什么是RDDRDD是一个基本的抽象，操作RDD就像操作一个本地集合一样，降低了编程的复杂度；操作RDD，其实是对每个分区进行操作
Cool_Pepsi·2024-01-23 02:43

阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践

DistributedTraining分布式训练一般分为两种
阿里云云原生·2024-01-22 07:44

清华大学计算机学科推荐学术会议和期刊列表——网络与信息安全

类会议会议简称会议全程网址IEEES&PIEEESymposiumonSecurityandPrivacyhttp://dblp.uni-trier.de/db/conf/sp/NDSSISOCNetworkandDistributedSystemSecuritySymposiumhttp
叶卡捷琳堡·2024-01-22 04:05

git --git-dir_Git简介-第2轮（高级）

git--git-dirGitisanincrediblypowerful,flexible,andcapabledistributedversioncontrolsystem.Unfortunately
culh2177·2024-01-21 08:34

使用OpenTracing对ruby应用进行分布式链路追踪

http://blog.scoutapp.com/articles/2018/01/17/tutorial-distributed-tracing-in-ruby-with-opentracing当最终响应是来源于一系列微服务时
李小西033·2024-01-20 18:46

西瓜书读书笔记整理（十二） —— 第十二章 计算学习理论

第十二章计算学习理论（上）12.1基础知识12.1.1什么是计算学习理论（computationallearningtheory）12.1.2什么是独立同分布（independentandidenticallydistributed
smile-yan·2024-01-20 18:23

CentOS安装Flume

CentOS安装Flume一、简介二、安装1、下载2、解压3、创建配置文件4、启动flumeagent5、验证一、简介Flumeisadistributed,reliable,andavailableserviceforefficientlycollecting
GreaterBuilder·2024-01-20 11:57

FPGA之分布RAM(1)

可以实现的RAM类型：单口RAM双端口简单的双端口四端口下表给出了通过1SLICEM中的4个LUT可以实现的RAM类型1.32X2QuadPortDistributedRAM我们介绍过把6输入LUT当作
行者..................·2024-01-20 11:02

spark的jdbc接口，类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-serverSparkSQL
zdkdchao·2024-01-20 10:53

Linux 分布式shell工具dsh

dsh是“DistributedShell”或“Dancer’sShell”的缩写，可以实现在多个Linux服务器上运行命令。
zdlinux·2024-01-20 09:50

AMBA ACE

ACE协议提供了系统级一致性框架，系统级设计包括：1、一致性存储范围2、具有一致性扩展的存储系统器件3、系统器件之间交互的软件模型ACE协议实现通过以下扩展支持Barrier传输和DVM（DistributedVirtualMemory
biaobiao_hust·2024-01-20 06:30

自然语言处理大数据：spark ML Word2Vec详解

简介Word2Vec是一种著名的词嵌入（WordEmbedding）方法，它可以计算每个单词在其给定语料库环境下的分布式词向量（DistributedRepresentation，亦直接被称为词向量）。
nnnancyyy·2024-01-19 17:23

SpringBoot+Redisson实现分布式锁

目录项目结构pom.xmlapplication.ymlRedissonPropertiesRedissonAutoConfigurationDistributedLockerRedissonDistributedLockerRedissonLockUtilRedissonLockApplicationTestController
浩骞·2024-01-19 11:13

ClickHouse - 05

7、DDL在ClickHouse中，DDL语言中修改表结构仅支持Merge表引擎、Distributed表引擎及MergeTree家族的表引擎,SQL中的库、表、字段严格区分大小写。
ArthurHC·2024-01-19 02:06

CMU15-445-Spring-2023-分布式DBMS初探（lec21-24）

Lecture#21_IntroductiontoDistributedDatabasesDistributedDBMSs分布式DBMS将单个逻辑数据库划分为多个物理资源。
gongyuandaye·2024-01-18 20:08

分布式锁实现用户锁

限制用户在操作未完成前不能再进行下一次相同操作1.主要组成Dul：用户锁注解，自定义锁注解，然后给需要加锁的方法加上此注解DistributedUserLock：锁接口RedisDistribut
栗栗子~·2024-01-18 11:41

HDFS 系统架构

HDFSArchitectureIntroductionHadoopDistributedFileSystem(HDFS)是设计可以运行于普通商业硬件上的分布式文件系统。
偷油考拉·2024-01-18 03:52

第十一周周报

Thisweek,Ilearnedaboutdistributedcomputing,theuseofmultipleGPUsintraining,andcompareditwithsingleGPUtraining.Ialso
Joy_moon·2024-01-17 15:42

大数据开发之Hadoop（HDFS）

2、HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文
Key-Key·2024-01-17 10:22

2020-12-14

《Semantic-awareWorkflowConstructionandAnalysisforDistributedDataAnalyticsSyste
幸福大黑鸭·2024-01-17 09:41

Hadoop——HDFS、MapReduce、Yarn期末复习版（搭配尚硅谷视频速通）

一、HDFS1.HDFS概述1.1HDFS定义HDFS(HadoopDistributedFileSystem),它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能
革斤要加油·2024-01-17 06:10

Solving distributed transaction management problems in microservices architecture using Saga

ComplexityindistributedtransactionmanagementinamicroservicesarchitectureAmicroservice,fromitscoreprinciplesandinitstruecontext
Rainly2000·2024-01-17 05:46

调试模型记录1

Failedtoimporttransformers.sagemakerbecauseofthefollowingerror(lookuptoseeitstraceback):module'torch.distributed'hasnoattribute
橘子333·2024-01-16 16:06

(13)tcp和udp的socket简单实现

1.tcp的实现socket的服务端/***@Project:3.DistributedProject*@description:socket的服务端*@author:sunkang一定在流写的时候flush
Mrsunup·2024-01-16 15:35

如何将千亿文件放进一个文件系统，EuroSys‘23 CFS 论文背后的故事

1.引言本文的主要目的是解读百度沧海·存储团队发表于EuroSys2023的论文《CFS:ScalingMetadataServiceforDistributedFileSystemviaPrunedScopeofCriticalSections
大隐隐于野·2024-01-16 15:39

EOCR电机保护器485通讯协议概念

为更好地普及和推动Modbus在基于以太网上的分布式应用，目前施耐德公司已将Modbus协议的所有权移交给IDA（InterfaceforDistributedAutomation，分布式自动化接口）组织
上海韩施电气中国区总代·2024-01-16 15:24

mac上搭建 hadoop 伪集群

它主要由以下几个部分组成：HDFS(HadoopDistributedFileSystem)：HDFS是Hadoop的分布式文件系统，具有较高的读写速度，很好的容错性和可伸缩性，为海量的数据提供了分布式存储
寂夜了无痕·2024-01-16 06:30

MetaKV: A Key-Value Store for Metadata Management of Distributed Burst Buffers——论文泛读

IPDPS2017Paper分布式元数据论文汇总问题分布式突发缓冲区是处理异构计算I/O工作负载的一种有前途的存储架构，其总体存储带宽随系统节点数量线性增长。科学应用可以将每个进程的数据写入其本地节点的突发缓冲区，来实现可扩展的写入带宽，但元数据方面仍然存在巨大挑战，特别是对于跨多个进程共享的文件。在N-N模式下，每个进程将一个单独的文件写入其节点本地的突发缓冲区，文件的元数据只需要在本地管理。在
妙BOOK言·2024-01-15 18:07

一文解读什么是ddos？ddos攻击的手段与有哪些防御方法

上面这个例子讲的就是典型的DDoS攻击，全称是DistributedDenialofService，翻译成中文就是分布式拒绝服务。一般来说是指攻击
zhujibcom·2024-01-15 13:50

防范黑客DdoS被攻击的那么几点？

分布式拒绝服务攻击则ddosattack又名(DDoS:DistributedDenialofService)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS
qq_780662763·2024-01-15 13:46

最基础的ddos攻击和预防

DDOS（DistributedDenialofService），中文全称分布式拒绝服务（大量分布式的攻击导致服务器不堪重负拒绝服务），就是借助多台计算机作为平台来攻击服务器的一种方式的统称，DDOS攻击还包括
kingkyrie·2024-01-15 13:14

训练DAMO-YOLO（damoyolo_tinynasL25_S.py）

damoyolo_tinynasL25_S.py进行如下两块修改2.1关于训练参数的设置2.2根据自己数据集设置3开始训练4调用tools/eval.py进行测试5训练时可能遇到的报错5.1RuntimeError:Distributedpackagedoesn'thaveNCCLbuiltin
孟孟单单·2024-01-15 08:36

5.Pytorch模型单机多GPU训练原理与实现

文章目录Pytorch的单机多GPU训练1)多GPU训练介绍2)pytorch中使用单机多`GPU`训练`DistributedDataParallel`(DDP)相关变量及含义a)初始化b)数据准备c
恒友成·2024-01-15 00:07

版本控制及代码托管平台综述

在程式设计中，分散式版本控制（英语：distributedrevisioncontrol或distribut
frytea·2024-01-14 23:17

高级分布式系统-第10讲 分布式控制系统

分布式控制系统分散控制系统（DistributedControlSystem，简称DCS）；集散控制系统（To
十有久诚·2024-01-14 17:52

HDFS的三大机制

文章目录概要整体架构流程技术名词解释技术细节小结概要HDFS（HadoopDistributedFileSystem）的三大机制包括：心跳机制：DataNode会定期向NameNode发送心跳信号，以保持连接
听风细雨66·2024-01-14 14:17

【前端性能】浅谈域名发散与域名收敛

通常同一域名下最大并发请求数为6个；原因：1、为了适应当时服务器的负载能力；之前的服务器的负载能力并没有这么强，高并发的请求可能会导致服务器无法正常提供服务甚至崩溃；2、如果浏览器允许的最大并发请求书较大，容易造成DDoS(DistributedDenialofSevice
沫之·2024-01-14 13:47

【AI实战】分布式训练：使用DistributedDataParallel实现单机多GPU并行训练resnet50模型

【AI实战】使用DistributedDataParallel实现单机多卡并行训练resnet50模型DistributedDataParallel依赖包加载预训练模型使用DistributedDataParallel
szZack·2024-01-14 09:07

pytorch多GPU并行DistributedDataParallel应用和踩坑记录（本节-单机多卡实现）持续补充

参考链接：pytorch多GPU并行训练DistributedDataParallel应用和踩坑记录_train_sampler=distributedsampler(train_dataset,-CSDN
Miss_Bueno·2024-01-14 09:33

HBase单机模式安装趟坑

今天在本地虚拟机环境上，安装了Hbase的单机模式，期间遇到几个异常情况，现记录下遇到的异常及解决办法：1.本地单机部署hbase,想要使用独立zookeeper,不使用自带的把hbase.cluster.distributed
JeffCode·2024-01-14 07:37

mac上部署单体hbase

HBase在HadoopDistributedFileSystem(HDFS)上运行，作为一个列式存储非关系数据库管理系统。它提供了存储稀疏数据集的容错方式，这类数据集在许多大数据用例中十分常见。
寂夜了无痕·2024-01-14 05:15

H3C交换机S6850配置M-LAG基本功能

，DRNI（DistributedResilientNetworkInterconnect，分布式弹性网络互连）是一种跨设备链路聚合技术，将两台物理设备在聚合层面虚拟成一台设备来实现跨设备链路聚合，从而提供设备级冗余保护和流量负载分担
Danileaf_Guo·2024-01-14 04:40

[论文笔记] Megatron LM 本地调试

8exportMASTER_ADDR=localhost#127.0.0.1exportMASTER_PORT=9988exportNNODES=1exportNODE_RANK=0exportWORLD_SIZE=8DISTRIBUTED_ARGS
心心喵·2024-01-13 20:40

HBase 四种数据迁移方案

二、Hadoop层数据迁移2.1方案介绍Hadoop层的数据迁移主要用到DistCp(DistributedCopy)，官方描
过往记忆·2024-01-13 18:21

HDFS及各组件功能介绍

Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式文件系统。
思旭�·2024-01-13 12:32

【分布式-6.824】MIT分布式系统概述

1.引入论文地址：http://nil.csail.mit.edu/6.824/2020/schedule.html参考lab：https://github.com/aQuaYi/MIT-6.824-Distributed-Systems
我要精通C++·2024-01-13 10:28

高防ip是什么，防护效果好吗

DDoS（DistributedDenialofService）即分布式拒绝服务。攻击指借助于客户/服务器
德迅云安全小李·2024-01-13 10:26

Enhancing Metadata Transfer Efficiency: Unlocking the Potential of DAOS in the ADIOS context——论文阅读

论文发表于SC-W2023，Paper，元数据论文阅读汇总“AdaptableI/OSystem(ADIOS)”自适应I/O系统“DistributedAsynchronousObjectStorage
妙BOOK言·2024-01-12 21:45
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他