Distributed

[AIGC 大数据基础] 浅谈hdfs

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

Docker网络 overlay模式

本文翻译自docker官网：https://docs.docker.com/network/overlay/UseoverlaynetworksTheoverlaynetworkdrivercreatesadistributednetworkamongmultipleDockerdaemonhosts.Thisnetworksitsontopof
wcnwyx·2024-01-27 00:59

部署webrtc开源工程owt

Keyfeatures:Distributed,scalable,and
草根大哥·2024-01-26 16:32

Apache Spark

ApacheSpark的基本概念包括以下几个方面：弹性分布式数据集（ResilientDistributedDataset,RDD）：RDD是Spark的核心数据结构，它代表了分布式内存中的不可变对象集合
先------------------·2024-01-26 10:30

机器学习系列15：通过t-SNE可视化高维数据

t-SNE的全称是t-distributedstochasticneighborembedding（t-分布随机领域嵌入），这是一种非线性降维技术。而PCA和LDA是线性的降维技术。
加百力·2024-01-25 22:38

CalvinFS: Consistent WAN Replication and Scalable Metadata Management for Distributed File...——论文泛读

FAST2015Paper元数据论文阅读汇总问题现有的文件系统，即使是存储数百PB数据的可伸缩系统，也会将文件元数据存储在单个服务器上，或通过共享磁盘架构，以确保元数据的一致性和有效性。文件系统在可扩展性和跨数据中心实现方面还有不足。尽管已经开发了许多分布式文件系统以扩展到数千台计算机的集群，但由于在地理距离上提供期望的文件系统语义和工具（如线性化操作、分层访问控制、标准命令行工具等）的困难，这些
妙BOOK言·2024-01-25 14:02

SpringBoot-Dubbo和Zookeeper集成

分布式系统（distributedsy
Hokwok18·2024-01-25 08:09

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

训练模型时 遇到速度过慢时的深思 & 速度提升 （From GPU & CPU）

训练模型时遇到速度过慢时的深思&速度提升GPU查看GPU使用情况配置单机多卡并行训练torch.nn.DataParallel平衡DataParallel带来的显存使用不平衡的问题torch.nn.parallel.DistributedDataParallel
Cmy_CTO·2024-01-24 18:39

Redis实现分布式锁

注解方式实现1、使用redission实现加锁和解锁逻辑publicinterfaceDistributedLocker{RLocklock(StringlockKey);RLocklock(StringlockKey
sighting_info·2024-01-24 13:50

《动手学深度学习(PyTorch版)》笔记1

Chapter1Introduction机器学习的关键组件data每个数据集由一个个样本（example,sample）组成，大多时候，它们遵循独立同分布(independentlyandidenticallydistributed
南七澄江·2024-01-24 08:22

大数据开发之Spark（RDD弹性分布式数据集）

第1章：rdd概述1.1什么是rddrdd（resilientdistributeddataset）叫做弹性分布式数据集，是spark中最基本的数据抽象。
Key-Key·2024-01-24 07:17

Spark 编程模型 RDD

Spark编程模型有两个主要的抽象，第一个是弹性数据集RDD（ResilientDistributedDataset），第二个是共享变量：广播变量和累加器。首先了解以下RDD。
Alex90·2024-01-23 23:44

jmeter分布式部署

搭建一个jmeter分布式测试案例参考官方文档地址：ApacheJMeter-ApacheJMeterDistributedTestingStep-by-step最近需要搞一个压力测试，需要配置一个分布式压力测试系统
semicolon_hello·2024-01-23 19:07

什么是DDoS

DDoS，英文全称DistributedDenialofService，中文名称是分布式拒绝服务攻击。指的是攻击者控制多个攻击源同时向同一主机或网络发起DoS攻击。
黑战士安全·2024-01-23 19:57

从历史见证未来，Distributed SQL？云原生数据库？ 多模型数据库？

本作品采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议进行许可。本作品(李兆龙博文,由李兆龙创作)，由李兆龙确认，转载请注明版权。回顾历史自1970年Codd祖师爷提出关系模型开始，关系型数据库在五十多年的时间中蓬勃发展。早期互联网的流量并不想我们现在所处的年代，QPS的需求往往百级别就绰绰有余，但是2000年左右互联网应用如雨后春笋，一时间庞大的资源要求远超传统的软件服务，在这种日
李兆龙的博客·2024-01-23 17:29

Hadoop基本介绍

Hadoop的整体框架Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（HadoopDistributedFileSystem
w蕾丝·2024-01-23 08:53

FPGA之分布式RAM（2）

1)128X1SinglePortDistributedRAM下图中可以看出来,通过2个LUT的组合使用可以串联实现更大深度的分布式RAM.下图中出现了F7BMUX的加入,F7BMUX可以用于LUT输出的选通
行者..................·2024-01-23 06:59

RDD简介

RDD-弹性分布式数据集(ResilientDistributedDataSet)什么是RDDRDD是一个基本的抽象，操作RDD就像操作一个本地集合一样，降低了编程的复杂度；操作RDD，其实是对每个分区进行操作
Cool_Pepsi·2024-01-23 02:43

阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践

DistributedTraining分布式训练一般分为两种
阿里云云原生·2024-01-22 07:44

清华大学计算机学科推荐学术会议和期刊列表——网络与信息安全

类会议会议简称会议全程网址IEEES&PIEEESymposiumonSecurityandPrivacyhttp://dblp.uni-trier.de/db/conf/sp/NDSSISOCNetworkandDistributedSystemSecuritySymposiumhttp
叶卡捷琳堡·2024-01-22 04:05

git --git-dir_Git简介-第2轮（高级）

git--git-dirGitisanincrediblypowerful,flexible,andcapabledistributedversioncontrolsystem.Unfortunately
culh2177·2024-01-21 08:34

使用OpenTracing对ruby应用进行分布式链路追踪

http://blog.scoutapp.com/articles/2018/01/17/tutorial-distributed-tracing-in-ruby-with-opentracing当最终响应是来源于一系列微服务时
李小西033·2024-01-20 18:46

西瓜书读书笔记整理（十二） —— 第十二章 计算学习理论

第十二章计算学习理论（上）12.1基础知识12.1.1什么是计算学习理论（computationallearningtheory）12.1.2什么是独立同分布（independentandidenticallydistributed
smile-yan·2024-01-20 18:23

CentOS安装Flume

CentOS安装Flume一、简介二、安装1、下载2、解压3、创建配置文件4、启动flumeagent5、验证一、简介Flumeisadistributed,reliable,andavailableserviceforefficientlycollecting
GreaterBuilder·2024-01-20 11:57

FPGA之分布RAM(1)

可以实现的RAM类型：单口RAM双端口简单的双端口四端口下表给出了通过1SLICEM中的4个LUT可以实现的RAM类型1.32X2QuadPortDistributedRAM我们介绍过把6输入LUT当作
行者..................·2024-01-20 11:02

spark的jdbc接口，类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-serverSparkSQL
zdkdchao·2024-01-20 10:53

Linux 分布式shell工具dsh

dsh是“DistributedShell”或“Dancer’sShell”的缩写，可以实现在多个Linux服务器上运行命令。
zdlinux·2024-01-20 09:50

AMBA ACE

ACE协议提供了系统级一致性框架，系统级设计包括：1、一致性存储范围2、具有一致性扩展的存储系统器件3、系统器件之间交互的软件模型ACE协议实现通过以下扩展支持Barrier传输和DVM（DistributedVirtualMemory
biaobiao_hust·2024-01-20 06:30

自然语言处理大数据：spark ML Word2Vec详解

简介Word2Vec是一种著名的词嵌入（WordEmbedding）方法，它可以计算每个单词在其给定语料库环境下的分布式词向量（DistributedRepresentation，亦直接被称为词向量）。
nnnancyyy·2024-01-19 17:23

SpringBoot+Redisson实现分布式锁

目录项目结构pom.xmlapplication.ymlRedissonPropertiesRedissonAutoConfigurationDistributedLockerRedissonDistributedLockerRedissonLockUtilRedissonLockApplicationTestController
浩骞·2024-01-19 11:13

ClickHouse - 05

7、DDL在ClickHouse中，DDL语言中修改表结构仅支持Merge表引擎、Distributed表引擎及MergeTree家族的表引擎,SQL中的库、表、字段严格区分大小写。
ArthurHC·2024-01-19 02:06

CMU15-445-Spring-2023-分布式DBMS初探（lec21-24）

Lecture#21_IntroductiontoDistributedDatabasesDistributedDBMSs分布式DBMS将单个逻辑数据库划分为多个物理资源。
gongyuandaye·2024-01-18 20:08

分布式锁实现用户锁

限制用户在操作未完成前不能再进行下一次相同操作1.主要组成Dul：用户锁注解，自定义锁注解，然后给需要加锁的方法加上此注解DistributedUserLock：锁接口RedisDistribut
栗栗子~·2024-01-18 11:41

HDFS 系统架构

HDFSArchitectureIntroductionHadoopDistributedFileSystem(HDFS)是设计可以运行于普通商业硬件上的分布式文件系统。
偷油考拉·2024-01-18 03:52

第十一周周报

Thisweek,Ilearnedaboutdistributedcomputing,theuseofmultipleGPUsintraining,andcompareditwithsingleGPUtraining.Ialso
Joy_moon·2024-01-17 15:42

大数据开发之Hadoop（HDFS）

2、HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文
Key-Key·2024-01-17 10:22

2020-12-14

《Semantic-awareWorkflowConstructionandAnalysisforDistributedDataAnalyticsSyste
幸福大黑鸭·2024-01-17 09:41

Hadoop——HDFS、MapReduce、Yarn期末复习版（搭配尚硅谷视频速通）

一、HDFS1.HDFS概述1.1HDFS定义HDFS(HadoopDistributedFileSystem),它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能
革斤要加油·2024-01-17 06:10

Solving distributed transaction management problems in microservices architecture using Saga

ComplexityindistributedtransactionmanagementinamicroservicesarchitectureAmicroservice,fromitscoreprinciplesandinitstruecontext
Rainly2000·2024-01-17 05:46

调试模型记录1

Failedtoimporttransformers.sagemakerbecauseofthefollowingerror(lookuptoseeitstraceback):module'torch.distributed'hasnoattribute
橘子333·2024-01-16 16:06

(13)tcp和udp的socket简单实现

1.tcp的实现socket的服务端/***@Project:3.DistributedProject*@description:socket的服务端*@author:sunkang一定在流写的时候flush
Mrsunup·2024-01-16 15:35

如何将千亿文件放进一个文件系统，EuroSys‘23 CFS 论文背后的故事

1.引言本文的主要目的是解读百度沧海·存储团队发表于EuroSys2023的论文《CFS:ScalingMetadataServiceforDistributedFileSystemviaPrunedScopeofCriticalSections
大隐隐于野·2024-01-16 15:39

EOCR电机保护器485通讯协议概念

为更好地普及和推动Modbus在基于以太网上的分布式应用，目前施耐德公司已将Modbus协议的所有权移交给IDA（InterfaceforDistributedAutomation，分布式自动化接口）组织
上海韩施电气中国区总代·2024-01-16 15:24

mac上搭建 hadoop 伪集群

它主要由以下几个部分组成：HDFS(HadoopDistributedFileSystem)：HDFS是Hadoop的分布式文件系统，具有较高的读写速度，很好的容错性和可伸缩性，为海量的数据提供了分布式存储
寂夜了无痕·2024-01-16 06:30

MetaKV: A Key-Value Store for Metadata Management of Distributed Burst Buffers——论文泛读

IPDPS2017Paper分布式元数据论文汇总问题分布式突发缓冲区是处理异构计算I/O工作负载的一种有前途的存储架构，其总体存储带宽随系统节点数量线性增长。科学应用可以将每个进程的数据写入其本地节点的突发缓冲区，来实现可扩展的写入带宽，但元数据方面仍然存在巨大挑战，特别是对于跨多个进程共享的文件。在N-N模式下，每个进程将一个单独的文件写入其节点本地的突发缓冲区，文件的元数据只需要在本地管理。在
妙BOOK言·2024-01-15 18:07

一文解读什么是ddos？ddos攻击的手段与有哪些防御方法

上面这个例子讲的就是典型的DDoS攻击，全称是DistributedDenialofService，翻译成中文就是分布式拒绝服务。一般来说是指攻击
zhujibcom·2024-01-15 13:50

防范黑客DdoS被攻击的那么几点？

分布式拒绝服务攻击则ddosattack又名(DDoS:DistributedDenialofService)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS
qq_780662763·2024-01-15 13:46

最基础的ddos攻击和预防

DDOS（DistributedDenialofService），中文全称分布式拒绝服务（大量分布式的攻击导致服务器不堪重负拒绝服务），就是借助多台计算机作为平台来攻击服务器的一种方式的统称，DDOS攻击还包括
kingkyrie·2024-01-15 13:14

训练DAMO-YOLO（damoyolo_tinynasL25_S.py）

damoyolo_tinynasL25_S.py进行如下两块修改2.1关于训练参数的设置2.2根据自己数据集设置3开始训练4调用tools/eval.py进行测试5训练时可能遇到的报错5.1RuntimeError:Distributedpackagedoesn'thaveNCCLbuiltin
孟孟单单·2024-01-15 08:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他