【Distributed】

Ceph分布式存储实战 1.1　Ceph概述

“Cephisaunified,distributedstoragesystemdesignedforexcellentperformance,reliability
weixin_33755847·2023-07-18 22:08

SQL Server 阻止了对组件“Ad Hoc Distributed Queries”的 STATEMENT“OpenRowset/OpenDatasource”的访问

当SQLServer阻止对组件"AdHocDistributedQueries"的访问时，这是由于服务器的安全配置将此组件关闭所致。"
孤独半生·2023-07-18 18:04

【Distributed】分布式Ceph存储系统之相关应用

文章目录一、创建CephFS文件系统MDS接口1.服务端操作1.1在管理节点创建mds服务1.2查看各个节点的mds服务1.3创建存储池，启用ceph文件系统1.4查看mds状态1.5创建用户2.客户端操作2.1客户端要在public网络内2.2在客户端创建工作目录2.3在ceph的管理节点给客户端拷贝文件2.4在客户端安装ceph软件包2.5在客户端制作秘钥文件2.6客户端挂载方式一：基于内核方
我的宝贝大唐·2023-07-18 09:17

第3章 Hadoop分布式文件系统

管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributedfilesystem)。3.2.1数据块每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位。
刘小树树树树·2023-07-17 14:36

Spring aop优雅实现redis分布式锁 aop应用redis分布式锁

#@DistributedLock注解定义```javaimportorg.springframework.core.annota
我瞎了听不见·2023-07-17 13:19

021 单节点集群上 Ubuntu 安装 Hadoop 3.X

Objective1.目标InthistutorialonInstallationofHadoop3.xonUbuntu,wearegoingtolearnstepsforsettingupapseudo-distributed
胡巴Lei特·2023-07-17 12:57

HDFS数据存储模式

Hadoop中HDFS的存储机制HDFS（HadoopDistributedFileSystem）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处理超大文件的需求而开发的。
s_pr1te·2023-07-17 12:14

分布式文件管理系统HDFS

1.HDFS(HadoopDistributedFileSystem)分布式文件管理系统1.1.1概述在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。
LBJ_小松鼠·2023-07-17 09:44

Exploring Memory Access Similarity to Improve Irregular Application Performance for Distributed

文章来自IEEETransactionsonParallelandDistributedSystems，TPDS，20230.所有作者及单位WenjieLiu，XubinHe，美国宾夕法尼亚州费城天普大学计算机与信息科学系
搭车去柏林<‘^′>·2023-07-16 21:25

PyTorch 分布式概述

PyTorch分布式概述这是torch.distributed包的概述页面。
yanglamei1962·2023-07-16 11:37

使用 RPC 的分布式管道并行化

分布式概述单机模型并行最佳实践分布式RPC框架入门RRef辅助函数：RRef.rpc_sync()，RRef.rpc_async()和RRef.remote()本教程使用Resnet50模型来演示如何使用torch.distributed.rpcAPI
yanglamei1962·2023-07-16 11:37

HDFS读写流程详细过程

HDFS读写流程详细过程HDFS的定义一、组成架构二、优缺点三、读流程四、NameNode和SeconderyNameNode五、写流程HDFS的定义HDFS（HadoopDistributedFileSystem
Aimyon_36·2023-07-16 11:51

1.19 什么是分布式

文章目录什么是分布式分布式系统的特点分布式系统的应用分布式系统的挑战结论什么是分布式分布式（Distributed）是指系统或应用程序在多个计算机或服务器上进行协作和共享资源的方式。
(～￣▽￣)～凤凰涅槃·2023-07-16 10:29

机器学习笔记 - 探索PaddlePaddle框架的对象检测、分割和关键点检测

一、PaddlePaddle简述PaddlePaddle（PArallelDistributedDeepLEarning）是百度于2016年发布的开源深度学习框架。
坐望云起·2023-07-16 03:49

Pytorch运行模型时报错总结

Defaultprocessgroupisnotinitialized在使用分布式的文件里importtorch.distributedasdist后加上下面的语句，或者在报错的地方前面加上这句。
请教我DM1·2023-07-16 03:48

AssertionError: Default process group is not initialized

出现上述问题，是因为我是单卡，双卡的分布形式就不会出现该问题，为此，只需要tool/train.py开头加入如下语句即可：importtorch.distributedasdistdist.init_process_group
zouxiaolv·2023-07-16 03:48

RuntimeError: Default process group has not been initialized,please make sure to call init_process_g

就直接按照他这个错误的指引来就行了，再代码的全局加一句torch.distributed.init_process_grop('nccl',init_method='file:///myfile',work_size
奔跑的sugar·2023-07-16 03:18

FlinkCDC如何实时同步mysql数据到DorisDB/StarRocks

一、创建数据表1、DorisBD表创建CREATETABLEtest(idINT,studentVARCHAR(32),phoneVARCHAR(32))UNIQUEKEY(id)DISTRIBUTEDBYHASH
Demon_gu·2023-07-16 01:56

Spark和Hive概念

Spark能够在内存中快速处理数据，支持多种数据源，包括HadoopDistributedFileSystem（HDFS）和ApacheCassandra等。
、小H·2023-07-16 00:26

什么是分布式软件系统

分布式软件系统(DistributedSoftwareSystems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。
微服务商城技术分享·2023-07-15 20:51

Hadoop知识点

1.HDFS写数据流程客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。NameNode返回是否可以上传。
独影月下酌酒·2023-07-15 16:09

【Distributed】分布式Ceph存储系统

文章目录一、存储基础1.单机存储设备1.1DAS1.2NAS1.3SAN1.4单机存储的问题1.5商业存储解决方案2.分布式存储（软件定义的存储SDS）分布式存储的类型3.Ceph简介4.Ceph优势5.Ceph架构6.Ceph核心组件7.OSD存储后端7.1Filestore7.2Bluestore8.Ceph数据的存储过程9.Ceph版本发行生命周期10.Ceph集群部署二、基于ceph-de
我的宝贝大唐·2023-07-15 13:43

word2vec理解归纳（方法概览）

于是就提出了词的分布式表示即distributedrepresentation。也就是认为规定一个维度k
hhy不许摸鱼·2023-07-15 12:51

服务端⾼并发分布式结构演进之路

System）为了完成一整套服务的一个程序或相互配合的程序群模块（Module）/组件（Component）当应⽤较复杂时，为了分离职责，将其中具有清晰职责的、内聚性强的部分，抽象出概念，便于理解分布式（Distributed
YoLo♪·2023-07-15 11:30

【Distributed】分布式ELK日志文件分析系统（二）

文章目录一、Filebeat+ELK部署1.环境部署2.在Filebeat节点上操作2.1安装Filebeat2.2设置filebeat的主配置文件3.在Apache节点上操作3.1在Logstash组件所在节点上新建一个Logstash配置文件3.启动3.1在Logstash组件所在节点启动3.2在Filebeat节点启动4.浏览器访问二、Filter插件1.grok正则捕获插件1.1内置正则表
我的宝贝大唐·2023-07-15 08:55

什么是HDFS?（内含习题）

HDFS:全称HadoopDistributedFileSystem，即：Hadoop分布式文件系统HDFS的特性：HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（
周杰伦今天喝奶茶了吗·2023-07-15 07:44

【云存储】主流分布式文件系统介绍

TheGoogleFileSystem（谷歌文件系统）3.2、MapReduce：SimplifiedDataProcessingonLargeClusters（MapReduce：大型集群上的简化数据处理）3.3、Bigtable:ADistributedStorageSys
dvlinker·2023-07-15 06:02

torch分布式训练笔记

torch分布式训练笔记1.数据并行（DistributedDataParallel）2.模型并行（单机多卡）3.混合并行（数据并行+模型并行/PipeLine并行）1.数据并行（DistributedDataParallel
圣颖君·2023-07-15 04:04

torch分布式通信基础

torch分布式通信基础1.点到点通信2.集群通信官网文档：WRITINGDISTRIBUTEDAPPLICATIONSWITHPYTORCH1.点到点通信#同步，peer-2-peer数据传递importosimporttorchimporttorch.distributedasdistimporttorch.multiprocessingasmpdeftest_send_recv_sync
圣颖君·2023-07-15 03:53

HarmonyOS学习路之开发篇—数据管理（分布式数据服务）

分布式数据服务概述分布式数据服务（DistributedDataService，DDS）为应用程序提供不同设备间数据库数据分布式的能力。通过调用分布式数据接口，应用程序将数据保存到分布式数据库中。
爱吃土豆丝的打工人·2023-07-15 02:00

pytorch训练时gpu利用率低_pytorch多gpu并行训练

pytorch多gpu并行训练1.单机多卡并行训练1.1.torch.nn.DataParallel1.2.如何平衡DataParallel带来的显存使用不平衡的问题1.3.torch.nn.parallel.DistributedDataParallel2
Tiotao·2023-07-14 23:00

Distributed Database System —— 分布式数据库的两种架构风格

文章目录概述PGXC:单体数据库的自然演进NewSQL:革命性的新架构概述总的来说，分布式数据库大多可以分为两种架构风格一种是NewSQL，它的代表系统是GoogleSpanner;另一种是从单体数据库中间件基础上演进出来的，被称为Prxoy风格，没有公认的代表系统，便于理解，所以选了一个出现较早的产品来指代这种风格，这就是PostgreSQL-XC(下文简称PGXC)。数据库从逻辑上拆分为5个部
No_Game_No_Life_·2023-07-14 23:56

Pytorch——报错解决：多卡训练超时错误Timed out initializing process group in store based barrier on rank

报错截图解决方法找到.conda/envs/bevdet/lib/python3.6/site-packages/torch/distributed/constants.py，修改默认时间从30mins
Irving.Gao·2023-07-14 23:54

前端渲染模式CSR，SSR，SSG，ISR，DPR

ServerSideRendering）三、静态站点生成——SSG（StaticSiteGeneration）四、增量静态生成——ISR（IncrementalStaticRegeneration）五、分布式的持续渲染——DPR（DistributedPersistentRendering
坐在路边数星星·2023-07-14 21:57

@Schedule cron表达式

distributed.lock.cron=001**?2.获取配置启动定时@Component@EnableScheduling@Slf4jpu
timi先生·2023-07-14 17:57

zabbix proxy分布式监控部署

一、proxy分布式监控介绍来源于zabbix官网：https://www.zabbix.com/documentation/3.4/zh/manual/distributed_monitoring/proxieszabbix
weixin_30586257·2023-07-14 15:08

机器学习洞察 | 分布式训练让机器学习更加快速准确

机器学习能够基于数据发现一般化规律的优势日益突显，我们看到有越来越多的开发者关注如何训练出更快速、更准确的机器学习模型，而分布式训练(DistributedTraining)则能够大幅加速这一进程。
亚马逊云开发者·2023-07-14 15:35

微服务系列文章之 Redisson实现分布式锁(3)

1、技术架构项目总体技术选型SpringBoot2.4.5+Maven3.5.4+Redisson3.5.4+lombok(插件)2、加锁方式该项目支持自定义注解加锁和常规加锁两种模式自定义注解加锁@DistributedLock
Coder_Boy_·2023-07-14 12:24

pytorch2.0版本简介

使用方式的新功能，它提供了相同的eagermode和用户体验，同时通过torch.compile增加了一个编译模式，在训练和推理过程中可以对模型进行加速，从而提供更佳的性能和对DynamicShapes及Distributed
mingqian_chu·2023-07-14 11:45

GaussDB OLTP云数据库配套工具DDM

二、DDM定义DDM(DistributedData
Gauss松鼠会·2023-07-14 03:15

摆脱基础设施束缚，亚马逊云科技提出生成式AI方法论

“未来近在咫尺，只不过时隐时现(Thefutureishere,it'sjustnotevenlydistributedyet.)”
大数据在线·2023-07-14 03:29

【Distributed】分布式ELK日志文件分析系统（一）

文章目录一、ELK概述1.为什么要使用ELK2.完整日志系统基本特征3.ELK简介3.1ElasticSearch（ES）3.2Kiabana3.3Logstash3.4其它组件Filebeat缓存/消息队列Fluentd4.ELK的工作原理5.Linux系统内核日志消息的优先级别二、部署ELK集群服务器架构1.服务器设置2.ELKElasticsearch集群部署2.1环境准备2.2部署Elas
我的宝贝大唐·2023-07-14 01:06

小册子之Git

Git是一个分布式版本控制系统（DistributedVersionControlSystem-DVCS）版本控制系统：版本控制、主动提交、中央仓库这三个要素，共同构成了版本控制系统（VCS）的核心：开发团队中的每个人向中央仓库主动提交自己的改动和同步别人的改动
沐沐程序媛·2023-07-14 01:57

[数据存储]HDFS的简介、初始化配置与运行

数据写入流程HDFS数据读取流程启动HDFSHDFS初始化配置`${HADOOP_CONF_DIR}/hdfs-site.xml`文件系统格式化启动HDFS查看启动状态HDFS简介HDFS（HadoopDistributedFileSystem
北溪入江流·2023-07-14 00:00

【Distributed】zookeeper+kafka的应用及部署

文章目录一、zookeeper1.zookeeper的概述1.1Zookeeper定义1.2Zookeeper工作机制1.3Zookeeper特点1.4Zookeeper数据结构1.5Zookeeper应用场景1.6Zookeeper选举机制第一次启动选举机制非第一次启动选举机制选举Leader规则2.部署Zookeeper集群2.1安装前准备2.2安装Zookeeper二、Kafka1.消息队列
我的宝贝大唐·2023-07-13 15:03

FastDFS文件系统

FastDFS文件系统环境+代码实现一.FastDFS1.什么是FastDFSFastDFS:FastDistributedFileSystem,快速的分布式文件系统,是一款用c语言开发的开源的分布式文件系统
MyBlogHiHi·2023-07-13 15:56

hadoop 3.1.2 安装在 Windows

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
droxy·2023-07-05 15:30

HDFS基础

editlogHDFS的读写流程HDFS的数据完整性HDFS的可靠性保证HDFS的高可用HA的系统配置NameNodeFederation（联邦）HDFS缓存HDFS权限控制其他HDFS基础HDFS（HadoopDistributedFileSystem
最美的愿望一定最疯狂·2023-06-24 08:09

区块链 -＞ 区块链简介

腾讯:TencentDistributedSQL，简称TDSQL。阿里:PolarDBPostgreSQL，简称PolarDB-PG。区块链还有一个特点->去中心化。
欧皇小德子·2023-06-24 07:50

HBase伪分布式集群的复制

0.prerequisiteSuppose2hbasepseudodistributedclustershavebothstartedasfolowingrelevantparametersinhbase-site.xmlsourcedestnationhbase.zookeeper.quorumubuntucentos2hbase.zookeeper.property.clientPort218
sun_xo·2023-06-24 04:45
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他