GridFS分布式存储

分布式存储中建立高效回收站的设计思考

我们希望分布式文件系统下的回收站是一个高效的回收站系统。在实现的时候需要考虑性能问题，不能去影响正常的io请求，在恢复的时候是一个比较轻的操作，并且需要有一定的扩展性。使用Windows的用户对回收站并不陌生，它给了我们一剂“后悔药”。回收站保存了您删除的文件、文件夹、图片、快捷方式和Web页等。这些被删除的项目将一直保留在回收站中，直到您清空回收站。许多被我们误删除的文件都是从这里面找到的。灵活
·2023-06-13 18:21

YRCloudFile 分布式存储加速基因测序 解锁生命密码

生物信息学（Bioinformatics）是在生命科学的研究中，以计算机为工具对生物信息进行储存、检索和分析的科学。它是当今生命科学和自然科学的重大前沿领域之一，同时也将是21世纪自然科学的核心领域之一。其研究重点主要体现在基因组学（Genomics）和蛋白质组学（Proteomics）两方面，具体说就是从核酸和蛋白质序列出发，分析序列中表达的结构功能的生物信息。生信研究主要是围绕DNA展开的，主
·2023-06-13 17:55

RoCE、iWARP、IB和TCP等网络的基本知识及差异对比

转至：RoCE、IB和TCP等网络的基本知识及差异对比-华为在分布式存储网络中，我们使用的协议有RoCE、Infiniband（IB）和TCP/IP。
小強EE·2023-06-13 17:39

DAY 77 [ Ceph ] 基本概念、原理及架构

基于以上理由，采用Ceph分布式存储应该是个不错的选择。容器化第一步从存储开始。Ceph官方文档（英文）：IntrotoCe
坤坤爱CTRL music·2023-06-13 16:12

Prometheus监控系统

Prometheus的优势Prometheus的主要优势有：由指标名称和和键/值对标签标识的时间序列数据组成的多维数据模型强大的查询语言PromQL不依赖分布式存储；单个服务节点具有自治能力。时
翔叔搞技术·2023-06-13 12:58

mysql 查询行级锁_了解Mysql的行级锁——《深究Mysql锁》

加锁慢、容易出现死锁三、支持存储引擎使用行级锁定的主要有InnoDB存储引擎，以及MySQL的分布式存储引擎NDBCluster四、行级锁类型InnoDB的行级锁定同样分为两种类型：共享
呐傷.已黯淡·2023-06-13 11:49

hadoop hdfs 性能调优

说明其实hdfs并不适合作为小文件的分布式存储系统.前人埋下的坑....背景一次线上环境的hdfsnamenode进程打满cpu.一直在百分之67百.namenode一直在做fullgc,此时hdfs基本处于不可用状态
oo_思维天空·2023-06-13 04:23

IO500榜单最新出炉，HPC性能天花板提升15倍

高性能计算（HPC）领域最具影响力的IO500最新一期榜单公布，以华为OceanStorPacific分布式存储为核心底座的Cheeloo-1系统表现一骑绝尘，在最重要的10节点榜单中以创纪录的13万总得分位列第一
大数据在线·2023-06-13 03:18

DatenLord开源产品技术分享 | Xline源码解读 No.2

本期源码解读将聚焦Xline的Lease机制，DatenLord分布式存储工程师关宇将与大家分享在Xline中的Lease机制及实现原理。【源码解读】【题目】Xline的Lease机制与实现【
达坦科技DatenLord·2023-06-13 00:15

第十课笔记摘要

三、Ulord网络服务以Ulord协议为基础，提供了P2P下载，分布式文件储存，智能学习等技术，包括以下模块1、快速内容搜索2、内容分布式存储服务3、节点定制化
菠萝男二号·2023-06-12 22:22

带你轻松了解什么是分布式存储,以及其应用场景

分布式存储是近年比较火的存储技术话题，但什么是分布式存储呢？相信大家都是一知半解，今天就给大家详细讲解一下什么是分布式存储。
比原财经·2023-06-12 21:37

AntDB 企业增强特性介绍——数据分布式存储

采用水平分表的方式，将业务数据表的元组打散存储到各个节点中。这样带来的好处有，查询中通过查询条件过滤不必要的数据，快速定位到数据存储位置，可极大地提升数据库性能。水平分表方式即将一个数据表内的数据，按合适分布策略分散存储在多个节点内，AntDB支持表3-3所示的数据分布策略。用户可在创建表时增加DISTRIBUTEBY参数，来对指定的表应用数据分布功能。1.流程设计自定义数据分片是AntDB支持的
亚信安慧AntDB数据库·2023-06-12 20:51

AntDB 存储技术——Hash分片技术

分布式存储系统需要解决的两个最主要的问题：数据分片和数据冗余，通过图3-3来解释其概念和区别。图3-3中，数据集A、B属于数据分片，原始
亚信安慧AntDB数据库·2023-06-12 20:49

安卓怎么把数据直接插入mysql_NoSql数据库，是怎么解决我们高并发场景下MySql表现的不足...

通过前面几天的学习，我们在面对高并发流量时，为了应对大量读写请求，特此将我们的普通存储系统开发成了一套分布式存储系统。主要基于读写分离主从复制以及数据分库分表实现的。
weixin_39598308·2023-06-12 20:43

不用共享内存来通信，而用通信来共享内存的思考探索

因此和分布式存储中常用的用共享内存来代替rpc调用优化通信效率刚好是相反的。扩展阅读:如何理解Golang中“不要通过共享内存来通信，而应该通过通信来共享内存”？
单林敏·2023-06-12 15:10

如何借助分布式存储 JuiceFS 加速 AI 模型训练

传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像JuiceFS这样的分布式存储并不是必需品。
Juicedata·2023-06-12 15:26

服务（第三十篇）elk-elasticsearch、logstash、kiabana

ElasticSearch、Logstash和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎
只喜欢做实验@·2023-06-12 12:39

分布式运用之ELK企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTful
平平无奇打工仔·2023-06-12 11:46

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
kevin0016·2023-06-12 08:14

Java实现区块链 --- 原理篇

区块链特性去中心化：区块链是分布式存储的，不存在中心点，所有每个节点都可以是中心。在生活中像银行、支付宝就属于中心点。开放性：区块链中的数据是公开透明的，每个人都可以参与进来。
陈美丽工作室·2023-06-12 08:21

存储网络架构——DAS、NAS、SAN、分布式组网架构

目录DAS直连式存储NAS网络附加存储SAN存储存储区域网络分布式存储组网DAS直连式存储DAS遇到的挑战NAS网络附加存储向主机提供文件服务；文件系统由存储设备维护，用户访问文件系统，不直接访问底层存储拥有所有主机上文件与底层存储空间的映射
静下心来敲木鱼·2023-06-12 01:46

ceph分布式存储

1、存储基础//单机存储设备●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机
半糖不加冰520·2023-06-11 18:21

轻骑逐单于，大雪满弓刀：华为分布式存储的一骑绝尘

唐代诗人卢纶，有一首脍炙人口的《和张仆射塞下曲》，“月黑雁飞高，单于夜遁逃。欲将轻骑逐，大雪满弓刀。”诗中的慷慨激昂，热血炙烈，千年来让无数国人心魂激荡。时代变迁，岁月迁移，今天我们所期望听到的热血故事或许不在现实世界，而是在数字山野的轻骑追逐中，在核心科技的发展竞赛里。《数字中国建设整体布局规划》中，明确提出了构筑自立自强的数字技术创新体系，为关键核心技术突破发展指明了方向。在核心科技自立自强中
脑极体·2023-06-11 14:07

Redis集群之redis cluster模式

Sentinel基本已经实现了高可用，但是每台机器都存储相同内容，很浪费内存，所以RedisCluster实现了分布式存储。每台机器节点上存储不同的内容，并且可扩展性大大提高。
小沈同学呀·2023-06-11 10:31

springboot整合minio分布式存储

Minio基础概念S3SimpleStorageService，简单存储服务，这个概念是Amazon在2006年推出的，Object存储到Minio的基本对象，如文件、字节流，Anything…Bucket用来存储Object的逻辑空间。每个Bucket之间的数据是相互隔离的。Drive部署Minio时设置的磁盘，Minio中所有的对象数据都会存储在Drive里。Set一组Drive的集合，分布式
kill-java·2023-06-11 07:18

【分布式存储】聊一下分布式存储中分片机制

为什么需要分片在服务端领域，主要特点是支撑7*24小时不间断的服务，而最终对各种行为会生产对应的数据，比如用户登陆/注册，发起订单交易、支付、身份验证，短信验证等情况都需要存储起来，其中包括各种各样的数据，而采用格式的存储中间件进行保存数据，可以有效的进行数据查询和存储，比如MySQL支持关系型数据的存储，Redis支持NoSQL，ES支持快速查询等。但是如果只是单实例的话，其实存储的数据是有上限
qxlxi·2023-06-10 20:30

Prometheus+Grafana+Alertmanager搭建（Docker）

特征：具有由指标名称和键/值对标识的时间序列数据的多维数据模型PromQL，一种灵活的查询语言，可利用此维度不依赖分布式存储;单服务器节点是自治的时序收集通过HTT
Forced O&M personnel·2023-06-10 14:30

原来我们的互联网还可以是这样

去中心化我们知道，在区块链的技术中，数据采用分布式存储，这是一种去中心化的方式。在去中心化的结构中，由于没有了中心的管理机构或者硬件设施，整个社区内的任何节点大家都享有同样的
EOSGenesis·2023-06-10 06:27

2021-06-19

PPT大纲第一p趋势互联网+第二p区块链+第三p分布式存储什么是分布式存储第四p国家政府对于分布式存储的公文第5p5.24号国家大数据中心的批文swarm介绍创始人解决什么问题决定挖币的因素计算机性能带宽技术东宇威公司优势为什么要挖头矿
精灵一笑·2023-06-10 04:57

Ceph 分布式存储

存储基础单机存储设备●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进行网络
星辰18岁·2023-06-10 03:55

基于docker容器工具实现redis分布式存储、容错切换、扩容缩容

cluster（集群）模式：docker版哈希槽分区进行亿级数据存储一、3主3从redis集群配置注：主从机器分配情况以实际情况为准1、关闭防火墙+启动docker后台服务systemctlstopfirewalldsystemctlstartdocker2、新建6个docker容器实例dockerrun-d--nameredis-node-1--nethost--privileged=true-
Small stones·2023-06-10 01:08

存储技术的发展，未来有哪些趋势？

而对于分布式存储技术这个领域，我认为需要从纵向的存储技术发展脉络和横向的主流技术对比两个方面
sendnews·2023-06-09 19:17

Clickhouse系列之整合Hive数仓

ApacheHive数据仓库软件便于使用SQL读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投射到已存储的数据上。提供了一个命令行工具和JDBC驱动程序，用于将用户连接到Hive。
小二上酒8·2023-06-09 19:22

spark复习重点

大数据的处理需要使用特殊的技术和工具，如分布式存储、分布式计算、数据挖掘、机器学习等。大数据的特性大数据具有以下特性：Volume（数据量大）：大数据的数据量通常以TB、PB、EB等计量单位来衡量。
浩茫·2023-06-09 12:48

Spark运行原理

1.BlockManagerBlockManager是Spark的分布式存储系统主从结构：BlockManagerMaster/BlockManager（Slave）BlockManagerMaster
不会编程的小小怪·2023-06-09 09:15

聊聊分布式锁——Redis和Redisson的方式

一、什么是分布式锁分布式~~锁，要这么念，首先得是『分布式』，然后才是『锁』分布式：这里的分布式指的是分布式系统，涉及到好多技术和理论，包括CAP理论、分布式存储、分布式事务、分布式锁...分布式系统是由一组通过网络进行通信
小小怪下士 XIA·2023-06-09 06:56

从绿色节能趋势看存储资源盘活系统HBlock

数据中心约超过一半的成本是电费，数据存储系统作为数据中心三大件之一，能耗也约占三分之一，面对非结构化数据量的快速增长挑战，以及国家对数据中心绿色节能要求的提高，分布式存储的绿色节能愈来愈加重要。
存储-小白·2023-06-08 20:47

从分布式存储管理功能发展趋势看存储资源盘活系统HBlock

随着企业IT的架构复杂化、多样化，非结构化数据进入到企业生产决策流程，企业对非结构数据的安全可靠、自动化管理、跨云共享提出了新的要求，为满足新的数据管理需要，分布式存储正向着硬件异构、多数据中心容灾、智能化运维的方向创新演进
存储-小白·2023-06-08 20:16

分布式存储Ceph的部署及应用（创建MDS、RBD、RGW 接口）

目录一、存储基础1.1单机存储设备1.2单机存储的问题二、分布式存储（软件定义的存储SDS）2.1分布式存储的类型三、Ceph简介3.1Ceph优势3.2Ceph架构3.3Ceph核心组件3.4Pool
橘淮南枳·2023-06-08 07:24

MongoDB 学习笔记十二 GridFS、固定集合、自动增长、释放磁盘空间

MongoDB学习笔记十二GridFS、固定集合、自动增长MongoDBGridFSGridFS添加文件MongoDB固定集合（CappedCollections）创建固定集合固定集合查询固定集合的功能特点固定集合属性及用法
人在囧途^o^·2023-06-08 06:13

初学者学习微服务 需要了解哪些知识?该如何入门微服务?有哪些优质的教程可以学习?

终于有人把tcp、http、rpc和grpc总结完整了微服务知识点总览学习微服务，需要了解以下几个方面的知识：分布式系统：微服务是一种分布式系统架构模式，因此需要对分布式系统有一定的了解，包括分布式计算、分布式存储
7small7·2023-06-08 04:18

微服务架构案例(03)：数据库选型简介，业务数据规划设计

分布式存储Cassandra、Hbase、MongodDB等。键值存储Memcached、Redis、MemcacheDB等。图形
知了一笑·2023-06-08 02:23

ceph 分布式存储

一、存储基础1.1单机存储设备●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主
宇航员殿·2023-06-07 23:51

CEPH分布式存储部署

ceph支持块存储、对象存储、cephfs文件共享系统，概念性的东西这里不过多介绍，请自行查阅ceph分布式存储相关资料，本文主要介绍ceph分布式集群部署操作系统：centos7.9最小安装节点配置：
旅途丶·2023-06-07 22:08

Ceph 分布式存储

Ceph概述存储基础单机存储设备●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程
仙女爱硬拉·2023-06-07 22:55

什么是数藏，数藏适用于什么样配置服务器

数藏的概念：数藏是一种基于分布式存储和计算的架构，它采用分布式文件系统和分布式数据库等技术，将数据分散存储在多个节点上，并通过数据冗余和数据分片等方式来保证数据的可靠性和可用性。
潘潘潘潘panpan·2023-06-07 20:25

Hbase安装指南

Hbase简介HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
小小哭包·2023-06-07 18:59

网工内推 | 云方向招运维，云计算HCIE认证优先，最高22k

01东华软件股份公司招聘岗位：运维系统工程师（云平台）职责描述：1、负责华为云平台HuaweiCloudStack，FusionStorage分布式存储的维护，优化和故障处理；2、负责云平台上VDC、ECS
HCIE考证研究所·2023-06-07 13:31

数据结构与算法08：二分查找和哈希算法

目录【二分查找】二分查找的特殊情况【哈希算法】应用一：安全加密应用二：唯一标识应用三：数据校验应用四：散列函数应用五：负载均衡应用六：数据分片应用七：分布式存储（一致性哈希算法）每日一练：搜索旋转排序数组
浮尘笔记·2023-06-07 10:26

几种分布式文件系统的优缺点归纳与总结

2.Ceph：Ceph是一个开源的分布式存储系统，提供了高可用性、高性能和可扩展性。3
水云间月掌柜·2023-06-07 08:00
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他