分布式存储

009、体系架构之HTAP

HTAPHTAP技术传统的HTAP解决方案HATP的要求TiDB的HTAP架构TiDB的HTAP特性使用场景MPPHTAP技术传统的HTAP解决方案HATP的要求可扩展性分布式事务分布式存储同时支持OLTP
数哥·2023-06-17 17:38

G5冲锋G6接应，浪潮存储步步为营

存储平台2.产品平台化演进意义深远3.G6平台打通任督二脉浪潮信息发布G6存储平台10月21日，北京，在IDTC2021浪潮存储数据科技峰会上，浪潮信息重磅发布新一代G6存储平台，全面升级集中式存储、分布式存储系列产品
大话存储·2023-06-17 16:07

磕技术、筑平台，浪潮存储如何持续破局？

今年上半年，浪潮存储更是交出一份靓丽的成绩单：其高端全闪存、分布式存储就在SPC-1测试中接连夺魁，上半年整体出货量位居全球前五，分布式存储更是杀进第二存储市场全球前三，中国存储市场份额第二……所以，浪潮信息总裁彭震敢于在
大数据在线·2023-06-17 16:07

服务器之后加码存储，浪潮信息重磅发布新一代 G6 存储平台

据国际分析机构Gartner报告显示，2021年第一季度，浪潮存储在全闪存存储、分布式存储两个领域分别取得了60%和100%的高速增长，晋阶全球前五。
CSDN云计算·2023-06-17 16:37

k8s 集群部署尝试

部署简单方便且高效二进制源码包的部署方式使用二进制源码包的方式部署会比较麻烦，大概分为如下几步：获取源码包部署在master节点和worker节点上启动相应节点的关键服务master节点上api-server，分布式存储例如
·2023-06-17 13:37

关于屏蔽旧客户端的方案总结

分布式存储中，我们常常需要处理这样的场景：客户端A接入存储，并且开始读写。客户端A网络断开。客户端B接入存储，并且开始读写。
Jiafu·2023-06-17 07:11

DAY 74 ELK企业级日志分析系统

ElasticSearch、Logstash和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求ELK各组件介绍ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎
坤坤爱CTRL music·2023-06-17 00:31

无损网络理论和实践

随着高性能计算、大数据分析、人工智能以及物联网等技术的飞速发展，集中式存储、分布式存储以及云数据库的普及等原因，业务应用有越来越多的数据需要从网络中获取，这对数据中心网络的交换速度和性能要求越来越高。
咸鱼.m·2023-06-16 23:22

大数据相关技术

而处理大数据的技术主要有：分布式存储：多台服务器并行计算（分布式计算）分布式的处理方式又分为批处理和流处理。所谓批处理，就是先攒一段时间的数据，等到又需求的时候
彼得潘多·2023-06-16 19:00

【CDS技术揭秘系列 总篇】阿里云的云定义存储来了

简介：全新发布的云定义存储CDS和传统的存储阵列、分布式存储、软件定义存储的区别在哪里？阿里云存储团队如何看待将来存储的发展趋势？
·2023-06-16 18:45

企业打开云HBase的正确方式，来自阿里云云数据库团队的解读

摘要：一、HBase的历史由来HBase是一个开源的非关系型分布式数据库（NoSQL）,基于谷歌的BigTable建模，是一个高可靠性、高性能、高伸缩的分布式存储系统，使用HBase技术可在廉价PCServer
·2023-06-16 18:38

联想超融合加入龙蜥社区，多产品完成与 Anolis OS 适配

联想超融合产品是利用分布式存储和计算虚拟化技术整合服务器集群、对外提供计算、存储和网络等资源的IT基础架构。联想超融合简化客户的IT基
·2023-06-16 17:58

4EVERLAND 的 IPFS Pinning 服务：4EVER Pin

您可能已经知道星际文件系统或IPFS是一个分布式存储网络，来自世界各地的计算机组成节点共享数据。通常，在IPFS中获取一条数据时，IPFS节点会在本地缓存一份数据，这无疑会占用该节点的空间。
·2023-06-16 17:56

Pharmaceuticals Safety Chain (PSC)是全球第一条进驻药品防伪领域的垂直公有链

充分利用加密网络使用诸如区块链的共识机制来维持和更新状态，并在先期使用成熟的以太坊加密网络创建一个分布式应用，使用分布式储存与算力，整个网络节点的权利与义务相同，系统中数据本质为全网节点共同维护，从而不再依靠于中央处理节点，实现数据的分布式存储
痞子馬·2023-06-16 11:10

ceph分布式存储实战

ceph分布式存储实战分布式存储系统简介性能与优势对比虚拟机安装ceph集群ceph存储系统简介分布式存储概述ceph基础高可用ceph分布式存储系统部署部署ceph集群节点管理ceph使用基础及数据存储案例
theo.wu·2023-06-16 06:21

Spark架构与作业执行流程简介(scala版)

Resilient：弹性的，它表示的是数据可以保存在磁盘，也可以保存在内存中Distributed：它的数据分布式存储，并且可以做分布式的计算D
weixin_30586085·2023-06-16 06:14

华为认证 | HCIE-云计算 考试大纲

设计内容包含不限于如下模块：服务器虚拟化概述、云计算概述、服务器虚拟化部署与运营运维、分布式存储部署与运营运维、传统存储
HCIE考证研究所·2023-06-16 02:32

护航应用的“全科医生”，神州云科亮相四川卫生健康信息技术交流大会

2023年3月23日，神州云科参加2023年四川卫生健康信息技术交流大会，携神州云科应用交付控制器两大系列产品和分布式存储高可用、应用运维可视化和多院区灾备中心建设等医疗行业整体解决方案亮相本次大会。
·2023-06-15 16:11

Ceph分布式存储详解

一、Ceph概述1、存储发展史企业中使用存储按照其功能，使用场景，一直在持续发展和迭代，大体上可以分为四个阶段：DAS：DirectAttachedStorage，即直连存储，第一代存储系统，通过SCSI总线扩展至一个外部的存储，磁带整列，作为服务器扩展的一部分；NAS：NetworkAttachedStorage，即网络附加存储，通过网络协议如NFS远程获取后端文件服务器共享的存储空间，将文件存
wespten·2023-06-15 14:13

大数据遇到区块链

而区块链就是一个超级帐本，它可以记录数据产生的整个过程，且不可篡改，分布式存储。在去
起平·2023-06-15 13:54

HBase集群部署

  HBase是一个面向列的分布式存储数据库。
想你依然心痛·2023-06-14 23:17

数据运营平台-基础架构

目录一、数据存储二、数据计算三、作业调度四、架构安全五、运维管理六、数据权限七、数据查询八、应用层框架一、数据存储底层为统一分布式存储HDFS，HDFS默认采用三份副本策略保证数据的安全性以及可靠性。
戰士·2023-06-14 23:24

大数据学习归纳

Hadoop：Hadoop是一个分布式存储和计算框架，具有高可靠,高扩展,高容错的特点（数据副本和集群）；由底层HDFS分布式文件系
猫腻余腥·2023-06-14 18:52

ceph-16.2.10P版分布式存储部署以及块存储、文件存储、对象存储的具体使用方式介绍

1.部署ceph集群部署ceph16即Pacific版本官网地址：https://docs.ceph.com/en/latest/releases/pacific/支持的操作系统：1.1部署方式cephadm:https://docs.ceph.com/en/latest/cephadm/#ceph官方在ceph15版本加入的ceph部署工具ceph-deploy：https://github.c
zhangjwnx·2023-06-14 04:52

一文看懂分布式存储 Ceph 架构原理

【摘要】本文带你层层深入Ceph的架构原理、读写原理，从而理解Ceph的特性及其应用场景。1.什么是Ceph？首先，我们从Ceph的官方网站上，可以看到：“Cephisaunified,distributedstoragesystemdesignedforexcellentperformance,reliabilityandscalability.”从它的定义上我们可以明确它是一种存储系统，而且可
linux大本营·2023-06-14 03:53

云计算——云计算关键技术

座右铭：低头赶路，敬事如仪个人主页：网络豆的主页目录前言一.云计算关键技术1.虚拟化技术2.分布式数据存储技术（1）云计算的分布式存储与传统的存储是不同的。
网络豆·2023-06-14 01:14

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群：HDFS集群，YARN集群两个集群逻辑上分离，通常物理在一起两个集群都是标准主从集群HDFS分布式存储主角色NameNode从角色DataNode
Rkun18·2023-06-14 00:00

Python与大数据：Hadoop、Spark和Pyspark的应用和数据处理技巧

章节二：Hadoop和PythonHadoop是一个开源的分布式存储和处理大规模数据的框
小正太浩二·2023-06-13 21:07

如何借助分布式存储 JuiceFS 加速 AI 模型训练

传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像JuiceFS这样的分布式存储并不是必需品。
·2023-06-13 18:25

分布式存储中建立高效回收站的设计思考

我们希望分布式文件系统下的回收站是一个高效的回收站系统。在实现的时候需要考虑性能问题，不能去影响正常的io请求，在恢复的时候是一个比较轻的操作，并且需要有一定的扩展性。使用Windows的用户对回收站并不陌生，它给了我们一剂“后悔药”。回收站保存了您删除的文件、文件夹、图片、快捷方式和Web页等。这些被删除的项目将一直保留在回收站中，直到您清空回收站。许多被我们误删除的文件都是从这里面找到的。灵活
·2023-06-13 18:21

YRCloudFile 分布式存储加速基因测序 解锁生命密码

生物信息学（Bioinformatics）是在生命科学的研究中，以计算机为工具对生物信息进行储存、检索和分析的科学。它是当今生命科学和自然科学的重大前沿领域之一，同时也将是21世纪自然科学的核心领域之一。其研究重点主要体现在基因组学（Genomics）和蛋白质组学（Proteomics）两方面，具体说就是从核酸和蛋白质序列出发，分析序列中表达的结构功能的生物信息。生信研究主要是围绕DNA展开的，主
·2023-06-13 17:55

RoCE、iWARP、IB和TCP等网络的基本知识及差异对比

转至：RoCE、IB和TCP等网络的基本知识及差异对比-华为在分布式存储网络中，我们使用的协议有RoCE、Infiniband（IB）和TCP/IP。
小強EE·2023-06-13 17:39

DAY 77 [ Ceph ] 基本概念、原理及架构

基于以上理由，采用Ceph分布式存储应该是个不错的选择。容器化第一步从存储开始。Ceph官方文档（英文）：IntrotoCe
坤坤爱CTRL music·2023-06-13 16:12

Prometheus监控系统

Prometheus的优势Prometheus的主要优势有：由指标名称和和键/值对标签标识的时间序列数据组成的多维数据模型强大的查询语言PromQL不依赖分布式存储；单个服务节点具有自治能力。时
翔叔搞技术·2023-06-13 12:58

mysql 查询行级锁_了解Mysql的行级锁——《深究Mysql锁》

加锁慢、容易出现死锁三、支持存储引擎使用行级锁定的主要有InnoDB存储引擎，以及MySQL的分布式存储引擎NDBCluster四、行级锁类型InnoDB的行级锁定同样分为两种类型：共享
呐傷.已黯淡·2023-06-13 11:49

hadoop hdfs 性能调优

说明其实hdfs并不适合作为小文件的分布式存储系统.前人埋下的坑....背景一次线上环境的hdfsnamenode进程打满cpu.一直在百分之67百.namenode一直在做fullgc,此时hdfs基本处于不可用状态
oo_思维天空·2023-06-13 04:23

IO500榜单最新出炉，HPC性能天花板提升15倍

高性能计算（HPC）领域最具影响力的IO500最新一期榜单公布，以华为OceanStorPacific分布式存储为核心底座的Cheeloo-1系统表现一骑绝尘，在最重要的10节点榜单中以创纪录的13万总得分位列第一
大数据在线·2023-06-13 03:18

DatenLord开源产品技术分享 | Xline源码解读 No.2

本期源码解读将聚焦Xline的Lease机制，DatenLord分布式存储工程师关宇将与大家分享在Xline中的Lease机制及实现原理。【源码解读】【题目】Xline的Lease机制与实现【
达坦科技DatenLord·2023-06-13 00:15

第十课笔记摘要

三、Ulord网络服务以Ulord协议为基础，提供了P2P下载，分布式文件储存，智能学习等技术，包括以下模块1、快速内容搜索2、内容分布式存储服务3、节点定制化
菠萝男二号·2023-06-12 22:22

带你轻松了解什么是分布式存储,以及其应用场景

分布式存储是近年比较火的存储技术话题，但什么是分布式存储呢？相信大家都是一知半解，今天就给大家详细讲解一下什么是分布式存储。
比原财经·2023-06-12 21:37

AntDB 企业增强特性介绍——数据分布式存储

采用水平分表的方式，将业务数据表的元组打散存储到各个节点中。这样带来的好处有，查询中通过查询条件过滤不必要的数据，快速定位到数据存储位置，可极大地提升数据库性能。水平分表方式即将一个数据表内的数据，按合适分布策略分散存储在多个节点内，AntDB支持表3-3所示的数据分布策略。用户可在创建表时增加DISTRIBUTEBY参数，来对指定的表应用数据分布功能。1.流程设计自定义数据分片是AntDB支持的
亚信安慧AntDB数据库·2023-06-12 20:51

AntDB 存储技术——Hash分片技术

分布式存储系统需要解决的两个最主要的问题：数据分片和数据冗余，通过图3-3来解释其概念和区别。图3-3中，数据集A、B属于数据分片，原始
亚信安慧AntDB数据库·2023-06-12 20:49

安卓怎么把数据直接插入mysql_NoSql数据库，是怎么解决我们高并发场景下MySql表现的不足...

通过前面几天的学习，我们在面对高并发流量时，为了应对大量读写请求，特此将我们的普通存储系统开发成了一套分布式存储系统。主要基于读写分离主从复制以及数据分库分表实现的。
weixin_39598308·2023-06-12 20:43

不用共享内存来通信，而用通信来共享内存的思考探索

因此和分布式存储中常用的用共享内存来代替rpc调用优化通信效率刚好是相反的。扩展阅读:如何理解Golang中“不要通过共享内存来通信，而应该通过通信来共享内存”？
单林敏·2023-06-12 15:10

如何借助分布式存储 JuiceFS 加速 AI 模型训练

传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像JuiceFS这样的分布式存储并不是必需品。
Juicedata·2023-06-12 15:26

服务（第三十篇）elk-elasticsearch、logstash、kiabana

ElasticSearch、Logstash和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎
只喜欢做实验@·2023-06-12 12:39

分布式运用之ELK企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTful
平平无奇打工仔·2023-06-12 11:46

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
kevin0016·2023-06-12 08:14

Java实现区块链 --- 原理篇

区块链特性去中心化：区块链是分布式存储的，不存在中心点，所有每个节点都可以是中心。在生活中像银行、支付宝就属于中心点。开放性：区块链中的数据是公开透明的，每个人都可以参与进来。
陈美丽工作室·2023-06-12 08:21

存储网络架构——DAS、NAS、SAN、分布式组网架构

目录DAS直连式存储NAS网络附加存储SAN存储存储区域网络分布式存储组网DAS直连式存储DAS遇到的挑战NAS网络附加存储向主机提供文件服务；文件系统由存储设备维护，用户访问文件系统，不直接访问底层存储拥有所有主机上文件与底层存储空间的映射
静下心来敲木鱼·2023-06-12 01:46
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他