全闪存存储系统

干货分享 | spdk技术简介和一些实践经验

由于NVMe-ssd的性能比传统磁盘介质高出很多，使得在整个IO处理过程中，软件部分占用的时间比例大大提升，成为制约存储系统性能的主要因素。
DPDK技术员·2023-04-06 12:44

《深入浅出DPDK》——存储软件优化

基于DPDK的存储软件优化DPDK技术的诞生虽然主要是为了加速网络报文（小包）的处理，但是相关技术亦可以应用到存储系统中，用以提高存储系统中网络的效率，继而提升整个系统的性能。
一个啥也不懂的菜鸟·2023-04-06 12:19

关于云计算

这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。好比是从古老的单台发电机模式转向了电厂集中供电的模式。
weixin_34292924·2023-04-06 10:39

ETCD建立集群

etcd-一个分布式一致性键值存储系统etcd是一个分布式一致性键值存储系统，用于共享配置和服务发现，专注于：简单:良好定义的，面向用户的API(gRPC)安全：带有可选客户端证书认证的自动TLS快速:
RickJay·2023-04-06 08:58

计算机组成第三章

计算机组成第三章存储系统主存储器寻址半导体存储器RAM半导体随机存取存储器DRAM的刷新SRAM的读/写周期知识点总结半导体存储器ROM基本概念存储器性能指标存储器的层次化结构知识点回顾主存与CPU的连接主存容量扩展
罪鬱·2023-04-06 07:47

Kubernetes系列02—Kubernetes设计架构和设计理念

设计架构和设计理念本文收录在容器技术学习系列文章总目录1、Kubernetes设计架构Kubernetes集群包含有节点代理kubelet和Master组件(APIs,scheduler,etc)，一切都基于分布式的存储系统
weixin_33716941·2023-04-06 05:05

Kubernetes 的系统架构是怎样的？

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文一个典型的Kubernetes集群由多个工作节点(workernode)和一个集群控制平面(controlplane，即Master)，以及一个集群状态存储系统
Shockang·2023-04-06 05:18

ceph基础架构详解

接交换机形成专用的存储网络)SAN==》对于稳定性要求比较高的：金融/银行网络附加存储:对外服务by网络,任何设备都可以访问2.分布式存储(是一个集群的概念)2.1即是通过网络将数据分散在多台独立的设备上.分布式存储系统的特性
黑猫警张Evans·2023-04-06 03:02

Redis 源代码的整体架构，想要彻底掌握 Redis 就从源码入手

比如，我们在做社交应用开发时，会将用户数据、关注信息等缓存在Redis中；在开发存储系统软件时，也会用Redis保存系统元数据。
攻城狮百里·2023-04-06 02:15

Docker 搭建 Minio 对象存储服务

MinIOMinIO是一款基于Go语言发开的高性能、分布式的对象存储系统，客户端支持Java，Net，Python，Javacript，Golang语言。
前端开发小陈·2023-04-06 00:39

【高可用对象存储实战】使用Python操作Minio存储桶

启动和配置MinioPythonAPI交互实现文件上传并获取可分享链接PyPI包安装终端构造桶的检查获取可分享URL结语什么是MinioMinio是一个基于Golang实现的高可用、高弹性的开源对象存储系统
BinEnder·2023-04-06 00:26

存储系统的快照技术

赵二狗刚刚毕业，应聘进入了锤钮匹科技有限公司，成为了这里的新员工。入司的第一天是分配宿舍（背景音：天哪，还有宿舍！羡慕嫉妒恨！）。跟他在同一个宿舍的是公司的老员工王大拿，王大拿是该公司的架构师，对公司的情况基本上无所不知。请注意，这里说的是公司的八卦新闻，哈哈！赵二狗进了宿舍，王大拿正在那里噼里啪啦的敲键盘......赵二狗：前辈，我是新报道的同事。没有任何反应。“前辈”，赵二狗提高了嗓门。还是没
SunnyZhang的IT世界·2023-04-05 23:59

MinIO信息泄露漏洞(CVE-2023-28432)批量检测POC

MinIO是一种高性能、高可用的分布式存储系统，可以存储大量数据，并提供高速的数据读写能力。MinIO采用分布式架构，可以在多个节点上运行，实现数据的分布式存储和处理。
今天是 几 号·2023-04-05 19:13

全面解析腾讯数据库TDSQL架构

QB、Q点、包月服务、游戏的二级账户等，为了保证能顺畅支撑公司各大业务的实时在线交易，并且在各种灾难场景下数据是一致并且可用的，对系统的可用性、一致性切换要求非常高，因此计费团队历来都非常重视高一致性存储系统的建设
程序の之道·2023-04-05 19:39

Hadoop实践（零）---Hadoop作为数据湖

在研究Hadoop如何护理大数据之前，必须首先了解现代数据存储系统如何运作。大数据的功能之一，是用于所有数据的中央存储库。一些数据可能不适于存储在关系数据库中，大部分数据将需要按照原始形式存储。
狮锅艺·2023-04-05 17:47

hadoop之HDFS架构详解

HDFS是hadoop的三驾马车之一，是一种大规模分布式文件存储系统。使用HDFS存储的场景是：当数据集大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区，并存储到若干台独立的计算机上。
arno_wzk·2023-04-05 14:00

HDFS概述

HDFS（HadoopDistributedFileSystem）是ApacheHadoop项目的一个子项目，Hadoop非常适合存储大型数据（例如TB和PB），使用HDFS做为存储系统，HDFS使用多台计算机存储文件
NeilNiu·2023-04-05 13:19

Hive概论、架构和基本操作

Hive它能够存储很大的数据集，可以直接访问存储在ApacheHDFS或其他数据存储系统（如ApacheHBase）中的文件。H
NeilNiu·2023-04-05 13:50

数据整体迁移方案

当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高
UCache云灾备·2023-04-05 12:11

Fluid — 云原生环境下的高效“数据物流系统”

第二：混合云场景下跨存储系统的联合分析困难。大多公司/组织通常基于不同存储管理数据支撑多样化应用，具备其各自的特点。Ceph、GlusterFS、HDFS都会被广泛使用
bv2215·2023-04-05 08:26

「硬刚Doris系列」Apache Doris 架构原理及核心特性解读

一、架构原理1.1Doris整体架构Doris主要分为FE和BE两个组件，FE主要负责查询的编译，分发和元数据管理（基于内存，类似HDFSNN）；BE主要负责查询的执行和存储系统这张图是Doris的整体架构
王知无(import_bigdata)·2023-04-05 08:40

K8S数据存储（高级存储之 PV、PVC、PV和PVC生命周期）

由于kubernetes支持的存储系统有很多，要求客户全都掌握，显然不现实。为了能够屏蔽底层存储实现的细节，方便用户使用，kubernetes引入PV和PVC两种资源对象。
途径日暮不赏丶·2023-04-05 04:28

计算机系统结构 第七章

6.假定存储系统在延迟到30个时钟周期后，每2个时钟周期能送出16B。即：经过32个时钟周期，它可提供16B；经过34个时钟周期，可提
20211128·2023-04-05 04:11

常见开源分布式存储系统

系统整体对比对比说明/文件系统TFSFastDFSMogileFSMooseFSGlusterFSCeph开发语言C++CPerlCCC++开源协议GPLV2GPLV3GPLGPLV3GPLV3LGPL数据存储方式块文件/Trunk文件块文件/块对象/文件/块集群节点通信协议私有协议（TCP）私有协议（TCP）HTTP私有协议（TCP）私有协议（TCP）/RDAM(远程直接访问内存)私有协议（TC
罗亚方舟·2023-04-05 02:19

Ceph系列01-Ceph简介

Ceph是一个可大规模扩展、高性能并且无单点故障的分布式存储系统。从一开始它就运行在通用商用硬件上，具有高度可伸缩性，容量可扩展至EB级别，甚至更大。
tinychen777·2023-04-05 01:06

分布式与容器化的介绍

分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但解决了
18cm盖伦不含头·2023-04-04 23:19

Databend 设计概述 | 白皮书

Databend把数据存储在像AWSS3，AzureBlob这些云上的存储系统，可以使不同的计算节点挂载同一份数据，从而做到较高的弹性，实现对资源的精细化控制。
Databend·2023-04-04 21:08

基于蓄电池进行调峰和频率调节研究【超线性增益的联合优化】（Matlab代码实现）

本文目录如下：目录1概述2运行结果2.1文献结果2.2复现结果3参考文献4Matlab代码、数据、文章讲解1概述文献来源：摘要-我们考虑通过联合优化框架同时使用电池存储系统进行调峰和频率调节，该框架捕获电池退化
科研社·2023-04-04 14:57

浅析 SeaweedFS 与 JuiceFS 架构异同

SeaweedFS是一款高效的分布式文件存储系统，最早的设计原型参考了Facebook的Haystack，具有快速读写小数据块的能力。
Juicedata·2023-04-04 13:58

hadoop中的各个模块及其作用

分布式存储系统被称为HDFS。可以将整个文件系统看成一个超大的硬盘。hdfs的组成主节点namenode（nn）：存放元数据信息，存储文件名称，文件属性，文件块列表，所在dn节点列表。
IT小鸟鸟·2023-04-04 12:12

日志存储系统方案设计

日志存储系统常用技术方案有两种：一是log4j/logback+mongodb的方式，一种是基于ELK的日志存储系统。日志一般存储在数据库和文件系统中。
xmh-sxh-1314·2023-04-04 08:11

Redis-五种常用数据结构、持久化机制、主从复制、缓存穿透/击穿/雪崩、哨兵、集群、事务、分布式锁-个人笔记

定义：一款内存高速缓存数据库(全称远程数据服务)；使用C语言编写，Redis是一个key-value存储系统。一个键最大能存储512MB数据
a_sherlock·2023-04-04 07:24

分布式对象存储——Apache Hadoop Ozone

Ozone是Hadoop的分布式对象存储系统，具有易扩展和冗余存
Shockang·2023-04-04 07:15

Redis详解(redis线程模式、数据持久化机制、主从复制、缓存穿透、缓存击穿等)

一.redis概述redis主要用作数据库、缓存和消息中间件,支持多种语言,是基于内存的key-value数据结构存储系统.redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用
暴走的小帅·2023-04-04 07:10

分布式存储Ceph RBD-Mirror 灾备实践

1.说明介绍继上次分享的《分布式存储系统Ceph架构及使用场景解析》和《分布式存储Ceph之PG状态详解》，这次分享《分布式存储Ceph块存储灾备方案》。
糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖·2023-04-04 03:13

分布式文件与分布式存储系统学习总结(持续更新)

存储系统知识WriteAheadLog问题引入存储系统在运行过程中，每时每刻都在发生数据更新。如对文件数据的CRUD.对于中心控制节点来说，这些都会涉及到metadata的更新操作。
小凯Alex·2023-04-04 02:56

淘宝开源Key/Value结构数据存储系统Tair技术剖析

Tair是由淘宝网自主开发的Key/Value结构数据存储系统，在淘宝网有着大规模的应用。您在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候，都在直接或间接地和Tair交互。
weixin_33861800·2023-04-04 02:25

Kudu（分布式数据存储引擎）

Kudu（分布式数据存储引擎）Kudu是cloudera开源的运行在hadoop平台上的列式存储系统,拥有Hadoop生态系统应用的常见技术特性，运行在一般的商用硬件上，支持水平扩展,高可用。
砸锅卖铁上论坛·2023-04-04 02:47

Zookeeper原理之数据模型, 选举机制, 监听机制, 数据一致性处理, 分布式锁应用

Zookeeper是什么Zookeeper是一个分布式协调服务的开源框架,主要用来解决分布式集群中应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题.ZooKeeper本质上是一个分布式的小文件存储系统
啊策策·2023-04-04 01:33

计算机组成原理---第三章存储系统

一、存储器概述存储器（1）定义：存储器是计算机系统中的记忆设备，用来存放程序和数据。（2）构成：存储器的存储介质主要采用半导体器件和磁性材料。存储器的最小存储单元为存储位元，用来存储一位二进制代码，若干个存储位元组成一个存储单元，然后再由许多存储单元组成一个存储器。2.存储器分类①按存储介质分类：半导体存储器；磁表面存储器。②按存取方式分类：随机存储器（半导体存储器）；顺序存储器（磁带存储器）；半
尘 关·2023-04-03 23:57

Redis学习

网址：https://redis.io/一、简介Redis：REmoteDIctionaryServer，是一个key-value存储系统的数据库，数据结构服务器，Redis是key-value存储的，
小啊小狼·2023-04-03 23:44

Hadoop架构

Hadoop1.xhadoop1.x:由hdfs(分布式文件存储系统)与MapReduce(分布式计算框架)组成HDFS节点:1.namenode(主节点)负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据
奋斗哼哼·2023-04-03 21:42

Hadoop架构和原理

HDFSDistributedFileSystem(HDFS)是Hadoop分布式文件存储系统。不同于其他分布式文件存储系统，HDFS包含高度容错机制（数据副本机制），并且设计初衷是
松myth·2023-04-03 20:26

基于储能进行调峰和频率调节研究【超线性增益的联合优化】（Matlab代码实现）

本文目录如下：目录1概述2运行结果2.1文献结果2.2复现结果3参考文献4Matlab代码、数据、文章讲解1概述文献来源：摘要-我们考虑通过联合优化框架同时使用电池存储系统进行调峰和频率调节，该框架捕获电池退化
我爱Matlab编程·2023-04-03 20:12

基于储能进行调峰和频率调节研究（Matlab代码实现）

本文目录如下：目录1概述2运行结果2.1文献结果2.2复现结果3参考文献4Matlab代码、数据、文章讲解1概述文献来源：摘要-我们考虑通过联合优化框架同时使用电池存储系统进行调峰和频率调节，该框架捕获电池退化
然哥依旧·2023-04-03 20:10

FoundationDB ：一个支持分布式、事务、架构解藕的 k/v存储系统

文章目录0前言1架构设计1.1设计原则1.2系统接口1.3架构1.3.1ControlPlane1.3.2DataPlane1.3.3Read-WriteSeparation1.3.4配置变更和选举流程1.4事务管理1.4.1端到端的事务处理流程1.4.2事务冲突检测1.4.3日志协议1.4.4事务系统的Recovery2.模拟测试框架3.性能4总结0前言FoundationDB是苹果公司从200
z_stand·2023-04-03 20:16

ElasticSearch让人叹为观止的分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
xhmj12·2023-04-03 19:22

哪些因素影响数据存储系统的IOPS性能？

IOPS(Input/OutputOperationsPerSecond)故名思意就是数据存储系统每秒能完成的I/O读写次数，即单位时间内系统能处理的I/O请求数量，是一个用于计算机数据存储性能测试的量测指标
Linux小百科·2023-04-03 16:41

证券企业高端全闪存储产品测试经验分享

【摘要】本文主要就证券公司核心系统存储采购选型中针对华为OceanStorDorado18000系列高端全闪存储的POC评测分析进行讲解和经验分享。
米朵儿技术屋·2023-04-03 16:38

Games104现代游戏引擎入门-lecture19 网络游戏的进阶架构

插值1内插值2外插值3Hitregistration1问题如下：2由客户端来决定3由服务器来决定4MMOGNETWork架构1子系统2MMO架构1Linklayer2交易系统3社交系统4匹配系统5数据存储系统
longerVR·2023-04-03 16:12
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他