集群存储

极客天成签署 CCLA，携手openEuler社区共拓信创AI新天地

极客天成以高通量分布式集群存储为先锋，围绕软件定义、智能化、安全可靠，全链RDMA构建了完全自主可控的分布式存储产品线和解决方案，主要解决用户海量数据下的高性能低时延数据读写难题，可为用户的数据中心提供

极客天成ScaleFlash·2024-08-31 14:32

云计算基础-存储虚拟化（深信服aSAN分布式存储）

什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS、ISCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间

比特微联·2024-02-19 13:19

HDFS 之数据管理(namespace 和 slaves)

使HDFS集群存储能力可以轻松进行水平拓展；系统性能。单点性能受限，影响系统吞吐；隔离性。不同业务类型访问集群有时容易互相干扰，使用多Namespace可以有效管理访问分类。

Studying！！！·2024-02-07 17:57

HDFS DataNode高密度存储机型的探索尝试

这里就涉及到了数据存储能力的问题，需要存储的数据越多，其实意味着我们需要更多的机器来扩增HDFS集群存储的总capacity。但是机器数量的变多另外一方面带来的则是机器费用成本的巨大开销。

Android路上的人·2024-02-05 16:05

k8s中使用rook-ceph的扩缩容问题

ceph中osd迁移ceph集群中通过osd数据迁移实现集群存储扩缩容及故障排除1.1先关闭osd服务#编辑osd的deploy，副本数变为0kubectl-nrook-cepheditdeployrook-ceph-osd

代码人生520·2024-02-03 09:29

Docker进阶篇-reids集群

一、集群存储算法分布式存储的常见算法：哈希取余分区一致性哈希算法分区哈希槽分区1、哈希取余分区描述：每次读写操作都是根据公式：Hash(key)%N（其中，key是要存入Redis的键名，N是Redis

陪我养猪吧·2024-01-31 07:53

视频监控系统在铁路行业中的应用

目录铁路视频监控的概述11.1满足服务经济社会建设发展的需求11.2增强刑事犯罪斗争力的需求1铁路视频监控关键技术分析22.1IP组播传输技术22.2MPEG-4编码技术22.3集群存储技术3铁路视频监控系统的规划

翟香一梦·2024-01-28 07:14

搭建redis服务器

memcachedMongoDBRedis先把数据存储在内存里,如何定期把内存里数据存储在硬盘,一个Key一个Valuesredis集群存储数据在内存里面mysql集群存储数据在硬盘里netstat-utnlp

CN_HW·2024-01-25 11:11

web项目超时方案

1.场景描述平台使用的Greenplum（内核是postgresql8.2）集群存储大数据量数据（每天一个表大概3亿），因为数据量比较大，所以在使用上有些限制，一是操作限制；二是不限制，但是到一定时间执行不出来结果就要取消掉该查询

软件老王·2024-01-06 19:20

K8s -- DaemonSet

下面是一些典型的DaemonSet的使用场景：在每台节点上运行一个集群存储服务，例如运行glusterd，ceph。在每台节点上运行一个日志收集服务

沉沦2014·2024-01-04 22:45

【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比

之前的工作经历中的大数据集群存储都是用HDFS，当前工作接触到对象存储S3，在实践中比较两者的不同之处。1）可扩展性HDFS依赖本地的存储只能横向扩展，增

bmyyyyyy·2024-01-04 07:25

k8s集群etcd备份与恢复

一、前言k8s集群使用etcd集群存储数据，如果etcd集群崩溃了，k8s集群的数据就会全部丢失，所以需要日常进行etcd集群数据的备份，预防etcd集群崩溃后可以使用数据备份进行恢复，也可用于重建k8s

Apex Predator·2023-12-28 19:06

INFINI Labs 产品更新 | Easysearch 新增快照搜索功能，Console 支持 OpenSearch 存储

本次各产品更新了Easysearch快照搜索功能；Console支持OpenSearch集群存储系统数据、优化了初始化安装向导流程等。以下是本次更新的详细说明。

INFINI Labs·2023-12-24 11:38

docker学习（九、分布式存储亿级数据知识）

先出理论，后出实践docker操作docker搭建Redis集群相关知识：docker学习（九、分布式存储亿级数据知识）docker学习（十、搭建redis集群，三主三从）docker学习（十一、Redis集群存储数据方式

陈年小趴菜·2023-12-23 14:45

docker学习（十、搭建redis集群，三主三从）

从划分主从查看状态查看节点信息docker搭建Redis集群相关知识：docker学习（九、分布式存储亿级数据知识）docker学习（十、搭建redis集群，三主三从）docker学习（十一、Redis集群存储数据方式

陈年小趴菜·2023-12-23 14:45

docker学习（十二、Redis主从容错迁移）

数据获取测试恢复挂的主节点，主从关系变化二、小思考docker搭建Redis集群相关知识：docker学习（九、分布式存储亿级数据知识）docker学习（十、搭建redis集群，三主三从）docker学习（十一、Redis集群存储数据方式

陈年小趴菜·2023-12-23 14:15

docker学习（十一、Redis集群存储数据方式）

redis存储数据二、查看集群信息docker搭建Redis集群相关知识：docker学习（九、分布式存储亿级数据知识）docker学习（十、搭建redis集群，三主三从）docker学习（十一、Redis集群存储数据方式

陈年小趴菜·2023-12-23 14:40

常见面试题-Redis 切片集群以及主节点选举机制

提升Redis读写性能，之前的主从模式中，只有1个master可以进行写操作，在切片集群中，多个master承担写操作压力多个主从集群进行存储数据，比单个主从集群存储数据更多比如10G数据，1个主从集群的话

无敌少年小旋风·2023-11-29 13:46

Docker swarm 集群

Swarm默认内置有加密的分布式集群存储（encrypteddistributedclusterstore）、加密网络（En

我就是我，不一样的烟火·2023-11-25 21:13

Spring Boot2.0+Oauth2.3.3+spring-data-redis+lettuce整合史上最全，Token的redis集群存储

文章目录token集群存储遇到的坑Lettuce和jedis的区别和练习引入Lettuce引入Lettuce,并配置Template设计template工具类报错:NoSuchMethod，redis.connection.RedisConnection.set

Java技术堆·2023-11-12 04:52

GPDB43 Administrator Guide--第五章高可用

主要措施有：硬件RAID保护数据segment镜像master镜像双集群（dualcluster）可以通过维护两个Greenplum数据库集群存储相同数据来提供另一种冗余级别。

cuiyu3003·2023-10-16 16:45

Docker Swarm

Swarm默认内置有加密的分布式集群存储、加密网络、公用TLS、安全集群接入令牌以及一套简化数字证书管理的PKI，用户可以自如地添加或删除节点。

马宁宁118·2023-10-10 22:38

kafka运行机制

2.基本概念1.kafka作为集群运行在一个或者多个服务器上2.kafka集群存储的消息是以topic为类别记录的3.kafka存储的消息是k-v键值对，k是offset偏移量，v就

qq_43519025·2023-10-09 16:47

k8s集群-6（daemonset job cronjob控制器）

在每个节点上运行集群存储DaemonSet，在每个节点上运行日志收集DaemonSet，例如f

小米小可爱·2023-10-05 11:12

Redis Cluster集群原理+实战

+哨兵的搭建，架构如下图所示这种集群模式下水平扩容和垂直扩容都可以实现，并且可以实现高可用性和易用性水平扩容：比如增加一套主从集群，在predixy代理处配置hash寻址，让部分数据可以被新加入的主从集群存储

代码狂魔v·2023-10-04 04:55

SpringCloud（一）Eureka、Nacos、Feign、Gateway

Eureka服务远程调用服务提供者和消费者Eureka注册中心搭建注册中心服务注册服务发现Ribbon负载均衡负载均衡策略饥饿加载NacosNacos与Eureka对比Nacos服务注册Nacos服务分集群存储

椛丿未眠”·2023-10-03 10:37

redis高级

你可以不用mysql，但不能不要redis阅读完本文要搞懂的东西使用场景数据类型在这里一次罗列所有知识点分布式缓存单节点redis存在的的问题redis是基于内存的，难以满足海量数据存取需求（主从集群）（分片集群存储到不同服务器

pengzn·2023-09-21 06:30

Prometheus远程存储方案

Prometheus本身不提供集群存储能力，可以复用其他时序库方案。时序库挺多的，如果挨个儿去对接比较费劲，于是Prometheus建立了统一的RemoteRead、RemoteWrite接口协议，

seasidezhb·2023-09-16 12:19

部署Redis集群

**测试集群及集群工作原理**4.1.访问集群存取数据4.2**在客户端连接集群中的主机**4.3**集群存储数据的工作原理**4.4测试数据自动备份**4.5**测试高可

朱帅杰·2023-09-07 18:26

分布式数据存储系统：三要素

随着数据量和访问量的增加，单机性能已经不能满足用户需求，分布式集群存储成为一种常用方式。把数据分布在多台存储节

海陆云·2023-08-19 19:49

Linux6.38 Kubernetes 集群存储

文章目录计算机系统5G云计算第三章LINUXKubernetes集群存储一、emptyDir存储卷2.hostPath存储卷3.nfs共享存储卷4.PVC和PV计算机系统5G云计算第三章LINUXKubernetes

wfwj_·2023-08-17 03:26

《Hadoop权威指南》学习笔记（4）——关于YARN

YARN运行在集群存储层（HDFS和HBase）上，一些分布式计算框架（如MapReduce和Spark等）作为YARN应用运行在集群计算层（YARN）和集群存储层上。

啜晓伟·2023-08-05 13:08

k8s集群存储解决方案 GlusterFS

k8s集群存储解决方案GlusterFS一、存储解决方案介绍1.1GlusterFS1.2Heketi二、环境说明2.1k8s集群2.2GlusterFS集群三、GlusterFS集群部署3.1主机准备

123坤·2023-08-02 06:17

Redis集群（cluster模式）搭建

5、集群搭建：1、什么是集群Redis集群（包括很多小集群）实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N，即一个小集群存储1/N

天空中那座城·2023-07-27 20:44

【AntDB数据库】AntDB数据库核心功能（一）

核心功能水平扩展传统的分布式集群存储扩容方案中，需要进行数据迁移，而数据迁移时是禁止对数据进行操作。数据量大的时候，迁移时间就会比较长，这样就影响了数据库的可用性。

亚信安慧AntDB数据库·2023-06-20 13:38

K8S的DaemonSet控制器

删除DaemonSet将会删除它创建的所有pod使用DaemonSet的一些典型用法：运行集群存储daemon,例如在每个node上运行glusterd、ceph。

小鱼儿&·2023-06-18 20:35

Linux中使用redis（四）Redis集群（cluster模式）

集群（cluster模式）1、什么是集群Redis集群（包括很多小集群）实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N，即一个小集群存储

半截的诗--·2023-06-17 02:38

AntDB存储技术——水平动态扩展技术

传统的分布式集群存储扩容方案中，数据迁移时，禁止对数据进行访问，而数据迁移时间较长，从而影响了可用性。AntDB提供的hotexpasion扩容方案中，

亚信安慧AntDB数据库·2023-06-14 04:05

高可用架构（下）

一.数据存储方式在我们用集群存储数据的时候，有多种的存储方式，有时候会把数据存在一个节点上，有时候又会把数据分散存储。如Redis集群，将数据存储在不同的节

编号94530·2023-04-15 23:57

Docker学习(14) 使用Docker Stack部署应用(下)

需要部署前置环境：swarm模式：应用将采用DockerStack部署，stack依赖swarm模式标签：某个swarmworker节点需要自定义标签密钥：应用所需要的密钥需要在部署之前完成搭建应用试验环境分布式集群存储

August________·2023-04-14 22:31

KAFKA思维导图集合

kafka入门最详细教程kafka脑图kafkakafkacustomerkafkakakfa架构图kafka结构图2kafka集群存储逻辑Kafka原理与实现kafkaProducer架构Kafka权威指南

damonfly·2023-04-13 09:37

Elasticsearch性能优化实战案例(一)

网络设备及安全漏洞的原始数据存储在MySQL里面，用于分析的数据被抽取并存储在了ES中，如下图：问题在2015年，Kenna的ES中集群存储了5亿个documents，其中有每天参与计算处理的document

beipiao·2023-04-08 03:24

k8s中emptydir、hostpath、localvolume的区别

目前主流的两个容器集群存储解决方案是ceph和glusterfs，二者都是典型的网络

唐僧爱程序·2023-04-04 03:47

基于 ElasticSearch (ES)集群架构在舆情系统中的实践

思通舆情在线生产环境使用了24个节点的Elasticsearch集群存储，每天在互联网上采集的2亿多条数据，每个月下来抓取的数据量2TB左右。

思通数科x·2023-03-31 06:53

ES集群存储扩容及在线调整配置

环境信息ELK日志系统，运行在K8S集群中，存储使用StorageClass动态存储卷故障现象Kibana页面无法查询最新日志，但可以查看历史日志记录故障排查参考本文中ELK部署在集群default命名空间,如果部署在自定义命名空间，执行命令请替换default名称查看logstash组件日志,登录集群master节点，执行命令:kubectllogslogstash-0-ndefault可见不断

行者深蓝·2023-03-24 13:47

K3S 离线安装部署高可用集群

一、服务器环境及部署图操作系统CentOS7.6服务器类型,运行组件及配置如下10.2.2.102C/2GMySQL5.7容器方式运行,RancherUI(用于集群存储及提供ui界面)10.2.2.112C

枕梦_a280·2023-03-14 05:55

K8S—五种控制器及使用

用来控制Pod的具体状态和行为Deployment：适合无状态的服务部署StatefullSet：适合有状态的服务部署DaemonSet：一次部署，所有的node节点都会部署，例如一些典型的应用场景：运行集群存储

早川语·2023-02-21 19:54

Linux集群存储——day5——Ceph集群上部署Linux系统、Ceph文件系统、Ceph的对象存储系统

Ceph集群存储的应用红帽的Linux已经把Ceph集成到内核中了，可以直接把操作系统装在分布存储文件中。将虚拟机的Linux操作系统安装在Ceph集群中：0.如同Ceph集群进行初期环境部署。

Lu-Yu·2023-01-24 14:57

测序数据量那些事

上周同事问了我集群存储大小、测序数据量之间的关系，我只是回复集群存储大小记录的是计算机的存储单位，测序数据量是碱基的测序个数。

S_AGZX·2023-01-14 08:43

推荐频道