分布式存储集群服务第5页

ELK 企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

峡谷在逃戚风·2024-01-11 06:59

glusterFS

它将自动故障转移作为主要功能.分布式存储系统.集群式NAS存储.无集中式元数据服务,采用Hash算法定位.一致性哈希DHT.Hash值落在哪个范围内,数据就存储在哪里.弹性卷管理.自动做了raid.2.

MoonSoin·2024-01-11 04:42

【转载】万亿级数据洪峰下的分布式消息引擎

为了应对这些不可控的洪峰数据，中间件团队通过大量研究和实践，推出了低延迟高可用解决方案，在分布式存储领域具有一定的普适性。在此基

ongahong·2024-01-10 14:06

Redis面试题7

减少网络往返次数；解决单线程模型的方法有：使用多实例部署，提高并发量和吞吐量；使用线程池机制，在单线程的基础上并发地工作；解决内存限制的方法有：使用分片技术，将数据分散到不同的服务器上；使用Redis集群，通过分布式存储和

CrazyMax_zh·2024-01-10 09:19

Proxmox VE退出集群模式

有2台PVE集群，一台突然当机了，然后一时半会也弄不好，这时候操作虚拟机重启的话会导致联系不到集群服务器导致虚拟机起不来，快速解决方法就是将集群服务停止。

传说中的暗暗·2024-01-10 09:11

第28关 k8s监控实战之Prometheus(四)

作为K8s所有资源存储的关键服务ETCD，我们也有必要把它给监控起来，正好借这个机会，完整的演示一次利用Prometheus来监控非K8s集群服务的步骤在前面部署K8s集群的时候，我们是用二进制的方式部署的

博哥爱运维·2024-01-10 07:31

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce

WeeeicheN·2024-01-09 22:17

大数据开发：Hive基础知识点介绍

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。Hive的特点Hive最大的特

加米谷大数据张老师·2024-01-09 13:52

【Vsan数据恢复】异常关机导致Vsan分布式存储虚拟机组件异常的数据恢复案例

vsan分布式存储故障：一套vsan分布式存储架构有数台服务器节点，该vsan分布式存储架构配置了固态硬盘和机械硬盘，固态硬盘作为缓存盘使用，机械硬盘作为容量盘使用。

北亚数据恢复·2024-01-09 12:08

挑战存储“不可能之三角”：用自研技术引领存储性能突破

虽然分布式存储在大众认知内具有高性价比和高扩展性，却未被赋予高性能的标签。可以说，分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。

科技云报道·2024-01-09 08:22

大数据之PySpark的RDD介绍

一、RDD简介RDD称为弹性分布式数据集，是Spark中最基本的数据抽象，其为一个不可变、可分区、元素可并行计算的集合；RDD中的数据是分布式存储，可用于并行计算，同时，

敲键盘的杰克·2024-01-09 07:11

Spark Core------算子介绍

Resilient弹性：RDD的数据可以存储在内存或者磁盘当中，RDD的数据可以分区Distributed分布式：RDD的数据可以分布式存储，可以进行并行计算Dataset数据集：一个用于存放数据

小希 fighting·2024-01-09 07:01

grafana+prometheus+redis_exporter监控redis数据库性能

本文使用redis_exporter监控redis集群服务，并且使用prometheus收集数据，使用grafana展示数据。

小老弟你咋回事·2024-01-09 03:15

K8S-服务访问

1Ingress简介原理解析Ingress是授权入站连接到达集群服务的规则集合。

会飞的土拨鼠呀·2024-01-08 13:29

隐私保护在Web3.0中的重要性

敏感的用户数据可以从任何用户平台安全地共享到云端或分布式存储，并通过代理重加密或属性加密自动授予对该数据的访问。在这个过程中，有必要确保数据的可用性。

Aix17·2024-01-08 13:39

Spark Core基础知识

中最基本的数据抽象,代表一个不可变,可分区,里面的元素可并行计算的集合.Resilient弹性:RDD的数据可以存储在内存或者磁盘当中,RDD的数据可以分区Distributed分布式:RDD的数据可以分布式存储

MSJ3917·2024-01-08 07:52

了解Ceph 分布式存储

内容概括1、存储发展史随着OpenStack的快速发展，给Caph的发展注入了强心剂，越来越多的人使用Ceph作为OpenStack的底层共享存储，Ceph在中国的社区也蓬勃发展起来。近两年OpenStack火爆度不及当年，借助于云原生尤其是Kubernetes技术的发展，作为底层存储的基石，Ceph再次发力，为Kubernets有状态化业务提供了存储机制的实现。企业中使用存储按照其功能，使用场景

小老虎追玉兔·2024-01-08 04:24

K8S部署GitLab

文章目录一、概述二、持久化存储安装1.安装ebs2.查看ebs集群服务3.设置ebs为默认三、创建命名空间四、账号密码五、创建文件夹六、Postgresql部署1.持久化配置1.1文件创建1.2部署命令

寒山李白·2024-01-07 21:26

【Java处理百万级数据的高效方法了解】

1.2分布式存储考虑使用分布式数据库（如HBase、Cassandra）或存储系统（如HadoopDistri

無飞·2024-01-07 12:21

高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例

分布式存储：MinIO可以以分布式方式部署，通过纠删码（Erasu

小果运维·2024-01-07 12:18

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS

杀神lwz·2024-01-07 11:19

XSKY SDS 产品率先获得 OceanBase V4 新版本认证

据悉，这是首个基于OceanBaseV4认证的分布式存储产品联合解决方案。联合解决方案性能与成本兼得

XSKY星辰天合·2024-01-07 10:01

通用异构参数服务器技术

数据管理需要考虑数据的分布式存储

道亦无名·2024-01-07 02:32

分布式存储与传统存储对比分析

分布式存储的定义分布式存储系统，是将数据分散存储在多台独立的X86服务器上，通过通用的存储协议对外提供FC、ISCSI、RBD、NAS、S3等存储接口，每个存储服务器节点既能够进行数据存放和性能加速，也同时提供数据控制和存储接口对接

LD_ee65·2024-01-07 01:46

记一次RabbitMQ服务器异常断电之后，服务重启异常的处理过程

问题描述：机房突然停电，rabbitmq的主机异常断电，集群服务全部需要重启。

SRE成长记·2024-01-06 10:01

Ceph分布式存储

一.Ceph分布式存储1.Ceph概念（1）Ceph是一种开源的分布式存储系统，2006年出现，是私有云事实上的标准-OpenStack的默认存储后端。用于在整个集群中存储海量数据。

z怀夕·2024-01-06 08:46

BigData~05：HBase

https://www.cnblogs.com/ityouknow/p/7344001.html一、简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer

帅可儿妞·2024-01-06 07:29

Alluxio中国行（一）开源分布式存储系统Alluxio的历史、现状和未来

七月底八月初在南京、上海和北京三地，Alluxio项目创立者李浩源以及部分核心开发者举办了一系列Meetup活动。活动现场介绍了Alluxio项目的新增功能，Alluxio生态系统展望，以及探讨了Alluxio在未来的发展路线。同时还分享了Alluxio在百度、去哪儿网的实践案例，与广大开发者及用户积极交流，碰撞思想。Alluxio，前称Tachyon，源自UCBerkeleyAMPLab，是一个

言则yanze·2024-01-05 22:43

.NetCore部署微服务（一）

目录前言什么是微服务微服务的优势微服务的原则创建项目在Docker中运行服务客户端调用简单的集群服务前言写这篇文章旨在用最简单的代码阐述一下微服务什么是微服务微服务描述了从单独可部署的服务构建分布式应用程序的体系结构流程

菜鸟进阶成大神·2024-01-05 13:03

分布式存储题库

分布式存储题库分布式存储系统要求实现的特性有哪些？答：低成本、高性能、可扩展、易用。分布式存储系统设计的技术性挑战包括那些。答：数据分布、一致性、容错、负载均衡、并发控制、易用性、压缩/解压缩。

@Yauo·2024-01-04 19:18

区块链的一股清流-Ulord

Ulord的特色Ulord是一条价值公链，利用分布式存储、共识机制、多侧链技术、智能合约、加密技术等打造了一个数字资源交互平台，为开发者提供了友好的API接口、完整的p2p数据服务、更多的智能模块，开发者可以在

回南少年·2024-01-04 15:30

区块链端对端交易性能分析

区块链端到端交易性能分析区块链从微观上来说就是一个不可篡改的可溯源系统，从宏观上来说具有三个特点:共识机制(这个被很多人所研究，包括改进，例如POW、POS、BPFT等等)、分布式存储(每个节点对于链信息的存储

Beta_King·2024-01-04 13:09

区块链媒体宣发：连接未来的数字传播纽带-大舍传媒

区块链媒体宣发通过智能合约和分布式存储等特性，为信息传播打开了全新的局面。区块链媒体宣发：数字时代的新引擎区块链媒体宣发在信息传播

大舍传媒·2024-01-04 12:38

HBase基本概念与基本使用

1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。

Yobhel·2024-01-04 08:28

电商数仓可视化1--数据导入

：用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求，一般以日志形式存储于日志文件中，随后通过采集落地分布式存储介质中如

bigdata从入门到放弃·2024-01-03 18:53

大数据StarRocks(一) StarRocks概述

1StarRocks介绍StarRocks是新一代极速全场景MPP(MassivelyParallelProcessing)数据库，它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果

运维仙人·2024-01-03 06:24

大数据要学习什么知识？大数据学习的内容有哪些？

（资料在尾部）大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库

Java程序员YY·2024-01-03 00:19

Python的发展趋势

你可能在之前听说过很多编程语言，比如难学的C语言（语法和实现难度），非常流行的JAVA语言（尤其是现在分布式存储和服务），非常有争议的PHP（常见WordPress大多网站），前端HTML、JavaScripts

会python的小孩·2024-01-03 00:01

Hbase介绍以及Hive优势

因为HBase基于Hadoop的HDFS完成分布式存储，以及MapReduce完成分布式并行计算，所以它的一些特点与Hadoop相同，依靠横向扩展，通过不断增加性价比高的商业服务器来增加计算和存储能力。

毛毛虫同学·2024-01-02 14:38

【ceph】Ceph之PG状态详解--研读笔记

原文：分布式存储Ceph之PG状态详解-简书Ceph中一些PG相关的状态说明和基本概念说明、故障模拟_pansaky的博客-CSDN博客1.PG介绍继上次分享的《Ceph介绍及原理架构分享》，这次主要来分享

bandaoyu·2024-01-02 06:31

【2023】hadoop基础介绍

分布式计算YARN：资源管控调度YARN架构提交任务到**YARN中运行**Hadoop组成hadoop安装教程可以看我这篇文章===>hadoop通过docker安装HDFS组件：是Hadoop内的分布式存储组件

方渐鸿·2024-01-02 03:26

云宏大讲坛 | Ceph分布式存储高性能设计

随着数据量的不断增长，如何以高效的方式存储数据量成为IT界的一个挑战。许多传统存储解决方案不能满足日益增长的需求，业界迫切需要一种新的方法来管理现今的数据，为用户控制访问时间，缩减管理成本。软件定义的存储解决方案是存储大量数据的一个新兴方案。当代网络，云计算、大数据技术的应用使得数据呈指数增长，每天增长达百万兆背景字节的数据量是常见的情况。我们迫切需要一种更有效的解决方案，如可伸缩扩展的软件定义存

chennbwin·2024-01-02 01:48

docker小白第九天

单机存储是不可能的，需要分布式存储，如果使用redis又该如何部署。哈希取余分区优点：简单粗暴，直接有效，只需要预估好数据，规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。

疯子的梦想＠·2024-01-01 16:36

如何通过UMC配置外围组件

对于企业而言，已建立的内部集成并不能支撑其快速搭建开发环境、快速部署集群服务，并且动态水平扩展对多组织情况许可费用高昂、没有敏捷快速迭代机制，导致开发完毕就落伍，以及不能快速进行产品扩展等现象，解决这一问题的根本方法就是引入

数通畅联·2024-01-01 11:01

【hcie-cloud】【15】华为云Stack应急预案

文章目录前言应急预案介绍应急预案诉求用户挑战业务上云阻碍大应急保障缺乏规范应急时效性难以保障运维体系存在盲点应急预案的必要性应急预案故障场景总览基础云服务应用平台数据库大数据平台AI服务应急预案故障场景介绍故障场景案例(1)故障场景案例(2)IaaS层应急预案计算节点故障应急预案批量虚拟机无法访问应急方案计算域平台故障场景应急预案存储故障场景介绍分布式存储

҉人间无事人·2024-01-01 11:57

PacificA 论文笔记（一）

然而实现一个实际项目中的分布式存储系统不仅仅是应用一个已知的复制协议。理论上的复制协议和实际应用的复制机制还是有很大的不同的。

余小言·2023-12-31 18:51

Kubernetes集群部署Rook Ceph实现文件存储，对象存储，块存储

Ceph是一个高度可扩展的分布式存储系统，提供了对象存储、块存储和文件系统的功能，广泛应用于提供大规模存储解决方案。

大風起雲飛揚·2023-12-31 17:08

ZStack Cube超融合一体机助力电子支付企业升级改造

电子支付服务企业实壹信息通过ZStackCube超融合一体机为业务生产环境构建新一代云基础设施，结合V2V迁移模块实现ZStack社区版云平台应用迁移到全新的云基础设施ZStackCube超融合一体机上，同时共享分布式存储和外接

ZStack云计算·2023-12-31 16:40

如何保障企业信息安全管理

我们YottaChain企业云盘打造核心技术区块链分布式存储在文件存储过程中全程加密，之后会通过互联网发送到YottaChain区块链存储的某个节点，超级节点接收到加密后的数据，全程传输的为加密数据，因为去中心化存储的每个节点都是不可信任的

lqyanna·2023-12-31 04:28

推荐频道

分布式存储集群服务