分布式存储集群服务第7页

新一代云上基础技术和架构分论坛

新一代飞天系统，使用神龙计算平台，盘古分布式存储平台，洛神网络平台为内核，承载着阿里云基础产品和云原生产品，支撑起阿里云高性能，高稳定性，高安全性的云上环境。

数据库小组·2023-12-19 23:24

千万级PV/IP规模高性能高并发网站架构

如果把来访用户比作来犯的”敌人”，我们一定要把他们挡在800里地以外，即不能让他们的请求一下打到我们的指挥部（指挥部就是数据库及分布式存储）。如：能缓存在用户电脑本地的，就不要让他去访问CDN。

Success85·2023-12-19 18:28

从零开始了解大数据(二)：Hadoop篇

目录前言一、Hadoop集群整体概述1.HDFS集群（分布式存储）：(1)HDFS集群角色构成：(2)HDFS集群功能：2.YARN集群（资源管理、调度）：(1)YARN集群角色构成：(2)YARN集群功能

橘子-青衫·2023-12-19 13:23

从零开始了解大数据(三)：HDFS分布式文件系统篇

目录前言一、HDFS分布式文件系统基础1.数据与元数据2.分布式存储系统的核心属性3.HDFS的设计目标4.HDFS的重要特性二、HDFSShell操作1.HDFSShell命令行简介2.HDFSShell

橘子-青衫·2023-12-19 13:23

Spark简介

1.Spark基本概念Spark是一种基于内存计算的大数据并行计算框架，最早是由加州大学伯克利分校开发，现已经成为Apche顶级开源项目，其作为MapReduce的替代方案，兼容HDFS、Hive等分布式存储层

Mrsimple_4f84·2023-12-19 09:18

【ES】--Elasticsearch的索引别名和主副分片

二、ES的分片分片作用：(1)、更好的分布式存储、扩展。(2)、

DreamBoy_W.W.Y·2023-12-18 23:43

Flink系列之：大状态与 Checkpoint 调优

Checkpoints三、Checkpoint调优四、RocksDB调优五、增量Checkpoint六、RocksDB或JVM堆中的计时器七、RocksDB内存调优八、容量规划九、压缩十、Task本地恢复十一、主要（分布式存储

最笨的羊羊·2023-12-18 23:27

破局创新，天翼云HBlock如何以小见大、以柔克刚？

如此举措，表明了天翼云欲在分布式存储领域“破局”。天翼云显然不会走传统企业级存储厂商那样的

阿明观察·2023-12-18 19:38

挺进云存储，天翼云全新一代XSSD勇立潮头

引言：自研高性能分布式存储引擎LAVA，实现云硬盘持续创新获得新突。

阿明观察·2023-12-18 19:37

一文看懂分布式存储 Ceph 架构原理

1.什么是Ceph？首先，我们从Ceph的官方网站上，可以看到：“Cephisaunified,distributedstoragesystemdesignedforexcellentperformance,reliabilityandscalability.”从它的定义上我们可以明确它是一种存储系统，而且可以明确它所具备的两点特性：（1）统一性（unified）：意味着可以同时提供对象存储、块存

Chengz77_·2023-12-18 15:45

Ceph存储

raid：独立磁盘阵列性能raid0条带卷性能最高的，没有冗余，不具备容错功能raid1100%容错raid5最少三块性能不如raid0容错不如raid1raid0+raid1性能+容错raid时代-->分布式存储

叫我家驹范·2023-12-18 15:15

Ceph分布式存储原理+架构图详解

存储基础单机存储设备●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进行网络

Yuzhang2046·2023-12-18 15:14

搭建Hadoop集群之环境配置系列-配置静态ip

要想使用这个Hadoop进行应用开发，那么首先就应该配好环境，安装啥的不说了，因为我觉得这个配置静态ip有点麻烦，也最容易出问题，所以下面我将和你谈谈如何为你的hadoop集群服务器配置静态ip：为什么要配置静态

pSomng·2023-12-18 09:15

spring cloud集成seata分布式事务(eureka注册中心)

梦想实现家_Z·2023-12-18 07:14

分布式块存储 ZBS 的自主研发之旅｜元数据管理

SmartX分布式存储ZBS采用LogReplication的机制，在元数据存储方案上选择将LevelDB和Zookeeper相结合，从而以更加精简的架构实现了高可靠、高性能与轻量级的元数据服务。

志凌海纳SmartX·2023-12-17 23:29

【Kafka基本原理】

文章目录一、Kafka介绍1、MQ的作用2、为什么要用Kafka三、理解Kakfa的消息传递机制四、Kafka集群服务五、理解服务端的Topic、Partition和Broker六、Kafka集群的整体结构一

向前再向前·2023-12-17 22:28

KVM+GFS分布式存储系统构建KVM高可用

一、安装部署KVM虚拟化平台1、安装KVM虚拟化平台yum-yinstallqemu-kvmqemu-kvm-toolsvirt-installqemu-imgbridge-utilslibvirtvirt-manager2、验证cat/proc/cpuinfo|grepvmxlsmod|grepkvm3、开启libvirtd服务systemctlstartlibvirtd&&systemctle

叮咚网工·2023-12-17 10:28

HDFS介绍+Shell操作

看黑马网课记录第二章-wwww操]使用命令操作HDFS文件系统_哔哩哔哩_bilibiliHDFS1.什么是HDFShadoop三大组件之一，负责海量数据的分布式存储2.HDFS架构角色：主节点（领导）

Y蓝田大海·2023-12-17 10:14

服务器新加磁盘进行挂载

Ambair增加hdfs的空间大小可以增加多个目录每台集群服务器都要操作1、查看磁盘列表命令：fdisk-l或者lsblk2、格式化新加的磁盘/dev/vdb命令：mkfs-text4/dev/vdb3

lz_matlab·2023-12-17 09:38

【elasticsearch】23、分片与集群的故障转移

primaryshard-提升系统的存储容量分片是elasticsearch分布式存储的基石主分片/副本分片通过主分片，将数据分布在所有的节点上primaryshard，可以将一份索引的数据，分散在多个

cutieagain·2023-12-17 07:47

Hadoop，Hive和Spark大数据框架的联系和区别

Hadoop主要包括两个方面，分别是分布式存储框架（HDFS）和分布式计算框架（Mapreduce）。1.1HDFS分布式存储HDFS全称为hadoopdistributedfilesystem。

Weiyaner·2023-12-17 06:00

大数据生态中‘Hadoop’、‘Hive’、‘Spark’、‘Mapreduce’、‘HDFS’、‘Yarn’是什么关系

Hadoop生态中HDFS：处理存储，管理信息的分布式存储、提供接口，让用户感觉集群中的信息

小书生啊·2023-12-17 06:29

【理论研究】漫谈云计算IT基础设施05-超融合技术

你说它是分布式存储，但是它同时又是硬件服务器与存储；你说它算硬件，但是它又离不开分布式存储软件。传统的IT基础设施架构，主要分为网络、计算、存储三层架构。

工程师Waiting·2023-12-16 17:06

云原生之深入解析Kubernetes本地持久化存储方案OpenEBS LocalPV的最佳实践

一、K8s本地存储K8s支持多达20+种类型的持久化存储，如常见的CephFS、Glusterfs等，不过这些大都是分布式存储，随着社区的发展，越来越多的用户期望将K8s集群中工作节点上挂载的数据盘利用起来

╰つ栺尖篴夢ゞ·2023-12-16 15:38

ElasticSearch与HBase的分布式存储设计

本文内容覆盖如今两大非结构化数据库之间的区别详情介绍从各个角度详细对比1.官方定位HBase是Hadoop数据库，是一个分布式、可扩展的大数据存储。当您需要对大数据进行随机、实时的读/写访问时，请使用ApacheHBase™。这个项目的目标是在商用硬件集群上托管非常大的表——数十亿行X数百万列。ApacheHBase是一个开源的、分布式的、版本化的、非关系型的数据库，以Chang等人的Google

不学会Ⅳ·2023-12-16 09:32

分布式存储的架构、隐患及解决方法

分布式存储的架构、隐患及解决方法Raid和副本把磁盘们相同偏移量的一块空间横向进行分割，组成一条逻辑上存储空间。数据是先写满一条条带，再写下一条条带。一个卷可以有很多条条带组成。

程序员老舅·2023-12-16 04:05

浅谈对微服务的理解

学习期间看过的内容有微服务设计云原生分布式存储基石：etcd深入解析Docker技术入门与实战每天5分钟玩转Kubernetes左耳听风从0开始学微服务出现原因微服务为什么会出现？

程序员麻辣烫·2023-12-15 23:43

AI：ElasticSearch

ElasticSearch使用Java编写，可以运行在多个服务器上，实现海量数据的处理和分布式存储。

AnyaPapa·2023-12-15 22:18

图解Paxos

一.简要介绍在《聊聊分布式存储——问题与矛盾》中已经提到，在对一个分布式系统进行架构设计时，往往会在可用性和一致性之间反复权衡。为了解决分布式一致性问题，产生了一系列一致性协议和算法。

join_a922·2023-12-15 21:52

Kubernetes入门笔记——（2）k8s设计文档

k8s最初源自谷歌的Brog项目，架构与其类似，主要包括etcd、apiserver、controllermanager、scheduler、kubelet和kube-proxy等组件etcd：分布式存储

冷雨夜中漫步·2023-12-15 17:21

【基础知识】Hadoop生态系统

关键词——容灾主从结构、多副本主要特点分布式存储-Hadoop采用HDFS文件系统,可以将大数据分布式存储在集群中的多台服务器上。

偏振万花筒·2023-12-15 12:40

3-分布式存储之Ceph

任务背景虽然使用了分布式的glusterfs存储,但是对于爆炸式的数据增长仍然感觉力不从心。对于大数据与云计算等技术的成熟,存储也需要跟上步伐.所以这次我们选用对象存储.任务要求1,搭建ceph集群2,实现对象存储的应用任务拆解1,了解ceph2,搭建ceph集群3,了解rados原生数据存取4,实现ceph文件存储5,实现ceph块存储6,实现ceph对象存储学习目标能够成功部署ceph集群能够

师范大学通信大怨总·2023-12-15 07:25

初识Ceph --组件、存储类型、存储原理

目录ceph组件存储类型块存储文件存储对象存储存储过程cephCeph（分布式存储系统）是一个开源的分布式存储系统，设计用于提供高性能、高可靠性和可扩展性的存储服务，可以避免单点故障，支持块存储、对象存储以及文件系统存储应用

C000kie·2023-12-15 07:52

Ceph入门到精通-ceph二次开发开源协议考虑

Ceph是一个开源的分布式存储系统，它由多个组件组成，包括分布式对象存储（RADOS）、分布式块存储（RBD）和分布式文件系统（CephFS）等。

瓦哥架构实战·2023-12-15 07:40

自下而上-存储全栈（TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4）存储技术专家成长路线

存储技术专家成长路线技术点主要运用在存储库架构设计、企业级存储系统、分布式存储系统、云存储系统、分布式数据库、高性能存储引擎、文件系统等领域。

攻城狮百里·2023-12-15 07:09

2.CENTOS安装CDH和Kudu-1

Cloudera企业级数据中心的安装主要分为4个步骤：集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；外部数据库安装安装Cloudera管理器；安装CDH集群；集群完整性检查，包括HDFS

大勇任卷舒·2023-12-15 01:40

云计算在数据处理中的应用

在数据处理方面，云计算提供了大规模并行处理和分布式存储的能力，

a谷雨c·2023-12-14 13:15

第19关 5.2k star 开源分布式存储服务Rancher-Longhorn在k8s上部署

------>课程视频同步分享在今日头条和B站大家好，我是博哥爱运维。什么是LonghornLonghorn是一个轻量级、可靠且易于使用的Kubernetes分布式块存储系统。Longhorn是免费的开源软件。它最初由RancherLabs开发，现在作为云原生计算基金会的孵化项目进行开发。官方文档：https://longhorn.io/docs/1.5.3/使用Longhorn，您可以：使用Lo

博哥爱运维·2023-12-14 13:25

【云原生kubernets】Ingress 功能与应用

NotePort和LoadBalancer，但是这两种方式，都有一定的缺点：（1）NodePort方式的缺点是每创建一个服务，都需要暴露出一个供外部访问的主机端口，就导致会占用很多集群机器的端口，那么当集群服务变多的时候

一只CV程序猿·2023-12-14 12:29

【VSAN数据恢复】节点raid硬盘离线导致vsan分布式存储不可用的数据恢复案例

服务器重启之后另一组磁盘阵列中有2块硬盘出现故障离线，导致整个vsan分布式存储不可用，上层所有虚拟机

北亚数据恢复·2023-12-06 16:19

以太坊源码（3）——节点发现协议，KAD协议

ethereum协议3、P2P节点发现（1）分布式哈希表（DHT）DHT全称叫分布式哈希表(DistributedHashTable)，是一种分布式存储方法。

Jarvist·2023-12-06 10:15

Longhorn 云原生容器分布式存储 - 故障排除指南

Longhorn云原生容器分布式存储-设计架构和概念Longhorn云原生容器分布式存储-部署篇Longhorn云原生容器分布式存储-券和节点Longhorn云原生容器分布式存储-K8S资源配置示例Longhorn

为为少·2023-12-06 08:39

Redis服务器安装配置

Redis支持多种数据类型，包括字符串、哈希、列表、集合和有序集合，并且支持分布式存储和操作。Redis的特点包括快速、高可用和易扩展等，适用于各种应用场景。

weixin_43075093·2023-12-06 07:55

SpringBoot+MinIO实现minio部署和使用

是一个小而美的开源分布式存储软件。特点简单、可靠：Minio采用简单可靠的集群方案，摒弃复杂的大规模的集群调度管理，减少风险与性能瓶颈，聚焦产品的核心功能，打造高可用的集群、灵活

程序小增·2023-12-06 04:34

深入学习Redis：集群

一、集群的作用集群，即RedisCluster，是Redis3.0开始引入的分布式存储方案。集群由多个节点(No

殷十娘·2023-12-05 13:43

Kubernetes(K8s) Ingress介绍-08

介绍在前面课程中已经提到，Service对集群之外暴露服务的主要方式有两种：NotePort和LoadBalancer，但是这两种方式，都有一定的缺点：NodePort方式的缺点是会占用很多集群机器的端口，那么当集群服务变多的时候

渣渣龙_拽得很·2023-12-05 08:18

区块链分布式存储数据十大趋势

进入2018年以来，全球区块链似乎进入一个白热化的发展环境，各国持续不断出台或更新相关监管政策，在该洪流下的币所、初创企业、区块链媒体等各机构使劲“蹦跶”。趋势一：区块链技术不断迭代更新，正向大融合方向发展。据何宝宏表示，核心技术的组建，大概出现两方面的东西：一是存储方面，由单一键值数据库向融合IPFS、关系型数据库、分布式数据库等方向发展。从单一的共识机制向多类混合的共识机制演进发展；二从其他生

存储界·2023-12-04 16:55

Hadoop——分布式存储HDFS

HDFS集群环境部署VMware虚拟机中部署一、https://hadoop.apache.org中下载安装包二、环境分配三、上传、解压确认服务器创建、固定IP、防火墙关闭、Hadoop用户创建、SSH免密、JDK部署等四、修改配置文件hdfs-site.xml①、dfs.datanode.data.dir.perm700hdfs文件系统，默认权限700，rwx------②、dfs.nameno

A尘埃·2023-12-04 06:13

世界区块链大会，ZJUBCA再出发

7月24日，以「无限未来」为主题的「2021世界区块链大会」在杭州盛大开幕，大会聚焦产业、开放金融、分布式存储等议题，是国内大规模、高规格的区块链行业盛会之一。

weixin_37097665·2023-12-04 04:36

大数据开发：HDFS Erasure Coding机制

提到大规模数据存储，Hadoop的分布式存储，作为主流的技术方案，实力也是得到市场认可的。Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。

成都加米谷大数据·2023-12-03 14:29

推荐频道

分布式存储集群服务