分布式存储Ceph

大数据开发：Hive基础知识点介绍

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。Hive的特点Hive最大的特
加米谷大数据张老师·2024-01-09 13:52

【Vsan数据恢复】异常关机导致Vsan分布式存储虚拟机组件异常的数据恢复案例

vsan分布式存储故障：一套vsan分布式存储架构有数台服务器节点，该vsan分布式存储架构配置了固态硬盘和机械硬盘，固态硬盘作为缓存盘使用，机械硬盘作为容量盘使用。
北亚数据恢复·2024-01-09 12:08

挑战存储“不可能之三角”：用自研技术引领存储性能突破

虽然分布式存储在大众认知内具有高性价比和高扩展性，却未被赋予高性能的标签。可以说，分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。
科技云报道·2024-01-09 08:22

Ceph源码分析-在C++中，符号“&“和“*“有不同的用法。

在C++中，符号"&"和"*"有不同的用法。"&"符号：在变量声明时，"&"用于定义引用类型。例如：inta=10;int&ref=a;这里的"ref"是一个引用，它引用了变量"a"，对"ref"的修改会影响到"a"的值。在函数参数中，"&"用于传递参数的引用。例如：voidfoo(int&num){...}这里的"num"是一个引用类型的参数，函数内部对"num"的修改会影响到传递进来的变量。"
瓦哥架构实战·2024-01-09 08:46

大数据之PySpark的RDD介绍

一、RDD简介RDD称为弹性分布式数据集，是Spark中最基本的数据抽象，其为一个不可变、可分区、元素可并行计算的集合；RDD中的数据是分布式存储，可用于并行计算，同时，
敲键盘的杰克·2024-01-09 07:11

Spark Core------算子介绍

Resilient弹性：RDD的数据可以存储在内存或者磁盘当中，RDD的数据可以分区Distributed分布式：RDD的数据可以分布式存储，可以进行并行计算Dataset数据集：一个用于存放数据
小希 fighting·2024-01-09 07:01

隐私保护在Web3.0中的重要性

敏感的用户数据可以从任何用户平台安全地共享到云端或分布式存储，并通过代理重加密或属性加密自动授予对该数据的访问。在这个过程中，有必要确保数据的可用性。
Aix17·2024-01-08 13:39

MegaRAID管理磁盘

CentOS7MegaRAID管理磁盘云计算AddcommentsMay312017对于OpenStack来说，存储基本都是Ceph，那么磁盘一般都会做成raid0或者使用直通模式。
shengyyyyyy·2024-01-08 08:14

Spark Core基础知识

中最基本的数据抽象,代表一个不可变,可分区,里面的元素可并行计算的集合.Resilient弹性:RDD的数据可以存储在内存或者磁盘当中,RDD的数据可以分区Distributed分布式:RDD的数据可以分布式存储
MSJ3917·2024-01-08 07:52

《Ceph源码分析》——第1章，第5节RADOS

本节书摘来自华章出版社《Ceph源码分析》一书中的第1章，第1.5节RADOS，作者常涛，更多章节内容可以访问云栖社区“华章计算机”公众号查看1.5RADOSRADOS是Ceph存储系统的基石，是一个可扩展的
weixin_34413103·2024-01-08 04:54

了解Ceph 分布式存储

内容概括1、存储发展史随着OpenStack的快速发展，给Caph的发展注入了强心剂，越来越多的人使用Ceph作为OpenStack的底层共享存储，Ceph在中国的社区也蓬勃发展起来。
小老虎追玉兔·2024-01-08 04:24

ceph之rados设计原理与实现第四章：存储的基石OSD

OSD本质上是凌驾于操作系统之上的进程，拥有cpu、内存、网络带宽等资源，用于实现对象存储，并兼容各种类型的文件系统。OSD之间利用集群网络互相监督，出现故障及时上报Monitor，由Monitor修改OSDMap后，再由OSD之间互相点对点传播最新OSDMap。1.集群管理OSD需要和Monitor定期通讯，报告自身情况，来更新最新的OSDMap，向Monitor报告自身容量使用情况，密钥密钥等
mxy990811·2024-01-08 04:54

multipath 内核接口及框架介绍

流程2multipath介绍1云主机使用网络存储io流程对于一个云服务环境，大致会有网络节点，存储节点，计算节点，控制节点，其中虚拟云主机在计算节点工作，而虚拟云主机（qemu虚机）使用的存储一般通过ceph
内核新视界·2024-01-07 20:49

【Java处理百万级数据的高效方法了解】

1.2分布式存储考虑使用分布式数据库（如HBase、Cassandra）或存储系统（如HadoopDistri
無飞·2024-01-07 12:21

高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例

分布式存储：MinIO可以以分布式方式部署，通过纠删码（Erasu
小果运维·2024-01-07 12:18

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

XSKY SDS 产品率先获得 OceanBase V4 新版本认证

据悉，这是首个基于OceanBaseV4认证的分布式存储产品联合解决方案。联合解决方案 性能与成本兼得
XSKY星辰天合·2024-01-07 10:01

脑电情绪识别：从数据采集到实验分析的完整流程

在情绪识别领域，脑电信号（Electroencephalography，简称EEG）被广泛应用于研究人类情绪状态的测量和分析。
数据科学探险导航·2024-01-07 05:07

通用异构参数服务器技术

数据管理需要考虑数据的分布式存储
道亦无名·2024-01-07 02:32

分布式存储与传统存储对比分析

分布式存储的定义分布式存储系统，是将数据分散存储在多台独立的X86服务器上，通过通用的存储协议对外提供FC、ISCSI、RBD、NAS、S3等存储接口，每个存储服务器节点既能够进行数据存放和性能加速，也同时提供数据控制和存储接口对接
LD_ee65·2024-01-07 01:46

Proxmox VE 超融合集群销毁Ceph Pool

作者：田逸（formyz）销毁CephPool的目的一套五节点的ProxmoxVE超融合集群，当初为有效利用资源，配备了Nvme高性能磁盘和大容量的SATA机械磁盘（如图所示），高性能Nvme磁盘用于虚拟机的系统盘
4/5$全真龙门·2024-01-06 22:39

第五届脑电深度学习入门班（训练营：2023.9.12~9.20）

★课程简介★脑电图（Electroencephalogram,EEG）是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映，包
茗创科技·2024-01-06 11:25

安装Ceph集群

目录1、服务端部署2、Dashboard的配置3、配置块存储4、配置对象存储5、配置文件系统1、服务端部署准备环境系统版本：centos7.4x86_64server硬件配置：5台vm，1核1G内存，每台node角色的机器至少挂载1块不低于5个G的空闲盘为osd存储​ 主机名        ip           role admin      192.168.153.130       adm
宇博士·2024-01-06 10:36

ceph存储 object的attr和omap操作

这里有一个ceph的原则，就是所有存储的不管是块设备、对象存储、文件存储最后都转化成了底层的对象object，这个object包含3个元素data，xattr，omap。
大隐隐于野·2024-01-06 08:49

私有云平台搭建openstack和ceph结合搭建手册

OpenStack与云计算什么是云？如何正确理解云，可以从以下几个方面。云的构成。用户：对用户而言是透明无感知的，不用关心底层构成，只需要知道利用云完成自己任务即可。云提供商：对云资产管理和运维。云的特点。弹性扩展；自助服务；标准接口方便二次开发和其他系统对接；付费和计量。云的定义。云是指你作为接受服务的对象，是云端，不管你在何时何地，都能享受云计算提供的服务。云是网络、互联网的一种比喻说法。云分
Destiny()·2024-01-06 08:48

Ceph分布式存储

一.Ceph分布式存储1.Ceph概念（1）Ceph是一种开源的分布式存储系统，2006年出现，是私有云事实上的标准-OpenStack的默认存储后端。用于在整个集群中存储海量数据。
z怀夕·2024-01-06 08:46

Ceph Large omap objects现象及原理分析

随着Ceph对象存储的产品不断成熟，用户数量的不断增加，对集群的性能考验也愈发严峻。特别是某些大型用户在特定场景下需要对单个bucket进
大隐隐于野·2024-01-06 08:15

BigData~05：HBase

https://www.cnblogs.com/ityouknow/p/7344001.html一、简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer
帅可儿妞·2024-01-06 07:29

Alluxio中国行（一）开源分布式存储系统Alluxio的历史、现状和未来

七月底八月初在南京、上海和北京三地，Alluxio项目创立者李浩源以及部分核心开发者举办了一系列Meetup活动。活动现场介绍了Alluxio项目的新增功能，Alluxio生态系统展望，以及探讨了Alluxio在未来的发展路线。同时还分享了Alluxio在百度、去哪儿网的实践案例，与广大开发者及用户积极交流，碰撞思想。Alluxio，前称Tachyon，源自UCBerkeleyAMPLab，是一个
言则yanze·2024-01-05 22:43

【网络】华为交换机排查收发光情况以及思路

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2024-01-05 02:24

【ceph】pg状态不正常，Degraded data redundancy: 460/77222938 objects degraded (0.001%), 11 pgs degraded

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2024-01-05 02:24

【运维面试100问】（十三）谈谈session和cookic的区别

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2024-01-05 02:53

【ceph】使用 upmap 在 OSD 上手动重新平衡数据，比前面用reweight、balance香多了

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2024-01-05 02:23

CTF流量分析经典例题详解

目录入门题型题目：Cephalopod(图片提取)题目：特殊后门(icmp协议信息传输)题目：手机热点(蓝牙传输协议obex,数据提取)题目：想蹭网先解开密码(无线密码破解)进阶题型题目：抓到一只苍蝇(
未知百分百·2024-01-05 01:34

K8s -- DaemonSet

下面是一些典型的DaemonSet的使用场景：在每台节点上运行一个集群存储服务，例如运行glusterd，ceph。在每台节点上运行一个日志收集服务
沉沦2014·2024-01-04 22:45

分布式存储题库

分布式存储题库分布式存储系统要求实现的特性有哪些？答：低成本、高性能、可扩展、易用。分布式存储系统设计的技术性挑战包括那些。答：数据分布、一致性、容错、负载均衡、并发控制、易用性、压缩/解压缩。
@Yauo·2024-01-04 19:18

ceph存储

ceph一.存储分类1.本地存储的文件系统ext3ext4efsntfs2.网络存储nfs网络文件系统hdfs分布式网络文件系统glusterfs分布式网络文件系统3.传统存储(1).DASSAS,SATA
MoonSoin·2024-01-04 17:26

区块链的一股清流-Ulord

Ulord的特色Ulord是一条价值公链，利用分布式存储、共识机制、多侧链技术、智能合约、加密技术等打造了一个数字资源交互平台，为开发者提供了友好的API接口、完整的p2p数据服务、更多的智能模块，开发者可以在
回南少年·2024-01-04 15:30

区块链端对端交易性能分析

区块链端到端交易性能分析区块链从微观上来说就是一个不可篡改的可溯源系统，从宏观上来说具有三个特点:共识机制(这个被很多人所研究，包括改进，例如POW、POS、BPFT等等)、分布式存储(每个节点对于链信息的存储
Beta_King·2024-01-04 13:09

区块链媒体宣发：连接未来的数字传播纽带-大舍传媒

区块链媒体宣发通过智能合约和分布式存储等特性，为信息传播打开了全新的局面。区块链媒体宣发：数字时代的新引擎区块链媒体宣发在信息传播
大舍传媒·2024-01-04 12:38

Ceph RADOS集群

RADOS(Reliable,AutonomicDistributedObjectStore)可靠、自由分布式对象存储RADOS是抽象概念，是客户端对象存储的实体，而RADOS内部是由Monitor和OSD组件提供服务Monitor提供可靠性，提供可靠性就是集群，所以Monitor一般不会是一个，负责维护和分发集群的关键元数据OSD也是个抽象概念，实质其实就是一个硬盘或者一个RAID组，通常一个硬
Y。S。H。·2024-01-04 09:45

SpringBoot入门到精通-使用Jasypt对数据库账号密码加解密

引用代码库com.github.ulisesbocchiojasypt-spring-boot-starter3.0.5配置启动@EnableEncryptablePropertiespublicclassCephS3TransferApplication
瓦哥架构实战·2024-01-04 09:14

Ceph源码分析-std::unique_ptr＜rgw::sal::RGWObject::WriteOp＞ obj_op = head_obj-＞get_write_op(&obj_ctx)；

std::unique_ptrobj_op=head_obj->get_write_op(&obj_ctx);这行代码是C++代码，涉及到智能指针和某个对象或库的特定操作。我会为你逐步解释这行代码：std::unique_ptr:这是C++11引入的一个智能指针，用于管理对象的生命周期。unique_ptr确保其指向的对象在任何时刻都只有一个unique_ptr拥有它，当unique_ptr被销毁
瓦哥架构实战·2024-01-04 09:14

【ceph】Rados的客户端RadosClient|MonClient|Osdc

本文介绍Ceph客户端方面的某些模块的实现。
bdview·2024-01-04 09:43

ceph架构核心之RADOS

ceph架构核心之RADOS一、ceph生态系统的概念架构图一：ceph生态系统的概念架构图二：ceph生态系统简化后的分层视图图三：一个简单的ceph生态系统二、Ceph架构核心之RADOS图四：RADOS
S1436006750·2024-01-04 09:37

Ceph入门到精通-数据完整性签名

S3Glacier要求您通过签署请求。若要对请求进行签名，请使用加密哈希计算数字签名功能。加密哈希是一个函数，它根据输入。哈希函数的输入包括请求的文本和密钥访问密钥。哈希函数返回一个哈希值，您将其包含在请求中，作为签名。签名是请求标头的一部分。Authorization收到您的请求后，S3Glacier会使用相同的方法重新计算签名哈希函数和用于对请求进行签名的输入。如果生成的签名与请求中的签名匹配
瓦哥架构实战·2024-01-04 09:36

Ceph源码分析-使用VScode调试ceph-osd教程

前言：本文以cephosd部分为例，为您演示通过第三方社区提供的vscode编辑软件，对cephosd进行进行图形化单步调试以及配置操作。
瓦哥架构实战·2024-01-04 09:36

ceph之rados设计原理与实现第三章：集群的大脑monitor

Monitor和核心是OSDMonitor，利用分布式领域的一致性算法Paxos来维护集群唯一的一张表OSDMap。Monitor采用分担负荷的方式，一个集群可以有多个Monitor节点，任何时刻，任何客户端或者OSD都可以通过和任意一个Monitor进行交互，以索取或者请求更新集群表OSDMap。OSD上下电、故障上报、故障切换等操作都由OSD独立与Monitor通过协商完成，每个操作都有可能多
mxy990811·2024-01-04 09:06

HBase基本概念与基本使用

1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
Yobhel·2024-01-04 08:28

cephfs cap机制介绍

一、Cap：概述cap是文件系统层面的，包括元数据、数据操作。cap和mds分布式锁是对应的cap是MDS分配给client对inode的操作能力权限。不同的客户端，或者同一客户端不同时刻，对同一inode持有cap可能是不同的•作用：MDS通过cap对多个客户端操作同一个inode进行权限管理二、基本cap三、Cap和锁四、Cap结构
大隐隐于野·2024-01-04 04:36
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他