分布式存储-ceph 第6页

从Elasticsearch来看分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。

大叶子不小·2024-01-26 10:11

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层

星环科技·2024-01-26 07:08

跟着Microbiome学作图：R语言ggplot2画堆积柱形图展示微生物门水平的相对丰度

论文Reduceddiversityandalteredcompositionofthegutmicrobiomeinindividualswithmyalgicencephalomyelitis/chronicfatiguesyndrome

小明的数据分析笔记本·2024-01-26 04:46

PHP中一些特征函数导致的漏洞总结

第一部分：特征函数接触到几个常用的函数：\=\=\=\=\=md5intvalstrposin_arraypreg_matchstr_replacephp用这些函数实现过滤一些代码，漏洞可能有一些特性，

carrot11223·2024-01-25 10:36

2023年第十六届中国系统架构师大会（SACC2023）：核心内容与学习收获（附大会核心PPT下载）

大会按照技术主线分为传统架构与运维技术发展（高可用架构、云架构、分布式存储、预测性智能运维）、数字化转型企业架构应用（金融行业与制造业）、IT技术前瞻架构（分布式与微服务架构、

百家峰会·2024-01-25 07:57

Cephadm部署使用rgw对象网关（s3cmd和Java）

s3cmd）创建radosgwuser安装s3cmd配置s3cmds3cmd使用使用对象存储（Java代码）引入依赖编码测试参考前提RGW的部署基于以下集群，集群信息如下：重要概念区域（zone）:一个ceph

gengduc·2024-01-25 06:38

ceph状态报：pgs not deep-scrubbed in time

问题描述ceph-s状态输出如下：分析过程scrubbed功能用于PG，是为了检测PG分布到各osds上的数据是否一致，deep-scrubbed的检测模式除了检测数据的元数据信息外，还会检测数据的内容是否一致

小鲸鱼大梦想·2024-01-24 18:28

万物皆世界，人人得智慧

我对王欣师兄的“一图显世界”的思考：图片发自App《万物皆世界人人悟智慧》在大数据、云计算、AI、物联网、区块链的深度普及基础上，区块链作为一个“分布式存储与个体价值体现”的最好技术革新，以比特币为载体迅猛的来到了人们面前

众心无相·2024-01-24 18:02

mkfs.xfs无法格式化问题cannot open /dev/sdm: Device or resource busy

实验环境：centos7服务器问题：之前服务器做过ceph，之后格式化磁盘，数据盘作raid0。系统装好后，查看设备信息。

运维-大白同学·2024-01-24 18:44

从数据处理到规模化应用

HashData等现代数据仓库解决方案具有以下特点：高性能：通过分布式存储和计算技术，HashData能够提供高吞吐量和低

百度_开发者中心·2024-01-24 16:14

ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

睡美人章繁·2024-01-24 14:54

【星海随笔】ceph存储池

ceph部件很多。写到一个文章里太多了。每个分开写，找起来舒服一些PG（PlacementGroup）是一个逻辑概念，用于数据的分布和复制。注：OSD是负责物理存储的进程，它管理存储在磁盘上的数据。

活跃的煤矿打工人·2024-01-24 12:57

Mysql数据库主从复制和分库分表浅析

内容提供：李智慧，前阿里巴巴技术专家，《大型网站技术架构》作者分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。

一颗向上的草莓·2024-01-24 11:30

分布式存储mysql

搭建两从两主服务器再搭建一台mycat启动mycat1.创建添加数据源将后端数据库服务器添加到mycat上面,以便管理和代理,让mycat和mysql建立连接添加方法如下59只实现写60只实现读61实现写62实现读MySQL>/*+mycat:createdatasource{"name":"dw0","url":"jdbc:mysql://192.168.88.59:3306","user":"

CN_HW·2024-01-24 08:47

从字节跳动面试中快速胜出：五天三面，这份Java面试笔记功不可没

（开放地址法，不是很了解，听过）如果使用hash进行分布式存储有什么弊端？（可扩展性不强，例如增加节点和节点宕机的情况）如何解决？

技术琐事·2024-01-24 01:16

分布式存储

1存储基础1.1单机存储设备DAS（直接附加存储，是直接接到计算机打的主板总线上去的存储）UDE、SATA、SCSI、SAS、USB接口的磁盘所谓的接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进

王德发666·2024-01-23 16:16

Ceph应用

ceph补充1Ceph管理1.1资源池的管理上面我们已经完成了Ceph集群的部署，但是我们如何向Ceph中存储数据呢？首先我们需要在Ceph中定义一个Pool资源池。

王德发666·2024-01-23 16:15

Openstack云计算(六)Openstack环境对接ceph

requiretty\ncentALL=(root)NOPASSWD:ALL' |tee/etc/sudoers.d/cephchmod440/etc/sudoers.d/ceph（2）openstack

wmd13164306712·2024-01-23 11:59

CentOS 7部署 Ceph分布式存储架构

SE4nJH1.概述随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。

大帅同学·2024-01-23 09:48

K8s（八）持久化存储emptyDir、hostpath、nfs

kubectlexplainpods.spec.volumesawsElasticBlockStore#AWSElasticBlockStore（EBS）卷的配置对象azureDisk#AzureDisk卷的配置对象azureFile#AzureFile卷的配置对象cephfs

心葉493·2024-01-23 08:38

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台

Cool_Pepsi·2024-01-23 02:42

k8s k3s云容器性能测试-边端云端性能测试

集群里创建POD，在POD里为集群加压e.g.memtester网络:创建两个pod分别起在两个物理节点上，使用iperf3给网络加压存储:通过MEC创建一块大磁盘,，通过DD或其他工具将磁盘写满(e.g.ceph

东方狱兔·2024-01-22 23:59

SSH免密码登录设置

则在每一台机器下执行如下命令：ssh-keygen连续回车，有yes的直接确认yes，直到密文生成；然后通过ssh-copy-idroot@hostname命令把密文发给三个机器ssh-copy-idroot@ceph1ssh-copy-idroot

华木公子·2024-01-22 22:52

关于云计算你必须知道的一些事（一）

软件定义分布式存储是

money666·2024-01-22 19:17

架构师的36项修炼-09架构实战案例分析

2.分析一个分布式存储的架构案例，看如何去设计一个分布式存储系统，底层存储系统的架构是如何设计的。3.分析一个反应式编程框架的架构案例，看开发框架的架构是如何设计的。这三类系统架

机智阳·2024-01-22 18:07

容器与持久化存储:容器的开源分布式存储方案选型

导读：容器得到了越来越广泛的使用，以下问题困扰架构师：容器正逐渐成为云上应用的标准部署单元，容器该如何解决持久化存储的需求？容器编排系统已成当红炸子鸡，在无状态的容器中，存储系统面临哪些新的挑战？容器与持久化存储系统是融合架构还是分离架构？本文探讨了容器和持久化存储相关知识，由张朝潞在高可用架构群分享，转载请注明来自高可用架构公众号ArchNotes。张朝潞有容云平台存储架构师张朝潞，有容云平台存

高可用架构·2024-01-22 14:50

容器与持久化存储：容器的开源分布式存储方案选型

曾工作于UIT、华三、腾讯、专注分布式存储的研究和开发，对云计算存储解决方案方面有很深的技术造诣和行业理解。一．容器对存储插件的定义以Docker为例，Doc

weixin_33805743·2024-01-22 14:48

k8s-pvc/pv扩容记录

这里是基于ceph-csi插件，在rbd的使用方式下做的扩容原理需要csi插件的支持，更改pod的pvc申明的存储空间需

old_GGB·2024-01-22 07:49

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。

薛晓刚·2024-01-22 02:58

Hbase笔记

ApacheHBase是一个开源的，分布式的，版本化的非关系数据库，模仿Google的Bigtable：Chang等人的结构化数据分布式存储系统。正

MFRain·2024-01-21 20:24

消息中间件之Kafka(二)

1.commitlog文件会受到所在机器的文件系统大小的限制，分区之后可以将不同的分区放在不同的机器上，相当于对数据做了分布式存储，理论上一个topic可以处理任意数量的数据2.提高并行度1.2如何在多个

coffee_babe·2024-01-21 16:04

ceph资源池pool管理

之前我们已经完成了Ceph集群的部署，但是我们如何向Ceph中存储数据呢？首先我们需要在Ceph中定义一个Pool资源池。Pool是Ceph中存储Object对象抽象概念。

沈阳最速传说と疾走の猛虎！贵物刀一郎です·2024-01-21 16:27

Ceph分布式存储部署

目录一、存储1、存储基础2、NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）3、SAN（存储区域网络）4、单机存储的问题5、商业存储解决方案6、分布式存储（软件定义的存储SDS）7、分布式存储的类型二

睡美人章繁·2024-01-21 16:26

分布式存储赛道群雄逐鹿：Filecoin「友商」盘点

Crust实现了去中心化存储的激励层协议，适配包括IPFS在内的多种存储层协议，并对应用层提供支持。同时Crust的架构也有能力对去中心化计算层提供支持，构建分布式云生态。有市无币的FIL一路高涨。据MyToken数据显示，FIL近3月涨幅达308.19%。在主网上线时间几经推迟后，据Filecoin最新的官方回应，「预产期」定在了8月31日——9月21日，这个预期带动了整个市场。目前，包括Gat

Crust分布式云·2024-01-21 09:40

Docker部署高性能分布式存储MinIO

文件存储系统，相比FastDFS使用MinIO易上手，可扩展，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。优势:1.Minio有良好的存储机制2.Minio有很好纠删码的算法与擦除编码算法3.可向大数据方面过渡4.docker搭建非常方便适用场景:1.对象存储2.文件服务器原理：MinIO分布式集

抹香鲸之海·2024-01-20 21:27

[ELK] ELK企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTfulWeb

为什么老是名字被占用·2024-01-20 12:34

FastDFS之快速入门、上手

分布式存储：资源存储在多个服务器，这个存储资源构成一个虚拟的存储设备。常见的DFSFastDFS：开源的轻量级分布式文件系统；HD

微风至夏·2024-01-20 12:03

GZ036 区块链技术应用赛项赛题第3套

作为数字经济时代的前沿产物，区块链以其分布式存储、不可伪造和防篡改、透明可信、高可靠性和可追溯等优势，区块

嘿哈小将·2024-01-20 11:42

【Redis】三种集群模式（主从复制、哨兵模式、Cluster）

cluster模式是redis官方提供的集群模式，使用了Sharding技术，不仅实现了高可用、读写分离、也实现了真正的分布式存储。一、主从复制Redis的主从复制是一

hope笔记·2024-01-20 10:34

大数据导论（2）---大数据与云计算、物联网、人工智能

2.云计算是一种全新的技术，包含了虚拟化、分布式存储、分布式计

冒冒菜菜·2024-01-20 07:49

亚信安慧AntDB数据库：揭开性能与效率提升的奥秘

它采用了先进的数据库分片技术，使得数据在多个节点间进行分布式存储和处理，从而大幅提升数据库的性能和吞吐量。AntDB数据库的分片技术可以根据数据的特点和访问模式进行灵活

亚信安慧AntDB数据库·2024-01-20 01:31

centos 7.4 nginx 下安装 PHP 和 php-fpm 错误小记

问题：在新建/usr/local/php/var/run/php-fpm.pid文件前，执行/usr/local/php/sbin/php-fpm启动php-fpm，之后servicephp-fpmstart

星星之火666·2024-01-19 21:18

ELK日志分析

ElasticSearch是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

lelelele798·2024-01-19 21:12

华为云计算IE面试笔记-fusionstorage相对于传统集中式存储的优势

fusionstorage是华为研发的一款分布式存储软件，可以将X86架构的服务器组成一个存储池，向上提供统一的存储能力。

魔仙堡的仙女·2024-01-19 20:19

【分布式技术】分布式存储ceph之RBD块存储部署

目录创建Ceph块存储系统RBD接口服务端操作1、创建一个名为rbd-demo的专门用于RBD的存储池2、将存储池转换为RBD模式3、初始化存储池4、创建镜像5、在管理节点创建并授权一个用户可访问指定的

liu_xueyin·2024-01-19 04:17

【分布式技术】分布式存储ceph之RGW接口

目录1、对象存储概念2、创建RGW接口//在管理节点创建一个RGW守护进程#创建成功后默认情况下会自动创建一系列用于RGW的存储池#默认情况下RGW监听7480号端口//开启http+https，更改监听端口#更改监听端口//创建RadosGW账户客户端测试OSD故障模拟与恢复3、把原来坏掉的osd修复后重新加入集群方法二1、对象存储概念对象存储（objectstorage）是非结构数据的存储方法