GridFS分布式存储

Doris架构包含哪些技术？为什么进行技术整合？

Impala是一个非常好的MPPSQL查询引擎，但是缺少完美的分布式存储引擎。自研列式存储：存储层对存储数据的管理通过stor
传智教育·2023-07-21 23:09

Ceph部署

目录一、存储基础单机存储设备单机存储的问题二、分布式存储（软件定义的存储SDS）分布式存储的类型三、Ceph简介四、Ceph优势五、Ceph架构六、Ceph核心组件七、OSD存储后端八、Ceph数据的存储过程九
川子^·2023-07-21 15:27

什么是对象存储COS？它又有哪些优势？

产品概述对象存储（CloudObjectStorage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。
有头发程序猿·2023-07-21 09:50

浅谈微信朋友圈的架构设计

可以使用分布式存储系统，如Hadoop或Ceph等，来存储多媒体数据，并使用关系型数据库，如MySQL或PostgreSQL等，来存储其他数据。服务器架构为了支持高并发和高可用性，可以使用分
Java技术攻略·2023-07-21 07:58

大数据技术原理与应用（第3版）期末复习

数据库命令操作U1大数据的4v特征数据量大、处理快、数据类型多、价值密度低大数据完全颠覆了传统的思维方式：全样而非抽样、效率而非精确、相关而非因果第三次信息化浪潮：云计算，物联网和大数据大数据的两大核心技术分布式存储
Blancness·2023-07-21 00:21

开源项目介绍 ｜Apache Ozone-分布式大数据通用存储

腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalApacheOzone项目介绍标签：大数据存储技术栈：Java标签：大数据存储技术栈：JavaApacheOzone-分布式大数据通用存储，Ozone是一个大数据场景分布式存储
tencent__open·2023-07-20 23:52

分布式运用存储系统Ceph

一、ceph的相关知识1.ceph介绍与简介Ceph是一个开源的分布式存储解决方案，旨在提供可扩展性、高性能和强大的数据可靠性。它采用了一种分布式对象存储架构，能够同时提供块存储和文件存储的功能。
瓜皮小菜·2023-07-20 23:48

PG概述及OSD对PG状态的影响

前言随着分布式存储的广泛应用，目前对PG的关注越来越多，本文基于ONStor分布式存储系统简要介绍一下PG的状态变化，重点说明OSD对PG状态的影响。
yuzhangfeng·2023-07-20 10:43

IT新技术

传感器技术等应用：物流、智能交通、智能医疗、智能家居等2.大数据巨量资料，海量、高增长率和多样化的信息资产；特点：4v--大量、多样、高速、价值密度低应用：金融行业、电商行业、医疗行业等3.云计算关键技术：虚拟化、分布式存储技术
悟空耍·2023-07-20 04:49

52 类 110 个常用 Java 组件和框架整理

目录WEB容器数据库缓存消息队列负载均衡分布式存储数据库集群分布式协调大数据相关日志收集与分析搜索系统监控分库分表微服务RPC框架网络框架MVC框架数据层框架数据库连接池Redis客户端Rest接口设计与开发数据参数校验安全相关
月半花开·2023-07-19 19:48

烃贝科技CEO：分布式存储与边缘计算防范系统系风险

一方面，近期受到疫情影响，生意本来就很难做，再加上微盟系统崩溃时间过长，中小企业直哭喊：“生意做不下去了！”真是“雪上加霜”啊！01互联网公司员工删库致公司市值暴跌10亿一开始还以为是个段子，没想到还真实发生了！据内部人士介绍：微盟是一家位于上海的互联网SaaS综合服务商，通过平台为中小商家在线上开店，借助微盟的平台微网站/小程序“模版”，把商家自己的店铺放上去，这样就中小商家就不用自己招募开发人
烃贝区块链·2023-07-19 18:01

Ceph 分布式存储之资源池管理

一、资源池Pool管理（在admin和node三个节点都可）1、资源池介绍上面我们已经完成了Ceph集群的部署，但是我们如何向Ceph中存储数据呢？首先我们需要在Ceph中定义一个Pool资源池。Pool是Ceph中存储Object对象抽象概念。我们可以将其理解为Ceph存储上划分的逻辑分区，Pool由多个PG组成；而PG通过CRUSH算法映射到不同的OSD上；同时Pool可以设置副本size大小
狮子跑了·2023-07-19 18:15

Ceph 分布式存储之应用

一、创建CephFS文件系统MDS接口1、服务端操作1）在管理节点创建mds服务[root@adminceph]#cd/etc/ceph[root@adminceph]#ceph-deploymdscreatenode01node02node03[ceph_deploy.conf][DEBUG]foundconfigurationfileat:/root/.cephdeploy.conf[ceph
狮子跑了·2023-07-19 18:14

区块链之脑洞大开

第三，人人都有账本，所以即使某一些账本损坏了，整体也不受影响，分布式存储。总结：区块链运用技术解决了信任问题。区块链有什么用？人们了解到区块链技术的起因，是源于比特币。
007胡明·2023-07-19 15:17

Ceph分布式存储服务

一、Ceph分布式存储概述我们学习过文件共享存储：FTP、Windows共享、NFS，MFS等；块存储LVM等；对象存储HDFS（HadoopFileSystem）等服务。
藏经老曾·2023-07-19 15:08

分布式存储-ceph

ceph简介Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统()。ceph的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用ceph作为openstack的唯一后端存储来提高数据转发效率。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，
zzhui20·2023-07-19 15:38

分布式存储之ceph

1.1ceph特点高性能高可用性高可扩展性特性丰富1.2架构对象（object）:原生API块（block）:支持精简配置、快照、克隆文件（File）:Posix接口，支持快照1.3核心组件Monitor:一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据。监控整个集群的状态，维护集群的clusterMAP二进制表，保证集权数据的一致性。OSD:
m_0806·2023-07-19 15:08

Ceph分布式存储系统架构研究综述

Ceph项目是加州大学圣克鲁兹分校的Weil于2006年开发的。当时他发现元数据的查询和维护严重影响了Lustre等分布式文件系统的性能和扩展性，因此设计了一种利用算法来确定数据与存储节点对应关系的方法CRUSH。2015年5月发布的Linux内核2.6.34已开始支持Ceph。Weil也成立了IntTank公司，专注于Ceph的开发。2014年5月，该公司被RedHat收购。Ceph同时支持３种
开源Linux·2023-07-19 15:08

Linux 运维知识梳理（8）GlusterFS、Ceph 分布式存储

文章目录一、存储简介1、存储的分类2、存储类型的分类3、分布式存储介绍二、GlusterFS2.1GlusterFS集群1、创建集群2、准备存储目录3、创建存储卷4、启动存储卷5、客户端挂载6、卷的删除
刘李404not found·2023-07-19 15:37

【Linux】分布式存储系统 Ceph

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档分布式存储系统CephCeph概述1、Ceph简介2、存储基础3、Ceph优势4、Ceph架构4、Ceph核心组件5、OSD存储后端6、Ceph
ikun小鸡子·2023-07-19 15:06

分布式存储ceph：对象存储、块存储、文件存储

对象存储严格意义上讲，Ceph只提供对象存储接口，所谓的块存储接口和文件系统存储接口都算是对象存储接口应用程序。不同于传统文件系统提供的open/read/write/close/lseek，对象存储只提供put/get/delete，对象存储的逻辑单元就是对象而不是我们通常概念中的文件。如下图所示，对于Ceph来说，RADOSGW是一个基于librados库构建的对象存储接口，为应用程序提供Ce
souy_c·2023-07-19 15:06

分布式存储之ceph软件安装及使用

目录前言ceph官网ceph的核心组件ceph可以提供3种存储环境要求及搭建集群搭建第1步、配置ssh免密登第2步、以node1为部署节点，在node1配置部署ceph-deploy工具第3步、在node1上创建集群第4步、ceph集群节点安装ceph第5步、客户端安装ceph-common第6步、创建mon(监控)第7步、创建mgr（管理）第8步、创建osd(存储盘)扩容osd扩容ceph集群节
MssGuo·2023-07-19 15:36

分布式存储系统 Ceph 介绍与环境部署

一、概述Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph在存储的时候充分利用存储节点的计算能力
Java小小虫·2023-07-19 15:35

【Linux】分布式存储系统 Ceph应用

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档分布式存储系统Ceph应用创建CephFS文件系统MDS接口创建Ceph块存储系统RBD接口创建Ceph对象存储系统RGW接口OSD故障模拟与恢复创建
ikun小鸡子·2023-07-19 15:05

Ceph

Ceph简介Ceph使用C++语言开发，是一个开放、自我修复和自我管理的开源分布式存储系统。具有高扩展性、高性能、高可靠性的优点。Ceph目前已得到众多云计算厂商的支持并被广泛应用。
花随风飘零·2023-07-19 10:27

Elasticsearch如何处理大数据量的存储和检索？什么是Elasticsearch的分布式的实时分析功能？

以下是Elasticsearch处理大数据量的几个关键方面：分布式存储：Elasticsearch将数据分散存储在多个节点上，每个节点负责存储和处理部分数据。
luoluoal·2023-07-19 07:55

共筑信创生态！亚信科技AntDB数据库与用友、东方通、星辰天合达成兼容互认

经测试，AntDB数据库与U8cloud产品，TongWebV7.0服务器，星辰天合天合翔宇分布式存储系统、统一数据平台XEDP、超融合平台XHERE完美适配兼容，运行平稳高效，标志着亚信科技在信创生态布局进程上迈出了重要一步
亚信安慧AntDB数据库·2023-07-19 07:20

应用ceph对象存储(ceph-13.2.10)

版本：操作系统：CentOS7.9ceph版本：ceph-13.2.10名词：Ceph:一个开源的分布式存储系统。
zhangbeizhen18·2023-07-19 06:44

Ceph分布式存储系列（七）：对象存储RGW和S3cmd的安装配置及常用命令

承接上文Ceph分布式存储系列（二）：ceph-deploy方式部署三节点ceph集群这里就不详细介绍对象存储了，感兴趣可以在这里查看：Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理Ceph
Echo&.·2023-07-19 06:14

分布式存储ceph对象存储系统

ceph创建rgw接口（对象存储系统）一、对象存储概述对象存储（objectstorage）是无层次结构的数据存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中不同于其他数据存储方法，基于对象的存储不使用目录树1、数据作为单独的对象进行存储2、数据并不放置在目录层次结构中，而是存在于平面地址空间内的同一级别3、应用通过唯一地址来识别每个单独的数据
givenchy_yzl·2023-07-19 06:41

【Kubernetes 企业项目实战】05、基于云原生分布式存储 Ceph 实现 K8s 数据持久化（上）

目录一、分布式存储Ceph基本介绍1.1块存储（rbd）1.2文件系统cephfs1.3对象存储1.4分布式存储的优点二、Ceph核心组件介绍三、准备安装Ceph高可用集群的实验环境3.1机器配置3.2
Stars.Sky·2023-07-18 22:09

Ceph分布式存储实战 1.1　Ceph概述

初识Ceph1.1Ceph概述1.Ceph简介从2004年提交第一行代码开始到现在，Ceph已经是一个有着十年之久的分布式存储系统软件，目前Ceph已经发展为开源存储界的当红明星，当然这与它的设计思想以及
weixin_33755847·2023-07-18 22:08

Ceph分布式存储实战1.2　Ceph的功能组件

1.2Ceph的功能组件Ceph提供了RADOS、OSD、MON、Librados、RBD、RGW和CephFS等功能组件，但其底层仍然使用RADOS存储来支撑上层的那些组件，如图1-2所示。图1-2Ceph功能组件的整体架构下面分为两部分来讲述Ceph的功能组件。（1）Ceph核心组件在Ceph存储中，包含了几个重要的核心组件，分别是CephOSD、CephMonitor和CephMDS。一个C
weixin_34087503·2023-07-18 22:08

【云原生之存储实战】部署Ceph分布式存储集群

【云原生之存储实战】部署Ceph分布式存储集群一、Ceph介绍1.Ceph简介2.Ceph的特点3.Ceph适用场景4.Ceph与云原生5.Ceph在k8s中的应用二、环境规划三、环境配置工作1.环境配置说明
江湖有缘·2023-07-18 22:38

星辰天合公司产品完成阿里云 PolarDB 数据库产品生态集成认证

测试结果表明，星辰天合旗下的融合计算管理平台XHERE（V2）、统一数据平台XEDP（V6）、天合翔宇分布式存储系统（V6）与阿里云的开源云原生数据库PloarDB分布式版（V2.2）以及开源云原生数据库
XSKY星辰天合·2023-07-18 18:51

亚信科技 AntDB 数据库与星辰天合全产品体系完成兼容互认

经过双方团队的严格测试，AntDB数据库与天合翔宇分布式存储系统、统一数据平台XEDP、超融合平台XHERE等产品完全兼容，整体运行稳定高效。
XSKY星辰天合·2023-07-18 18:48

Ceph的安装部署

文章目录一、存储基础1.1单机存储设备1.2单机存储的问题1.3分布式存储（软件定义的存储SDS）二、Ceph简介2.1Ceph优势2.2Ceph架构2.3Ceph核心组件2.4Pool、PG和OSD的关系
含蓄。·2023-07-18 14:23

Ceph集群

目录一、存储概述1.单机存储设备1.1DAS1.2NAS1.3SAN2.单机存储的问题3.商业存储解决方案4.分布式存储（软件定义的存储SDS）4.1分布式存储的类型二、Ceph简介1.Ceph优势2.
q1y2y3·2023-07-18 13:36

ceph安装部署

Ceph简介存储基础单机存储设备单机存储的问题分布式存储的类型分布式存储（软件定义的存储SDS）Ceph架构Ceph核心组件编辑Pool中数据保存方式支持两种类型OSD存储后端Ceph数据的存储过程Ceph
故里知南·2023-07-18 13:35

【Ceph】基于ceph-deploy部署Ceph集群详解

基于ceph-deploy部署Ceph集群详解1.存储基础1.1单机存储设备1.1.1单机存储的问题1.1.2商业存储解决方案1.2分布式存储（软件定义的存储SDS）1.2.1分布式存储的类型2.Ceph
陌上花开，静待绽放！·2023-07-18 13:04

Ceph部署

目录1、存储基础单机存储设备单机存储的问题分布式存储（软件定义的存储SDS）分布式存储的类型2、Ceph简介3、Ceph优势4、Ceph架构5、Ceph核心组件Pool中数据保存方式支持两种类型：Pool
一条会呼吸的鱼·2023-07-18 13:02

Ceph 分布式存储

一.Ceph存储基础1、单机存储设备DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程
狮子跑了·2023-07-18 13:32

ELK企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTfulWeb接口，让
跟健哥做运维·2023-07-18 11:01

云原生分布式存储的架构创新及商业价值

，2023全球分布式云大会·北京站将于6月28日-29日正式召开，本次大会以“云智筑基”为主题，探究人工智能（AI）在大模型全新的发展风口，构建新型泛在算力网络的趋势，如何利用分布式云、分布式数据库、分布式存储
云存储小天使·2023-07-18 10:49

Ceph存储简介和安装

Ceph一：Ceph基本概念1、存储基础1.1单机存储设备1.1.1单机存储的问题2.商业存储解决方案3.分布式存储（软件定义的存储SDS）3.1分布式存储的类型2、Ceph简介3、Ceph优势4、Ceph
莱伊拉啊莱伊拉，你还要继续努力·2023-07-18 03:38

阿里云OSS使用(小白也看得懂)

oss简介oss是对象存储服务（ObjectStorageService）的缩写，是一种分布式存储服务，用于存储和访问大规模数据。
秃狼·2023-07-18 02:19

Alluxio+Presto=倚天+屠龙

Alluxio是一个开源的分布式虚拟文件系统，它可以将分布式存储系统中的数据进行统一管理，提供高速的数据访问和共享。
GP0000968523·2023-07-18 01:25

Ceph的部署与应用

1.单机存储设备(1)DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）(2)NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）(3)SAN（存储区域网络）单机存储的问题2.分布式存储类型
xc0309·2023-07-17 18:25

云原生之深入解析K8S中Ceph的部署与功能测试

一、前言Ceph在k8s中用做共享存储还是非常方便的，Ceph是比较老牌的分布式存储系统，非常成熟并且功能也强大，支持三种模式（快存储、文件系统存储、对象存储），那么如何在k8s使用ceph呢？
╰つ栺尖篴夢ゞ·2023-07-17 16:43

HDFS分布式文件系统基础+HDFS shell操作+HDFS工作流程与机制

文章目录HDFS分布式文件系统基础文件系统、分布式文件系统文件系统定义区分数据和元数据海量数据存储遇到的问题分布式存储系统的核心属性及功能含义HDFS简介HDFS应用场景HDFS重要特性主从架构分块存储副本机制元数据管理
芒着可爱·2023-07-17 09:15
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他