分布式存储第18页

centos7上单机安装fastdfs6.0.9

1、背景最近由于某些原因接触到了分布式存储，而像阿里云的OSS等都是需要付费的，那么有没有免费的呢？fastdfs就是一个免费的，此处记录一下如何搭建一个单机版的fastdfs环境。

huan1993·2023-07-27 06:34

大数据课程D2——hadoop的概述

hadoop的常见命令；⚪了解hadoop的执行流程；一、简介1.概述1.HDFS(HadoopDistributedFileSystem-Hadoop分布式文件系统)是Hadoop提供的一套用于进行分布式存储的机制

伟雄·2023-07-27 05:44

ceph:分布式存储系统续

ceph:分布式存储系统续一、创建CephFS文件系统MDS接口1.1服务端操作1.2客户端操作1.2.1示例二、创建Ceph块存储系统RBD接口2.1查看镜像的详细信息2.2修改镜像大小2.3删除镜像

一往无前从今始·2023-07-27 04:37

ceph:分布式存储系统

ceph:分布式存储系统一、ceph介绍1.1存储基础1.1.1单机存储设备1.1.2单机存储的问题1.1.3分布式存储（软件定义的存储SDS）1.1.4分布式存储的类型1.2Ceph简介1.3Ceph

一往无前从今始·2023-07-27 04:06

spark-core概述

叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合.Dataset:一个数据集，简单的理解为集合，用于存放数据的Distributed：它的数据是分布式存储

Wzideng·2023-07-27 04:04

分布式存储技术调研

适合场景，可用，怎么搭建使用MinIO(注意该开源使用的AGPL-3.0协议)https://www.minio.org.cn/相关使用场景：MinIO适用于需要快速、可扩展和高性能对象存储的场景。它可以用作私有云或公共云环境中的存储解决方案，并且与云原生应用程序和大数据分析平台兼容。优点：高性能、可扩展、与AmazonS3API兼容、轻量级、数据冗余和容错性。缺点：不适用于复杂的目录结构和文件关

咬紧牙关i·2023-07-26 20:35

解析：分布式存储技术教你如何存储和维护NFT元数据？

不可替代的NFT是加密领域里最激动人心的最新成果之一。对于那些不知道这些宝石的人来说，NFT就像是数字收藏品，每个都以自己的方式独一无二的存在着，并与特定用户相关联。除了所有权之外，让NFT有价值的还有它的元数据。如果您长时间上网，您可能会认为该术语是存在于特定数字签名或网站的数据。NFT元数据与此类似，但又有一些显著差异。什么是NFT元数据？NFT元数据将NFT定义为一个有关数字资产详细信息的对

盘古开源·2023-07-26 14:59

redis（六）Redis Cluster集群原理

一、数据分布一、数据分布理论分布式存储数据需要将整个数据集按照分区规则映射到多个节点上，每个节点负责一部分数据。这里我们需要重点注意数据分区规则，常见的分区规则有hash分区、顺序分区。

先熬半个月·2023-07-26 10:30

Alluxio技术分析

Alluxio技术分析Alluxio:AVirtualDistributedFileSystemAlluxio主要解决的基于磁盘的分布式存储层性能低下的问题，通过alluxio提供的分布式内存来加速数据分析

丿灬逐风·2023-07-26 06:34

使用 4EVERLAND IPFS 固定服务 API

您可能已经知道星际文件系统或IPFS是一个分布式存储网络，来自世界各地的计算机形成节点来共享数据。为了充分受益于在IPFS网络上存储数据，固定文件和文件夹以确保它们在网络上的长期存储至关重要。

4EVERLAND中文社区·2023-07-25 22:59

Raft 思想在架构中实践

Raft诞生背景：分布式存储系统通常通过维护多个副本来进行容错，提高系统的可用性。要实现此目标，就必须要解决分布式存储系统的最核心问题：维护多个副本的一致性。

菠萝-琪琪·2023-07-25 21:44

如何模拟实现分布式文件存储

理论上可以无线多台机器存储也就意味迈入了分布式存储如何解决海量数据文件查询便捷问题当文件被分布式存储在多台机器之后，后续获取文件的时候如何能快速找到文件位于哪台机器上呢。可以借助元数据记录来解决

fiveym·2023-07-25 14:29

Hbase基本原理剖析

基本原理数据存储使用HBase来承接，HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统

Hello.Reader·2023-07-25 13:35

HBase教程_编程入门自学教程_菜鸟教程-免费教程分享

教程简介HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

菜鸟一记·2023-07-25 10:01

ceph中RADOS原理是什么，具体实现步骤是什么

RADOS（ReliableAutonomousDistributedObjectStore）是Ceph分布式存储系统的基础，是一种可靠的、自主分布的对象存储系统。

d1306937299·2023-07-24 22:29

云计算基本概念

云计算基本概念引言云计算的概念IaaS主要组件PaaS主要组件SaaS主要组件云计算的典型特征云计算数据中心云计算应用领域引言前面一篇《大数据BigData基本概念》介绍了大数据基本概念，我们知道大数据两大核心问题就是分布式存储和分布式处理

wumingxiaoyao·2023-07-24 21:38

腾讯宣讲会

node.js、reactnative、electronAlloyTeam:合并上报学习建议：大学——广度；工作——深度；瓶颈后——广度————————————————————————————————TEG：分布式存储

日瑕·2023-07-24 19:14

Dockerfile、docker-compose、docker网络以及Portainer安装

文章目录1、安装mysql主从复制2、安装redis集群-分布式存储案例2.1cluster(集群)模式-docker版哈希取余分区一致性哈希算法分区哈希槽分区2.23主3从redis集群配置2.3主从容错切换迁移数据读写存储与容错切换迁移

二拾三·2023-07-24 14:06

一个小龙盘等于300个u盘

除此之外，小龙盘还采用了区块链技术和分布式存储技术，确保数据的安全性和可靠性，避免数据被盗取和损坏的情况。用户可以在小龙盘中存储和管理

资讯前沿·2023-07-24 08:05

Flink Connector 深度解析

主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本文主要分享Flinkconnector相关内容，分为以下三个部分的内容：第一部分会首先介绍一下FlinkConnector有哪些。

zhisheng_blog·2023-07-24 00:53

2022-11-14

Elasticsearch是一个可实时的分布式存储、搜索、分析大量数据的引擎Index：Elasticsearch的Index相当于数据库的TableType：这个在新的Elasticsearc

liwsh·2023-07-23 23:04

Storm入门,看这篇就够了

Ps:·Hadoop分布式存储和分布式计算两个难题全部解决了。但是缺点就是不能实时处理数据，Storm的作者就像写一个这

留歌_36·2023-07-23 14:29

HDFS分布式存储系统简述

HDFS分布式存储系统HDFS存储架构文件存储系统原理文件存储在磁盘上，磁盘读取数据靠的是机械运动。

这里是YH·2023-07-23 14:43

分布式系统开发实战：分布式存储，分布式存储常用技术

分布式存储互联网每天产生数以亿计的数据，这些数据如何能够被正确地存储、解析、利用，是摆在每个数据公司面前的挑战。

写代码的珏秒秒·2023-07-23 08:14

【#2-籍雨亭】Ulord的共识算法

籍雨亭·2023-07-23 05:37

HBase分布式数据库（NoSQL）

ApacheHBase介绍HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

小中.·2023-07-23 04:48

IPSE星际搜索引擎

的搜索引擎https://ipse.io已关注IPSE黄皮书：下一代价值互联网的流量入口载入中15分钟作者：Silver，区块链开发工程师，Spark架构师，IPSE首席架构师背景时间到了2019年，分布式存储逐渐进入了落地阶段

慎独戒欺·2023-07-23 02:27

Hive和Spark

1.Hive简介hive的定位是数据仓库，其提供了通过sql读写和管理分布式存储中的大规模的数据，即hive即负责数据的存储和管理（其实依赖的是底层的hdfs文件系统或s3等对象存储系统），也负责通过sql

万里长江横渡·2023-07-22 14:22

Ceph对象存储运维的惊魂72小时

转自：http://stor.51cto.com/art/201803/567763.htmCeph作为一款开源的分布式存储软件，可以利用X86服务器自身的本地存储资源，创建一个或多个存储资源池，并基于资源池对用户提供统一存储服务

Joncc·2023-07-22 06:41

云栖干货回顾 |“顶级玩家”集结！分布式数据库专场精华解读

多位阿里云分布式数据库领域核心专家以及业界专家进行了专题演讲，内容涵盖分布式**POLARDB（DRDS）、AnalyticDB、OceanBase**多款云上核心分布式数据库产品，涉猎分布式SQL引擎、分布式存储引擎

阿里云数据库·2023-07-22 04:17

Doris架构包含哪些技术？为什么进行技术整合？

Impala是一个非常好的MPPSQL查询引擎，但是缺少完美的分布式存储引擎。自研列式存储：存储层对存储数据的管理通过stor

传智教育·2023-07-21 23:09

Ceph部署

目录一、存储基础单机存储设备单机存储的问题二、分布式存储（软件定义的存储SDS）分布式存储的类型三、Ceph简介四、Ceph优势五、Ceph架构六、Ceph核心组件七、OSD存储后端八、Ceph数据的存储过程九

川子^·2023-07-21 15:27

什么是对象存储COS？它又有哪些优势？

产品概述对象存储（CloudObjectStorage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。

有头发程序猿·2023-07-21 09:50

浅谈微信朋友圈的架构设计

可以使用分布式存储系统，如Hadoop或Ceph等，来存储多媒体数据，并使用关系型数据库，如MySQL或PostgreSQL等，来存储其他数据。服务器架构为了支持高并发和高可用性，可以使用分

Java技术攻略·2023-07-21 07:58

大数据技术原理与应用（第3版）期末复习

数据库命令操作U1大数据的4v特征数据量大、处理快、数据类型多、价值密度低大数据完全颠覆了传统的思维方式：全样而非抽样、效率而非精确、相关而非因果第三次信息化浪潮：云计算，物联网和大数据大数据的两大核心技术分布式存储

Blancness·2023-07-21 00:21

开源项目介绍｜Apache Ozone-分布式大数据通用存储

腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalApacheOzone项目介绍标签：大数据存储技术栈：Java标签：大数据存储技术栈：JavaApacheOzone-分布式大数据通用存储，Ozone是一个大数据场景分布式存储

tencent__open·2023-07-20 23:52

分布式运用存储系统Ceph

瓜皮小菜·2023-07-20 23:48

PG概述及OSD对PG状态的影响

前言随着分布式存储的广泛应用，目前对PG的关注越来越多，本文基于ONStor分布式存储系统简要介绍一下PG的状态变化，重点说明OSD对PG状态的影响。

yuzhangfeng·2023-07-20 10:43

IT新技术

传感器技术等应用：物流、智能交通、智能医疗、智能家居等2.大数据巨量资料，海量、高增长率和多样化的信息资产；特点：4v--大量、多样、高速、价值密度低应用：金融行业、电商行业、医疗行业等3.云计算关键技术：虚拟化、分布式存储技术

悟空耍·2023-07-20 04:49

52 类 110 个常用 Java 组件和框架整理

目录WEB容器数据库缓存消息队列负载均衡分布式存储数据库集群分布式协调大数据相关日志收集与分析搜索系统监控分库分表微服务RPC框架网络框架MVC框架数据层框架数据库连接池Redis客户端Rest接口设计与开发数据参数校验安全相关

月半花开·2023-07-19 19:48

烃贝科技CEO：分布式存储与边缘计算防范系统系风险

一方面，近期受到疫情影响，生意本来就很难做，再加上微盟系统崩溃时间过长，中小企业直哭喊：“生意做不下去了！”真是“雪上加霜”啊！01互联网公司员工删库致公司市值暴跌10亿一开始还以为是个段子，没想到还真实发生了！据内部人士介绍：微盟是一家位于上海的互联网SaaS综合服务商，通过平台为中小商家在线上开店，借助微盟的平台微网站/小程序“模版”，把商家自己的店铺放上去，这样就中小商家就不用自己招募开发人

烃贝区块链·2023-07-19 18:01

Ceph 分布式存储之资源池管理

一、资源池Pool管理（在admin和node三个节点都可）1、资源池介绍上面我们已经完成了Ceph集群的部署，但是我们如何向Ceph中存储数据呢？首先我们需要在Ceph中定义一个Pool资源池。Pool是Ceph中存储Object对象抽象概念。我们可以将其理解为Ceph存储上划分的逻辑分区，Pool由多个PG组成；而PG通过CRUSH算法映射到不同的OSD上；同时Pool可以设置副本size大小

狮子跑了·2023-07-19 18:15

Ceph 分布式存储之应用

一、创建CephFS文件系统MDS接口1、服务端操作1）在管理节点创建mds服务[root@adminceph]#cd/etc/ceph[root@adminceph]#ceph-deploymdscreatenode01node02node03[ceph_deploy.conf][DEBUG]foundconfigurationfileat:/root/.cephdeploy.conf[ceph

狮子跑了·2023-07-19 18:14

区块链之脑洞大开

第三，人人都有账本，所以即使某一些账本损坏了，整体也不受影响，分布式存储。总结：区块链运用技术解决了信任问题。区块链有什么用？人们了解到区块链技术的起因，是源于比特币。

007胡明·2023-07-19 15:17

Ceph分布式存储服务

一、Ceph分布式存储概述我们学习过文件共享存储：FTP、Windows共享、NFS，MFS等；块存储LVM等；对象存储HDFS（HadoopFileSystem）等服务。

藏经老曾·2023-07-19 15:08

分布式存储-ceph

ceph简介Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统()。ceph的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用ceph作为openstack的唯一后端存储来提高数据转发效率。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，

zzhui20·2023-07-19 15:38

分布式存储之ceph

1.1ceph特点高性能高可用性高可扩展性特性丰富1.2架构对象（object）:原生API块（block）:支持精简配置、快照、克隆文件（File）:Posix接口，支持快照1.3核心组件Monitor:一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据。监控整个集群的状态，维护集群的clusterMAP二进制表，保证集权数据的一致性。OSD:

m_0806·2023-07-19 15:08

Ceph分布式存储系统架构研究综述

Ceph项目是加州大学圣克鲁兹分校的Weil于2006年开发的。当时他发现元数据的查询和维护严重影响了Lustre等分布式文件系统的性能和扩展性，因此设计了一种利用算法来确定数据与存储节点对应关系的方法CRUSH。2015年5月发布的Linux内核2.6.34已开始支持Ceph。Weil也成立了IntTank公司，专注于Ceph的开发。2014年5月，该公司被RedHat收购。Ceph同时支持３种

开源Linux·2023-07-19 15:08

Linux 运维知识梳理（8）GlusterFS、Ceph 分布式存储

文章目录一、存储简介1、存储的分类2、存储类型的分类3、分布式存储介绍二、GlusterFS2.1GlusterFS集群1、创建集群2、准备存储目录3、创建存储卷4、启动存储卷5、客户端挂载6、卷的删除

刘李404not found·2023-07-19 15:37

【Linux】分布式存储系统 Ceph

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档分布式存储系统CephCeph概述1、Ceph简介2、存储基础3、Ceph优势4、Ceph架构4、Ceph核心组件5、OSD存储后端6、Ceph

ikun小鸡子·2023-07-19 15:06

推荐频道

分布式存储