分布式存储CEPH

大数据-hadoop

三大发行版本:Apache、Cloudera、HortonworksApache版本最原始的版本Cloudera在大型互联网企业中用的较多Hortonworks文档较好1.4架构hadoop由三个模块组成分布式存储
highly2009·2023-09-22 10:59

ceph分布式存储部署

一、概述是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。特点1、统一存储虽然ceph底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。
lsqaa·2023-09-22 07:55

ceph分布式存储

目录一、概述1、特点2、组件3、架构图二、分布式部署1、环境拓扑2、实验准备3、ceph安装安装初始化monitor同步管理信息安装mgr（管理守护进程）安装rgw创建mds服务OSD安装4、dashboard
黑影680·2023-09-22 07:50

ceph分布式存储

ceph特点Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。
载雨舟·2023-09-22 04:44

MQ - 17 集群篇_（性能）分布式存储系统的编程技巧

文章目录导图PrePageCache调优和DirectIO白话概念核心逻辑失效场景优化方案FileChannel和mmapFileChannelmmap预分配文件、预初始化、池化直接内存（堆外）和堆内内存同步刷盘新的存储AEP线程绑核SSD的4KB对齐其他一些优化手段JVM调优减少线程切换Unsafe其他知识点总结<
小小工匠·2023-09-22 01:01

Ceph (S3)对象存储通过生命周期管理实现存储的智能分层

前提条件本文假设您部署了一个Ceph集群，其中包含2个RGW，并创建了所需的RGW池，例如buckets.data、buckets.index、buckets.non-ec、rgw.logrgw.meta
新钛云服·2023-09-21 23:24

智能运维-从0搭建大规模分布式AIOps系统

文章目录智能运维开源数据采集技术数据采集工具对比轻量级采集工具Filebeat日志采集解析工具分布式消息队列大数据存储技术传统架构基于HDFS的分布式存储分层存储大规模数据离线计算分析经典的离线计算分布式离线计算时序数据分析框架
iwtbs_kevin·2023-09-21 22:28

sqlserver分布式存储过程

useGHFNgo--声明host(地址)、user(用户)、pwd(密码)declare@hostvarchar(20);declare@uservarchar(20);declare@pwdvarchar(20);--赋值声明host(地址)、user(用户)、pwd(密码)set@host='10.1.1.35';set@user='sa';set@pwd='bdxx';--删除已经存在的g
zhouxg1205·2023-09-21 20:31

SQL Server 分布式存储过程事务

首先先要对SQLServerdtc配置打开“控制面板―管理工具―组件服务”（或者运行“Dcomcnfg.exe”）打开“组件服务―计算机”在“我的电脑”上点击右键，点击“属性”在MSDTC选项卡中，点击“安全配置”按钮。操作如下：SETXACT_ABORTON的设置当为ON时，如果你存储中的某个地方出了问题，整个事务中的语句都会回滚为OFF时，只回滚错误的地方跨库操作：execsp_addlink
FroDaniel·2023-09-21 20:27

ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
奇迹也被称为侥幸与横祸·2023-09-21 12:15

免费体验国内首款Kubernetes原生的企业级分布式存储，还有礼品可拿！

近期，SmartX发布正式发布国内首款Kubernetes原生的企业级分布式存储IOMesh1.0企业版，其可无缝融入Kubernetes原生的开发和运维体系，对Kubernetes集群内的存储资源进行整合与管理
码农翻身·2023-09-21 10:24

自定义及发布一个webservice服务

服务Endpoint.publish()发布(默认对public修饰的方法进行发布)-通过wsimport生成本地代理来访问自己发布的webservicewsimport1.发布自定义webservicephone.javapackagews.myWeb
weixin_34278190·2023-09-21 07:03

高级运维学习（八）Ceph 概述与部署

ceph概述ceph可以实现的存储方式：块存储：提供像普通硬盘一样的存储，为使用者提供“硬盘”文件系统存储：类似于NFS的共享方式，为使用者提供共享文件夹对象存储：像百度云盘一样，需要使用单独的客户端Ceph
.久一·2023-09-21 06:14

大数据学习之Hadoop

一、基础概念Hadoop包含HDFS和MapReduce，HDFS实现分布式存储，MapReduce实现数据分布式计算。HDFS：HDFS是由Namenode和Datanode组成。
我问你瓜保熟吗·2023-09-21 04:40

ELK企业级日志分析系统

1.ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索
whtqwq·2023-09-21 00:12

从B-21轰炸机看美空军作战战略趋势

(U.S.AirForcephoto)(一)B-21开发进展(二)B-21性能研判声明:公众号转载的文章及图片出于非商业性的教育和科研目的供大家参考和探讨，并不意味着支持其观点或证实其内容的
renhongxia1·2023-09-21 00:11

对话ChatGPT：AIGC时代下，分布式存储的应用与前景

随着科技的飞速发展，我们正步入一个被称为AIGC时代的全新阶段，人工智能、物联网、大数据、云计算成为这个信息爆炸时代的主要特征。自2022年11月以来，ChatGPT的知名度迅速攀升，引发了全球科技爱好者的极大关注，其高超的编程、撰写文章、解决问题等能力使得文本生成型AI成为热门话题。赞同者着重强调了其在各种环境中展现出的优势，许多科技领域的巨头纷纷表示赞赏。批评者则指出可能带来的各种负面影响，他
浪潮圈·2023-09-20 22:52

使用 4EVERLAND IPFS 固定服务 API

您可能已经知道星际文件系统或IPFS是一个分布式存储网络，来自世界各地的计算机形成节点来共享数据。为了充分受益于在IPFS网络上存储数据，固定文件和文件夹以确保它们在网络上的长期存储至关重要。
·2023-09-20 18:35

基于 ACK Fluid 的混合云优化数据访问（三）：加速第三方存储的读访问，降本增效并行

的混合云优化数据访问（二）：搭建弹性计算实例与第三方存储的桥梁》在前一篇文章《基于ACKFluid的混合云优化数据访问（二）：搭建弹性计算实例与第三方存储的桥梁》中，介绍如何通过ACKFluid接入第三方分布式存储
·2023-09-20 18:03

Ceph 遇到的错误

错误1ceph_deploy.monmon.ceph-mon-2monitorisnotyetinquorum移除监控节点上次初始化创建的文件ceph-deploymondestroyceph-mon-node1
河码匠·2023-09-20 15:07

星辰天合受邀参加太平金科首届开发者大会

星辰天合金融行业解决方案总监雷俊作了《XSKY分布式存储技术和应用》的主题演讲，重点分享了星辰天合的对象存储在金融行业的最佳应用实践。星辰天合金融行业解决方案总监雷俊做分享太平
XSKY星辰天合·2023-09-20 15:35

工欲善其事，必先利其器。——记IPFS挖矿机箱

首先，IPFS网络中的文件会被赋予一个独一无二的哈希值，不可随意更改；其次，IPFS网络是分布式存储，一个文件可被分散
c7e902dbde4b·2023-09-20 11:27

对话ChatGPT：AIGC时代下，分布式存储的应用与前景

随着科技的飞速发展，我们正步入一个被称为AIGC时代的全新阶段，人工智能、物联网、大数据、云计算成为这个信息爆炸时代的主要特征。自2022年11月以来，ChatGPT的知名度迅速攀升，引发了全球科技爱好者的极大关注，其高超的编程、撰写文章、解决问题等能力使得文本生成型AI成为热门话题。赞同者着重强调了其在各种环境中展现出的优势，许多科技领域的巨头纷纷表示赞赏。批评者则指出可能带来的各种负面影响，他
YoungerChina·2023-09-20 07:06

【运维面试100问】（二）你最擅长什么？对某某擅长吗？---请设计一个符合公司使用的lvs架构

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2023-09-20 06:56

科技云报道：分布式存储红海中，看天翼云HBlock如何突围？

正因如此，分布式存储凭借高安全性、可靠性、可用性、易于扩展等特性，在敏态业务中得到了快速发展。短短几年内，国内分布式存储增长率节节攀升，市场规模不断扩大。中国信通院调查数
科技云报道·2023-09-20 06:18

Ceph数据保护（多副本和纠删码）

文章目录一、什么是分布式存储？二、什么是多副本和纠删码技术？三、多副本和纠删码对存储节点有什么要求？四、什么是M+N:1纠删码？五、多副本和纠删码哪个好，应该如何选择？
gengduc·2023-09-20 05:27

集中式存储和分布式存储

文章目录集中式存储DAS（DirectAttachedStorage，直接连接存储)NAS（NetworkAttachedStorage，网络附加存储）SAN（StorageAreaNetwork，存储区域网络）分布式存储集中式存储和分布式存储的区别存储环境存储方式其他方面存储的未来参考集中式存储集中式存储是指将数据存储在由一台或者多台主机组成的中心节点上
gengduc·2023-09-20 05:57

开源分布式存储系统（HDFS、Ceph）架构分析

文章目录中间控制节点架构-HDFSNameNode节点分析DataNode节点分析SecondNameNode节点分析Client分析完全无中心架构-CephCephMonitor分析CephOSD分析
gengduc·2023-09-20 05:25

k8s储存卷

卷的类型In-Tree存储卷插件◼临时存储卷◆emptyDir◼节点本地存储卷◆hostPath,local◼网络存储卷◆文件系统：NFS、GlusterFS、CephFS和Cinder◆块设备：iSCSI
inner222·2023-09-20 05:49

Hadoop的YARN高可用

一、YARN简介Hadoop2.0即第二代Hadoop，由分布式存储系统HDFS、并行计算框架MapReduce和分布式资源管理系统YARN三个系统组成，其中YARN是一个资源管理系统，负责集群资源管理和调度
万里长江横渡·2023-09-19 20:23

2021-06-28

威廉和凯特，在菲利普亲王葬礼结束后，不与哈里说话，因为怕泄漏WilliamandKaterefusedtotalktoHarryafterPrincePhilip’sfuneral剑桥公爵和公爵夫人，萨塞克斯公爵
潇洒二爷·2023-09-19 20:44

Loki 日志系统分布式部署实践四 minio

说明loki支持文件系统、对象存储、NoSQL，对象存储大多都要使用公有云，但所幸的是它支持了awss3兼容的存储，那么这里就可以使用cephrgw和minio，本篇部署minio说明对象存储在云环境下是一种基础设施
kong62·2023-09-19 18:49

实时云渲染：元宇宙技术开发核心之一

元宇宙6个核心技术区块链技术：区块链技术是分布式存储、点对点
·2023-09-19 15:33

9月11-12日上课内容 第二章 GFS 分布式文件系统

本章结构前言存储块存储硬盘文件存储nfslvmraidext4ext3centos6xfscentos7对象存储GFSCephfastdfs云端OSS阿里云存储url链接S3亚马逊url链接switch
m0_70766460·2023-09-19 15:02

分布式文件系统ceph安装

当然在开源界已经有好几款比较成熟的产品，比如Ceph，GlusterFS,TFS,HDFS等。GlusterFS，ceph在最近几年发展火热。
jerry的技术与思维·2023-09-19 10:22

巨杉与润和软件完成产品兼容认证

巨杉数据库SequoiaDB作为一款金融级分布式关系型数据库，其自研的原生分布式存储引擎支持完整ACID，具备弹性扩展、高并发和高可用特性。基于自研专利
巨杉数据库SequoiaDB·2023-09-19 08:23

Ceph入门到精通-ceph pool 删除导致 misplaced 的原因

misplaced的原因Ceph中的misplaced对象是指将对象（或对象的副本）存储在错误的位置上，这可能会导致性能下降或数据不一致的问题。
瓦哥架构实战·2023-09-19 04:47

Grafana 备份恢复教程

原文链接：https://fuckcloudnative.io/posts/how-to-back-up-all-of-your-grafana-dashboards/目前我们k8s集群的Grafana使用ceph
米开朗基杨·2023-09-18 19:24

开箱即⽤！HashData 云数仓上线华为蓝鲸应⽤商城

近⽇，经过华为对企业技术、产品和服务能⼒的综合评估，酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化，形成⼀体化解决⽅案，成功上线华为蓝鲸应⽤
·2023-09-18 16:34

【自律】如何长期自律-迎难而上

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2023-09-18 15:00

分布式存储分层：构建高效可靠的数据存储体系

分布式存储分层：构建高效可靠的数据存储体系随着大数据时代的到来，数据已经成为企业和社会最重要的资产之一。如何有效地存储、管理和维护这些数据，成为了一个亟待解决的问题。
a谷雨c·2023-09-17 19:27

合肥先进光源高速数据采集网的规划

除了这些产生海量数据的设备，服务器集群内部的数据，比如分布式磁盘阵列内部的传输数据，比如ceph、iSCSI、NFS等网络挂载的磁盘数据，这些海量数据都没有必
USTC-lup·2023-09-17 07:15

【运维面试100问】（一）打包了一个镜像推送上去harbor，推不上是什么原因？

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2023-09-16 23:13

系统架构常用的工具

HBaseHBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。
星火撩猿·2023-09-16 21:25

ELK企业级日志分析系统

ElasticSearch、Logstash和Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求ElasticSearch是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎
@LSW·2023-09-16 09:56

ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
Z在学习·2023-09-16 09:20

ELK 企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTfulWeb接口，让用
M上去学习·2023-09-16 09:49

手动创建k8s local-pv

基本概念kubernetes从1.10版本开始支持localvolume（本地卷），workload（不仅是statefulsets类型）可以充分利用本地快速SSD，从而获取比remotevolume（如cephfs
myonlyzzy·2023-09-15 22:15

MySQL的binlog日志的简介与查看

python爬虫入门进阶❤️4.Ceph实战，从原理到实战应有尽有。Ceph实战
码农飞哥·2023-09-15 22:30

站在 rados tools 看 ceph（4）

3.common_init_finish()common_init_finish()是在rados.cc的main函数中，紧接global_init()函数出现的。主要作用是开启service线程和admin_socket线程，具体调用过程：common_init_finish()=>cct->start_service_thread()=>_service_thread->create()，_a
DaemonXiao·2023-09-15 16:50
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他