E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件系统Ceph
分布式NAS集群+
ceph
+CTDB
分布式存储系统中,分布式NAS、CTDB和
Ceph
常常被结合使用以提供高性能、高可用性和灵活扩展的存储解决方案。
Comedy_宁
·
2025-02-22 05:09
分布式
ceph
linux
NAS
CTDB
4.
Ceph
监控
Ceph
监控演示如何监控一个
Ceph
集群。我们将学习如何用
ceph
的命令行工具进行监控。监控集群的整体状态健康状态
ceph
命令的health选项查看集群的健康状态。
yongbang_yan
·
2025-02-22 05:08
ceph集群
运维
ceph
fs status 输出详解
ceph
fsstatus命令用于显示
Ceph
文件系统的状态信息,其中各列的含义如下:RANK:元数据服务器(MDS)的等级或标识符。
时空无限
·
2025-02-22 05:38
ceph
ceph
ceph
中报错“ clock skew detected on mon.
ceph
2, mon.
ceph
3”
自己搭建的
ceph
集群,显示时间不同步:clockskewdetectedonmon.
ceph
2,mon.
ceph
3但是查看chrony进程已经启动,
ceph
配置文件中,如下参数也已经配置,
下一页盛夏花开
·
2025-02-22 04:06
ceph
ceph
运维
ceph
-deploy osd activate xxx bluestore ERROR
ceph
luminous12.2.0bluestore添加osd出错:[
ceph
_deploy.conf][DEBUG]foundconfigurationfileat:/root/.
ceph
deploy.conf
only火车头
·
2025-02-22 04:33
Ceph
ceph
bluestore
ceph-deploy
aio-max-nr
ceph
bluestore Blob 分析
ceph
version:11.0.0bluestore包含一个非常重要的结构,Blob,本节主要分析Blob,注意
ceph
版本是基于11.0.0的。
only火车头
·
2025-02-22 04:03
Ceph
ceph
HEALTH_WARN clock skew detected on mon.f, mon.o, mon.p, mon.q
问题
ceph
healthdetail[WRN]MON_CLOCK_SKEW:clockskewdetectedonmon.f,mon.o,mon.p,mon.qmon.fclockskew0.243128s
时空无限
·
2025-02-22 04:29
ceph
ceph
一次交换机故障导致的云平台(opensatck+
ceph
)不可用的记录
前言发现几年前记录的一次由于交换机故障导致的云平台使用异常的问题,因为比较少见所以也整理记录一下一、细节过程用户联系说好多运行在云主机上的网页访问不了了,需要处理一下。甲方现场还挺远,我就先登陆在虚拟机上部署的堡垒机,发现堡垒机也不好使。机房运维联系说有台业务交换机坏了,有备件,正在更换。换上之后,过了一会,堡垒机就好使了。赶紧登陆上去检查服务。存储集群已经开始自动恢复,虚拟机也逐渐恢复了业务能力
大新新大浩浩
·
2025-02-22 04:29
openstack
ceph
服务器
网络
Linux-ISCSI
⏰️创作时间:2025年02月17日19点50分iSCSI协议是没有同步机制的,要想解决同步机制,需要配置集群文件系统或者是
分布式文件系统
,防止数据不同步的问题iSCSI基于IP协议的技术标准,该技术允许用户通过
DC_BLOG
·
2025-02-20 20:16
Linux
linux
服务器
Hadoop之HDFS的使用
HDFS是什么:HDFS是一个分布式的文件系统,是个网盘,HDFS是一种适合大文件存储的
分布式文件系统
HDFS的Shell操作1、查看hdfs根目录下的内容-lshdfsdfs-lshdfs://hadoop01
想要变瘦的小码头
·
2025-02-20 20:43
hadoop
hdfs
大数据
k8s rook-
ceph
MountDevice failed for volume pvc An operation with the given Volume ID already exists
https://github.com/rook/rook/issues/4896环境kubeadm搭建的k8s集群,rook-
ceph
部署的
ceph
存储,monpod所在宿主机和挂载客户端机器pod所在机器不在一个二层网络里
时空无限
·
2025-02-20 02:36
Kubernetes
kubernetes
ceph
rook-
ceph
无法登录dashboard
环境ubuntu22.04tlsk8s1.20.2现象搭建好
ceph
集群环境后,执行如下命令获取admin登录账号的密码kubectl-nrook-
ceph
getsecretrook-
ceph
-dashboard-password-ojsonpath
时空无限
·
2025-02-20 02:06
Kubernetes
ceph
ceph
kubernetes
Rook-
ceph
(1.92最新版)
rbd模块modproberbdcat>/etc/rc.sysinit/etc/sysconfig/modules/rbd.modulesfilesystem.yaml<
ceph.rook.io
野猪佩挤
·
2025-02-20 01:32
k8s
存储
ceph
ceph
nautilus(14.2.22) 通过ansible部署grafana无法启动
ceph
nautilus(14.2.22)通过ansible部署grafana无法启动一、
ceph
环境
ceph
版本:nautilus(14.2.22)二、
ceph
ansible部署1、在
ceph
ansible
Ethan@YL
·
2025-02-20 01:00
运维
ceph
分布式存储
ansible部署
ceph
前言:
ceph
的官网有坑。按照官网部署,不会一蹴而就。会遇到各种各样的问题,
ceph
文档有待改进。
时空无限
·
2025-02-20 01:30
ceph
ansible
ceph
linux
ansible进行
ceph
-rgw部署
用户管理用户创建执行下面的命令新建一个用户(S3接口):radosgw-adminusercreate—uid={username}—display-name=”{display-name}”[—email={email}]实例如下:radosgw-adminusercreate—uid=johndoe—display-name=”JohnDoe”—email=john@example.com获取
睿江云计算
·
2025-02-20 01:57
程序人生
开发工具
开发
ansible
Hadoop管理工具dfsadmin和fsck的使用
Hadoop提供了多个管理工具,其中dfsadmin和fsck是用于管理HDFS(Hadoop
分布式文件系统
)的重要工具。以下是它们的使用方法和常见命令。
脚本无敌
·
2025-02-19 16:46
Hadoop
hadoop
npm
大数据
MongoDB sharding
因为Mongo主要是支持海量数据存储的,所以Mongo还自带了一个出色的
分布式文件系统
GridFS,可以支持海量的数据存储。
tycoon1988
·
2025-02-19 11:56
北航云计算公开课
HBase简介:高效分布式数据存储和处理
HBase的核心特点包括:分布式存储:HBase使用Hadoop
分布式文件系统
(HDFS)作为底层存储,数据被分布在集
代码指四方
·
2025-02-18 03:07
分布式
hbase
数据库
大数据
hadoop 1.0 基本概念了解
Map函数负责将输入数据转化为中间值,中间值再通过Reduce函数转化成输出数据HDFS:HDFS是一个
分布式文件系统
。通过一次写入,多次读出来实现。Chukwa:Chukw
fenggfa
·
2025-02-12 07:48
hadoop
hadoop
大数据
mapreduce
深入理解Hadoop 1.0.0源码架构及组件实现
该版本包含核心
分布式文件系统
HDFS、MapReduce计算模型、Common工具库等关键组件。通过分析源码,可深入理解这些组件的设计和实现细节,包括数据复制、任务调度、容错机制以及系统配置管理。
隔壁王医生
·
2025-02-12 07:14
云存储 (OSS、CPFS 和 NAS)
在云存储领域,对象存储服务(OSS)、云
分布式文件系统
(CPFS)和网络附加存储(NAS)是三种常见的存储解决方案。它们各自具备不同的技术特点和适用场景,选择合适的存储方案能够更好地满足不同业务需求。
HaoHao_010
·
2025-02-11 18:09
服务器
云计算
HiveQL命令(三)- Hive函数
ApacheHive作为一种流行的数据仓库工具,提供了丰富的内置函数,帮助用户高效地处理和分析存储在Hadoop
分布式文件系统
(HDFS)中的数据。这些内置函数涵盖了数值计算、字符
BigDataMagician
·
2025-02-11 12:00
HiveQL命令
hive
hadoop
数据仓库
掌握大数据--Hive全面指南
HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具,它提供了一种类似于SQL的查询语言,称为HiveQL,用于查询和分析存储在Hadoop
分布式文件系统
纪祥_ee1
·
2025-02-10 22:40
大数据
hive
hadoop
Ceph
网络模块(1) - 网络模块基本结构
Ceph
网络模块基本结构本文基于Jewel版本对
Ceph
的网络模块进行分析,主要针对AsyncMessenger的方式。
hequan_hust
·
2025-02-10 01:10
Ceph
Ceph
网络模块
分布式存储
Ceph
架构以及部署
Ceph
是一个开源的分布式存储系统,它提供了对象存储、块存储和文件系统存储。
Ceph
的设计目标是高度可扩展性和高性能,同时提供无单点故障的高可用性。
完颜振江
·
2025-02-10 00:35
ceph
架构
深度剖析分布式存储架构
【摘要】本文介绍了分布式存储的架构类型、分布式理论、不同的
分布式文件系统
和分布式键值系统等,较为系统详尽。全文约2万字,可收藏。
罗伯特之技术屋
·
2025-02-09 07:28
大数据及数据管理(治理)专栏
计算机工程的科学与探索专栏
分布式
架构
数据库
如何处理大规模数据集中的数据处理:Spark和ApacheFlink
DataProcessing)任务调度(TaskScheduling)HadoopApacheSparkApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解1.MapReduce(1)概述(2)算法原理
分布式文件系统
AI天才研究院
·
2025-02-07 01:43
DeepSeek
R1
&
大数据AI人工智能大模型
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
HIVE常见面试题
通过将结构化的数据文件映射成表,并提供类SQL的查询功能,使得用户可以通过编写SQL语句来进行数据分析,而不需要编写复杂的MapReduce程序2.简述hive读写文件机制Hive读写文件机制主要依赖Hadoop的HDFS(
分布式文件系统
兔子宇航员0301
·
2025-02-06 18:59
数据开发小白成长笔记
hive
hadoop
数据仓库
使用python实现Hadoop中MapReduce
Hadoop包含HDFS(
分布式文件系统
)、YARN(资源管理器)、MapReduce(编程模型)。
qq_44801116
·
2025-02-06 06:10
Python
python
hadoop
mapreduce
Hadoop1.0-HDFS介绍
Hadoop是Apache软件基金会所开发的并行计算框架与
分布式文件系统
。最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr
·
2025-02-06 03:13
HADOOP介绍
hadoop
HDFS
物联网架构之Hadoop
其核心架构包括以下几个关键组件:1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的
分布式文件系统
,用于存储大数据集。
moluxiangfenglo
·
2025-02-06 01:54
架构
hadoop
大数据
Spark3.1.2单机安装部署
Spark专注于数据的处理分析,而数据的存储还是要借助于Hadoop
分布式文件系统
HDFS等来实现。大数据问题场景包含以下三种:复杂的批量数据处理基于历史数据的交
花菜回锅肉
·
2025-02-04 07:43
大数据
spark
大数据
hadoop
Python结合pyhdfs模块操作HDFS
分布式文件系统
使用python操作hdfs本身并不难,只不过是把对应的shell功能“翻译”成高级语言,我这里选用的是hdfs,下边的实例都是基于hdfs包进行的。1:安装由于我的是windows环境(linux其实也一样),只要有pip或者setup_install安装起来都是很方便的pipinstallhdfs2:Client——创建集群连接fromhdfsimport*client=Client("ht
唐僧不爱八戒
·
2025-02-04 00:50
python
hdfs
开发语言
Hive 分区和分桶总结
分区表实际上就是对应一个在HDFS(或者是其他
分布式文件系统
)文
Stray_Lambs
·
2025-02-03 14:23
大数据
hive
CentOS7部署
ceph
CEPH
简介不管你是想为云平台提供
Ceph
对象存储和/或
Ceph
块设备,还是想部署一个
Ceph
文件系统或者把
Ceph
作为他用,所有
Ceph
存储集群的部署都始于部署一个个
Ceph
节点、网络和
Ceph
存储集群
假面生
·
2025-02-03 04:07
存储
linux
Centos 7下
ceph
的安装
文章目录
ceph
安装环境准备工作1、安装
ceph
-deploy2、配置时间同步3、配置节点间ssh无密码登录4、防火墙配置5、安装包管理器部署
ceph
集群1、创建
ceph
操作目录(node-1)2、创建集群
村口树下
·
2025-02-03 04:06
《技术人生》系列
ceph
HDFS
分布式文件系统
3-2 shell定期采集数据到HDFS
1、准备工作创建目录:/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下:#!/bin/bashexportJAVA_HOME=/export/servers/jdkexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:JAVA_
诺特兰德
·
2025-02-02 03:38
hdfs
hadoop
大数据
Ceph
:关于
Ceph
中使用 RADOS 块设备提供块存储的一些笔记整理(12)
写在前面准备考试,整理
ceph
相关笔记博文内容涉及使用RADOS块设备提供块存储理解不足小伙伴帮忙指正对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。
山河已无恙
·
2025-01-31 17:04
零基础入门Ceph
ceph
笔记
Ceph
的原理与架构
Ceph
的原理与架构
Ceph
的原理与架构
Ceph
的起源与哲学
Ceph
的技术
Ceph
的架构及组件
stybxiao
·
2025-01-30 18:13
Ceph
ceph
理解
Ceph
的三种存储方式(块设备、文件系统、对象存储)
前言
Ceph
是一个开源的、统一的、分布式的存储系统这是我们宣传
Ceph
时常说的一句话,其中“统一”是说
Ceph
可以一套存储系统同时提供块设备存储、文件系统存储和对象存储三种存储功能。
118路司机
·
2025-01-30 17:11
大数据
Ceph
存储架构详解
1、
Ceph
三大存储接口
Ceph
能够提供企业中三种常见的存储需求:块存储、文件存储和对象存储。
wespten
·
2025-01-30 17:11
虚拟化技术
SDN
NFV
云计算技术
OpenStack
数据库存储
块存储
文件存储
对象存储
分布式网络存储
ceph
架构
【日常运维】mongoDB学习-入门介绍-其强大之处以及用武之地
python运维脚本》:python运维脚本实践《shell》:shell学习《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《
ceph
向往风的男子
·
2025-01-30 03:21
运维日常
DBA
mongodb
Hive存储系统全面测试报告
Hive的设计初衷是为了简化大数据集的查询和管理,它允许用户通过简单的SQL语句来操作存储在Hadoop
分布式文件系统
(HDFS)上的大规模数据集。
蚂蚁质量
·
2025-01-29 13:27
软件测试
测试用例
功能测试
ceph
新增节点,OSD设备,标签管理(二)
一、访问客户端集群方式方式一:使用
ceph
admshell交互式配置[root@
ceph
141~]#
ceph
admshell#注意,此命令会启动一个新的容器,运行玩后会退出!
淡黄的Cherry
·
2025-01-29 11:29
存储篇
ceph
系统设计面试题
文章目录**设计一个短网址服务**:如何将长网址转换为短网址,并支持短网址的生成、存储、解析和重定向等功能**设计一个
分布式文件系统
**:考虑如何实现文件的存储、访问、备份、容错等功能,以及如何处理大规模数据和高并发访问
慢慢慢时光
·
2025-01-28 03:14
面试准备
面试
系统设计
解决Python中libhdfs.so的共享库找不到的问题
这个错误通常发生在使用Python访问Hadoop
分布式文件系统
(HadoopDistributedFileSystem,简称HDFS)时,由于缺少libhdfs.so共享库文件而
code_welike
·
2025-01-26 16:34
python
开发语言
Python
“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce
文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5
分布式文件系统
一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验:在一个大型语料库上有
绒绒毛毛雨
·
2025-01-26 01:35
大数据挖掘
数据挖掘
mapreduce
人工智能
Hadoop
分布式文件系统
-HDFS架构
一、HDFS的简介HDFS全称HadoopDistributedFileSystem,是分布式文件管理系统。主要是为了解决大数据如何存储的问题,跟一般文件系统不同的是,它可以通过扩展服务器结点来扩充存储量,可以用低成本的硬件构建出支持高吞吐量的文件系统。二、HDFS的特点高容错性:一个HDFS集群会包含非常多的结点,HDFS将文件分块存储,并且会保存多个副本到不同的机器节点上以保证数据的安全,而且
Fancs2024
·
2025-01-23 09:37
hadoop
hadoop
hdfs
Hadoop是什么,怎么部署安装?
它包括两个核心组件:Hadoop
分布式文件系统
(HDFS)和HadoopYARN(YetAnotherResourceNegotiator)。
狮歌~资深攻城狮
·
2025-01-22 15:01
hadoop
大数据
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他