集群存储

K8S中DaemonSet

删除DaemonSet将会删除它创建的所有Pod使用DaemonSet的一些典型用法：运行集群存储daemon，例如在每个Node上运行glusterd、ceph在每个Node上运行日志收集daemon
天宇轩-王·2019-12-23 20:00

【大话存储II】学习笔记（15章），块级集群存储系统

存储系统演变存储系统一直以来都是一个总的控制器加上几串磁盘扩展柜存在的，但是随着数据量的快速增加，性能受限于控制器，所以要提升整体的处理能力，主要有两种方法：最简单的是在单个控制器中加入更多的CPU、内存等，就如同PC机性能不够了，就加内存、换SSD等。这种扩展方式称为带内扩展，Scale-up这种方式的问题是，随着CPU数量的增多，耗费的设计成本会越来越大。比如说在多CPU的系统中，我们需要花费
dy2903·2019-12-14 02:31

深度解读k8s1.17新特性

此概述提供了一些最值得注意的更改的摘要，其中包括：集群网络和路由控制以及可伸缩性方面的重大改进；集群存储，pod调度和运行时选项的新功能；更好的自定义资源支持。
iyacontrol·2019-12-13 06:44

基于RocksDB实现精准的TTL过期淘汰机制

1.Parker简介Parker具有如下特性：支持海量存储：单个集群存储容
OPPO互联网技术·2019-12-08 20:51

【大话存储II】学习笔记（15章），文件级集群系统

【大话存储II】学习笔记（15章），块级集群存储系统里面分析的主要是块集群系统，同样文件级存储也可以集群化。
dy2903·2019-12-01 11:54

Elasticsearch 常见问题汇总及解决姿势（后续会持续更新）

1、集群存储资源高水位异常Causedby:org.elasticsearch.ElasticsearchStatusException:Elasticsearchexception[type=cluster_block_exception
ZhaoYingChao88·2019-10-11 10:14

redis3集群管理

以下操作基于redis3.X版本：Redis集群存储原理：Redis集群使用数据分片(sharding)，而非一致性哈希（consistencyhashing）来实现，一个Redis集群包含16384个哈希槽
曾经遇见·2019-09-26 16:00

k8s nfs

虽然有Rook、CephFS、Gluster、Swift、Cinder、HDFS等集群存储系统以及Google、微软、百度的网盘，但NFS使用简单，性能也还不错，是快速自建集群的存储的首选方案，而且通过
白石皓皓·2019-08-20 00:00

软件破解

软件破解【I7I54833762】电同徽目录1：单个简单的key存储的value很大2：hash，set，zset，list中存储过多的元素3：一个集群存储了上亿的key4：大Bitmap或布隆过滤器（
睿睿同学·2019-07-29 20:18

基于IP SAN的Oracle 11gR2 RAC构建（一）

按照功能，可以分为集群初始化组件、集群存储管理组件、应用程序组件。集群初始化组件主要包括：ohasd守护进程、bootstrap本地节点、
chimpansee·2019-06-20 09:32

集群存储

DAS硬盘和主板(直连)ide,sata,sas网络存储：NAS：文件系统samba,nfs(ext3,ext4,ntfs)SAN：块共享iscsi,DELL(EMC(vmware))FC：光迁网卡，交换机，路由器ISCSI分布式存储ceph[root@proxy~]#partprobe[root@proxy~]#lsblk.....................................
Blank memory·2019-06-05 10:04

redis大Key多Key分拆方案

文章目录背景单个简单的key存储的value很大该对象需要每次都整存整取该对象每次只需要存取部分数据hash、set、zset、list中存储过多的元素一个集群存储了上亿的keykey本身就有很强的相关性
春天的早晨·2019-06-02 22:37

百PB级Hadoop集群存储空间治理

现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。但也真有不少公司是真的有足够大的数据量的，也确实是在用心做大数据。这些公司通常规模不小，但盈利不一定理想。就算能稳定盈利，也一定有不小的成本压力。因为，大数据如果真的够大，是真的很费钱。以我所在的公司为例，每年的服务器采购成本就已经好几千万，眼看奔着8位数去了。因此我们有很强的节省成本的动力。
�Horde�·2019-05-10 09:41

百PB级Hadoop集群存储空间治理

现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。但也真有不少公司是真的有足够大的数据量的，也确实是在用心做大数据。这些公司通常规模不小，但盈利不一定理想。就算能稳定盈利，也一定有不小的成本压力。因为，大数据如果真的够大，是真的很费钱。以我所在的公司为例，每年的服务器采购成本就已经好几千万，眼看奔着8位数去了。因此我们有很强的节省成本的动力。
�Horde�·2019-05-10 09:41

百 PB 级 Hadoop 集群存储空间治理

现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。但也真有不少公司是真的有足够大的数据量的，也确实是在用心做大数据。这些公司通常规模不小，但盈利不一定理想。就算能稳定盈利，也一定有不小的成本压力。因为，大数据如果真的够大，是真的很费钱。以我所在的公司为例，每年的服务器采购成本就已经好几千万，眼看奔着8位数去了。因此我们有很强的节省成本的动力。
·2019-04-28 00:00

redis集群存储机制

redis说明：一：首先，在redis的每一个节点上，都有这么两个东西，一个是插槽（slot）可以理解为是一个可以存储两个数值的一个变量这个变量的取值范围是：0-16383。还有一个就是cluster我个人把这个cluster理解为是一个集群管理的插件。当你往RedisCluster中加入一个Key时，redis会根据crc16的算法得出一个结果，然后把结果对16384求余数，计算这个key应该分
PasserBy*_*·2019-04-27 13:01

nfs实现web后端集群存储

环境RHEL6.5nfs服务器server：192.168.169.133web服务器client1：192.168.169.131；client2：192.168.169.134nfs服务搭建见:https://blog.csdn.net/Ying_smile/article/details/80601519在server端：[root@server~]#mkdir/share/web-p#建立
Ying_smile·2019-04-15 01:38

容器监控实践—Prometheus存储机制

为了解决单节点存储的限制，prometheus没有自己实现集群存储，而是提供了远程读写的接口
二二向箔·2019-03-12 00:00

Etcd超全解：原理阐释及部署设置的最佳实践

它是许多分布式系统的主干，为跨服务器集群存储数据提供可靠的方式。它适用于各种操作系统，包括Linux、BSD和OSX。Etcd具有下面这
RancherLabs·2019-02-22 11:12

1.Hive与传统数据仓库的比较

2.传统型数据仓库，集群存储，存在容量上限的情况，扩充表容量也有限制，计算速度会急剧下降，只能适应于数据量比较小的商业应用，对于超大规模数据是无能为力的。
qq_35561207·2019-01-12 18:10

解析高可用分布式键值存储 etcd 的原理

etcd的官方将它定位成一个可信赖的分布式键值存储服务，它能够为整个分布式集群存储一些关键数据，协助分布式集群的正常运转。
小刀爱编程·2018-10-23 15:10

Kafka 学习记录

kafka集群存储的消息
西门吹牛々·2018-10-19 13:01

Linux集群存储——day4——Ceph分布式存储搭建、OSD块存储、COW快照、RBD存储镜像

Ceph的专有名词OSDs存储设备Monitors集群监控组件MDSs存放文件系统的元数据部署Ceph分布式存储Ceph集群中一般是一个管理服务器(control)多个存储服务器(node)，所以下面所有关于存储服务器的操作都需要对每个存储器进行操作(主机名为node1的操作需要在每个存储服务器上进行一次)0.部署前准备工作：0.1我们进行配置操作前，要先将所有服务器配置好yum网络等基本配置0.
Lu-Yu·2018-10-11 22:03

HDFS原理（笔记二）

1，HDFS集群存储流程图流程图解析1，系统启动过程步骤①当集群启动时，DN向NN发送一些信息（Block的位置信息、每一个DN的位置信息、DN的心跳信息（DNID）等）②客户端汇报当前要上传的文件信息
Hellomdk·2018-10-09 20:14

Linux集群存储——day1——udev管理技术、多路径服务

存储技术分为：直连式存储，网络存储直连存储SCSI接口(双绞线)小型计算接口、其接口对应的系统中的磁盘名是sd开头DAS技术将存储设备通过SCSI接口或者光纤通道链接计算机优点：存储速度综合较快，短距离中性价比高缺点：不能数据共享，在数据量巨大的时候，其性能下降较快网络存储NAS是一个专用数据存储服务器，属于一个用于数据共享的设备，用户可以通过TCP/IP协议访问数据SAN通过网络交换设备把存储设
Lu-Yu·2018-10-08 23:28

kubernetes控制器之DaemonSet

使用DaemonSet的一些典型用法：运行集群存储daemon，例如在每个Node上运行glusterd、ceph。日志收集，比如fluentd，logst
菲宇·2018-09-27 15:52

Kubernetes的HA高可用容器化部署(使用Kubespray) 以及使用PVC模式挂载Ceph集群存储

Kubernetes的HA高可用容器化部署(使用Kubespray)以及使用PVC模式挂载Ceph集群存储目录一、简介Kubespray，以前是Kargo，是Kubernetes社区保护伞下的一个项目。
liuyanwuyu·2018-09-24 20:34

检查hdfs块的块——工具fsck(file system check)

的块的状态hadoop1.x时候的命令，hadoop2.x也可使用：hadoopfsck/在hadoop2.0之后，可以使用新命令：hdfsfsck/返回结果截图如下：参数说明：Totalsize：hdfs集群存储大小
kwu_ganymede·2018-08-24 14:45

HBase权威指南【中文版】

这个分布式文件系统简称GFS，它使商用硬件集群存储海量数据。文件系统将数据在节点之间进行冗余复制，这样的话，即使一台存储服务器发生故障，也不会影响数据的可用性。
appleyk·2018-07-16 15:23

解析 Ceph : OSD , OSDMap 和 PG, PGMap

解析Ceph:OSD,OSDMap和PG,PGMap图ACeph致力于提供PB级的集群存储能力，并且提供自动故障恢复，方便的扩容和缩容能力，这些能力在典型的分布式存储系统就需要MetadataServer
沐阳zz·2018-06-07 14:54

HPC高性能计算知识: 深度解析Lustre体系结构

文章转自“Lustre文件系统与DDN”Lustre架构是一种集群存储体系结构，其核心组件就是Lustre文件系统。
架构师技术联盟·2018-06-01 08:20

[HCNA Cloud]FusionCompute架构原理

windows、linux操作系统；内存复用技术，提高50%虚拟机密度；多维度Qos精细化资源管控，保障VIP业务可用；基于NUMA架构的亲和度调度；支持GPU硬件虚拟化；虚拟机远程挂载光驱；VIMS虚拟集群存储文件系统
Grodd·2018-04-17 18:40

ceph客户端挂在ceph集群存储作为本地文件系统来使用

在前面的一篇文章中我使用三节点搭建了一个ceph集群，结构如下所示：主机名，ip，ceph节点node1，192.1681.220，monnode2，192.1681.221，osdnode3，192.1681.222，osd现在我要在客户端上挂载ceph作为本地文件系统来使用：1、ceph里面还有mds节点，cephfs功能所必须的组件，官方建议每个集群有一个，但最新版本对cephfs方面有所增
CloudXli·2018-02-05 22:54

ceph客户端挂在ceph集群存储作为本地文件系统来使用

在前面的一篇文章中我使用三节点搭建了一个ceph集群，结构如下所示：主机名，ip，ceph节点node1，192.1681.220，monnode2，192.1681.221，osdnode3，192.1681.222，osd现在我要在客户端上挂载ceph作为本地文件系统来使用：1、ceph里面还有mds节点，cephfs功能所必须的组件，官方建议每个集群有一个，但最新版本对cephfs方面有所增
CloudXli·2018-02-05 22:54

kubernets使用ceph-rbd作为storageclass并创建pvc和应用

1.KubernetesStorageClass介绍Kubernetes集群存储PV支持Static静态配置以及Dynamic动态配置，动态卷配置(Dynamicprovisioning)可以根据需要动态的创建存储卷
liukuan73·2018-02-01 16:51

初试 Kubernetes 动态卷配置使用 RBD 作为 StorageClass

目录KubernetesStorageClass介绍环境、软件准备Kubernetes使用RBD作为StorageClass1、KubernetesStorageClass介绍Kubernetes集群存储
哎_小羊_168·2018-01-21 14:40

hadoop块的概念

今天突然发现集群存储节点有几个小文件，不到20M，这类小文件会影响集群的健康度，到底是如何影响的呢？hdfs为小文件分配一个块，到底是逻辑块还是实际的存储呢？
Java_Soldier·2017-12-13 14:43

SpringBoot集成redis集群存储字符串和对象

SpringBoot集成redis集群相比于Springmvc方便了很多，本例中使用的是3台机器搭建的rediscluster集群，为3主3从的配置，集体的搭建细节在此不做示例。具体集成redis步骤如下所示：首先需要引入依赖：SpringBoot提供的数据访问框架SpringDataRedis基于Jedis。可以通过引入spring-boot-starter-redis来配置依赖关系 org.s
java1993666·2017-08-31 00:00

《大数据日知录》(一)——数据分片与路由

主要内容：概述抽象模型哈希分片范围分片概述目前大数据规模已达到PB级别之上，单台服务器已经无法满足该规模数据量的需求，需要采取大规模集群存储和处理这些数据。
丁木木木木木·2017-07-06 22:03

ASM管理命令行三工具：KFOD、KFED和AMDU

ASM管理命令行三工具：KFOD、KFED和AMDUASM（AutomaticStorageManagement）是Oracle目前主推的软集群存储策略。
nickname_cpongo6·2017-06-25 12:04

iSCSI磁盘阵列用作Proxmox VE的LVM共享存储

从其官方资料和一些网上资料称，proxmox除了支持常用的lvm,nfs,iscsi,还支持集群存储glusterfs和ceph等。笔者用ProxmoxVE4.4
ywg712·2017-01-24 10:34

Ceph分布式集群文件系统测试

1、使用Cephradosbech工具进行测试radosbech工具是Ceph内置的基准性能测试工具，用于测试Ceph集群存储池层面的性能。radosbech支持写、连续读、和随机读等基准测试。
OpenStack2015·2016-09-24 10:25

部署terracotta集群存储tomcat的session

环境：centos6.6javaversion:1.6.0.38tomcatversion:6.0.39terracottaversion:3.7.5terracotta3.7.5下载地址：360下载地址：https://yunpan.cn/cBjGjarCiynLi访问密码66bd官网下载地址：http://terracotta.org/downloads/open-source/destina
yfshare·2016-07-11 11:50

hadop hive中小文件自动合并设置。

而且大量的小文件浪费集群存储资源。如上设置之后会在
zzuiezhangqihui·2016-04-20 11:00

HW工作中接触到的产品形态的一些疑问

1)华为的存储是集群存储还是分布式存储？2)华为的存储为何设计在内核态，当时的考量和制约点在哪？ 3)华为云计算的存储和存储产品线的存储有何区别？ 4)为何云计算必须要使用虚拟机？
重返十八岁·2016-03-06 21:00

MongoDB 分片集群搭建

由于云数据中心需要存储海量数据且系统并发访问量大，所以需要使用MongoDB分片集群存储数据，这里将使用三台机器来搭建MongoDB分片集群，其部署方式如下图所示。
张哲BJUT·2015-12-26 17:53

日志系统与监控系统分阶段计划与演示

kibana4.3多了一个status 收集到日志展示：ELKKRN指的是E:elasticsearch－－－集群存储L:logstash－－－采集，过滤K:kibana－－－展示K:kaka－－－消息队列
ronin47·2015-12-25 10:00

日志系统与监控系统分阶段计划与演示

kibana4.3多了一个status 收集到日志展示：ELKKRN指的是E:elasticsearch－－－集群存储L:logstash－－－采集，过滤K:kibana－－－展示K:kaka－－－消息队列
ronin47·2015-12-25 10:00

Redis 代理服务Twemproxy

1、twemproxyexplore    当我们有大量Redis或Memcached的时候，通常只能通过客户端的一些数据分配算法（比如一致性哈希），来实现集群存储的特性。
xuyunti·2015-12-10 17:00

Redis 代理服务Twemproxy(redis分布式中间件)

article/details/9174459/1、twemproxyexplore    当我们有大量Redis或Memcached的时候，通常只能通过客户端的一些数据分配算法（比如一致性哈希），来实现集群存储的特性
buster2014·2015-12-02 22:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他