GridFS分布式存储

Mysql查询+hiveSQL查询+SparkSQL查询对比(个人总结)

而hiveSQL和sparkSQL的查询不存在这种问题，计算完成后的数据都是分布式存储的。
Be An Author·2023-04-05 01:29

分布式开源存储架构Ceph概述

CephOSDCephMonitorOSDMapPGMapCRUSH算法Ceph的文件存储Ceph的MDSceph的不足Ceph命令和使用ceph部署Ceph集群网络拓扑图ceph命令Ceph块存储的挂载分布式存储架构基本的原理
MyySophia·2023-04-05 01:37

KaiwuDB 分布式存储的负载均衡

导读KaiwuDB是浪潮开源的NewSQL分布式数据库，拥有强一致、高可用的分布式架构。在高负载的情况下，分布式数据库能够将负载压力平衡到不同的物理机节点上，充分利用不同节点的资源。本文将介绍KaiwuDB在面对高负载存储过程中采用的负载均衡策略。负载均衡作为分布式数据库，为了更有效利用不同物理机节点的资源，避免服务器性能的浪费，在数据库高负载的情况下需要尽量将压力平衡到各个物理机节点上。这也是分
KaiwuDB·2023-04-04 15:35

KaiwuDB分布式数据库-介绍

软件简介KaiwuDB是浪潮打造的一款分布式数据库产品，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，自研的原生分布式存储引擎支持完整ACID，支持PostgreSQL协议访问
KaiwuDB·2023-04-04 15:05

hadoop中的各个模块及其作用

hadoop中的各个模块及其作用hdfs的组成yarn的组成Hadoop的分布式计算和分布式存储都采用了主从结构。分布式存储系统被称为HDFS。可以将整个文件系统看成一个超大的硬盘。
IT小鸟鸟·2023-04-04 12:12

Hadoop+Hbase分布式集群架构“完全篇”

Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_30510153·2023-04-04 09:28

LVS集群

LoadBalancing）负载均衡群集（2）HA：（HighAvailiablity）高可用集群（3）HPC：（High-performancecomputing）高性能运算群集PS（知识小科普）4.分布式系统（1）分布式存储
lltyyds·2023-04-04 03:49

k8s中emptydir、hostpath、localvolume的区别

作为分布式存储服务的一种补充手段，比如我在一台node主机上插了块SSD，准备给某个容器吃小灶。目前主流的两个容器集群存储解决方案是ceph和glusterfs，二者都是典型的网络
唐僧爱程序·2023-04-04 03:47

基于Kubernetes的云平台存储容器化实践

分布式存储介绍存储相比于其他组件，更底层，所以有必要做一个简单的科普。1、对象存储主要是对整个文件进行操作，提供了对整个文件进行增删查改的能力。不支持对对象内容进行增量修改，如七牛的对象存
架构师小秘圈·2023-04-04 03:46

分布式存储Ceph RBD-Mirror 灾备实践

1.说明介绍继上次分享的《分布式存储系统Ceph架构及使用场景解析》和《分布式存储Ceph之PG状态详解》，这次分享《分布式存储Ceph块存储灾备方案》。
糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖·2023-04-04 03:13

分布式文件与分布式存储系统学习总结(持续更新)

存储系统知识WriteAheadLog问题引入存储系统在运行过程中，每时每刻都在发生数据更新。如对文件数据的CRUD.对于中心控制节点来说，这些都会涉及到metadata的更新操作。为了保持元数据和文件数据的状态一致性，系统所有对数据的操作对应的元数据变更都应该要持久化到元数据db中。那假如这个metadatadb是在外存的，那么是否意味着高频的io操作？是否可以引入延时写入的方法？WriteAh
小凯Alex·2023-04-04 02:56

分布式存储引擎（B树、LSM树）原理

分布式存储引擎（B树、LSM树）原理B+树结构Update-in-place常见于传统关系型数据库（MySQL、Oracle），按key维护B+树，数据存放在叶子结点（每个页对应的节点可以有更高的度，减小树的深度
Tong_jy·2023-04-04 01:56

rabbitMQ的学习第一篇(持续更新)

mq的使用场景2:几种mq什么时候选择rabbitMQ3:MQ保存和消费消息的性能于其他MQ的对比4:系统的qps,系统的承受能力5;消息的投递与消费:1.正确投递2消息正确消费3.消息幂等性4.消息的分布式存储使用实例
从入门到京东·2023-04-03 22:23

微众银行数据库架构演进及 TiDB 实践经验

硕士毕业于华中科技大学，毕业后加入腾讯，任高级工程师，从事分布式存储与云数据库相关的研发与运营工作；2014年加入微众银行，负责微众银行的数据库平台的建设与运营。黄蔚，微众银行数据库平台室高级DBA。
TiDB_PingCAP·2023-04-03 21:04

Hadoop架构和原理

简介Hadoop使由Apache研发的一套分布式存储和计算框架，目前被广泛应用于大数据存储和计算业务中。
松myth·2023-04-03 20:26

Hadoop系列-Hadoop架构、组件和生态简介（一）

Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。
Just Jump·2023-04-03 20:28

ElasticSearch让人叹为观止的分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
xhmj12·2023-04-03 19:22

Ulord的分布式存储

我们先看一下白皮书里关于分布式存储的段落：Ulord使用P2P的超媒体协议，可以让网络更快、更安全、更开放。
小学生王旋·2023-04-03 16:09

存储性能测试软件怎么用的,《杉岩两语》：Vdbench在分布式存储性能测试中的使用方法...

Vdbench是Oracle编写的一款应用广泛的存储性能测试工具，既支持块设备的性能测试，也支持文件系统性能测试。Vdbench使用java编写，兼容linux和windows的操作系统，使用方便。1、Vdbench使用及结果参看使用vdbench时需要先安装java的jdk包，Vdbench作为性能测试工具，广泛应用于各种性能测试场景中，当然，它也是免费的(点击这里，了解为什么要说也)。同时vd
何宗徽·2023-04-03 16:57

温故知新：ScaleIO Oracle性能测试解析

近日看到某分布式存储软件/ServerSAN宣称“提供单节点可达100,000IOPS的优越性能…单节点可达1.6GB/s带宽”，粗略感觉还算可以吧，当然稳定性可靠性比这个更重要。
weixin_34112181·2023-04-03 16:24

全闪分布式，如何深度性能POC？

全闪存储已经成为当前存储的新贵，从存储架构的演变角度，软件定义的分布式存储系统替代传统控制器架构的磁盘阵列已是大势所趋。
大道云行TaoCloud·2023-04-03 16:58

科普｜从硬件角度讲解——分布式存储是什么？

什么是分布式存储系统？分布式存储又称去中心化存储，要理解它，首先我们需要了解中心化存储。
「已注销」·2023-04-03 16:18

分布式存储测试模型

分布式存储测试模型(1)Cosbench可以通过对象接口，模拟对象数据访问时数据高并发以及大带宽写入数据时海量小文件数据写入的OPS(每秒可以读取或者写入的文件数量)以及大容量数据写入时的带宽(每秒写入和读取的数据量
OnlyDuckDuck·2023-04-03 15:35

全闪分布式块存储性能真实实测—— 2节点服务器集群，单个LUN存储卷性能 ＞600万IOPS， ＞58GB/s带宽

传统集中式架构存储已无法满足现实存储需求，越来越多企业开始选择分布式存储架构做存储基座。另一方面，随着5G开始发力，人工智能，超算，无人驾驶等研究愈发深入，对存储速度和带宽的要求也越来越高。
存储马小生·2023-04-03 15:29

（Windows，linux，阿里云）安装minio，springboot使用minio【全】

minio一.Windows安装minio二：linux（阿里云）安装minio三、springboot使用minio这几天在搞Minio分布式存储，特此记录一下！！！
北海南风·2023-04-03 13:13

星环科技多模型数据统一存储的大数据分布式存储平台方案分享

数字经济时代，随着大数据、人工智能等新一代信息技术的快速发展与应用，企业的数据量呈现爆炸式增长，数据结构也越来越多样化，对数据存储提出了更新的要求：数据结构多样化如表格类型的关系数据、半结构化的文档日志搜索以及非结构化的图片和视频数据，多模型存储需求应运而生。非结构化数据的快速增长，对象存储的优势逐渐显现，并要求能够低成本实现海量非结构数据的存储。此外，传统数据存储平台需要同时存储大文件和小文件，
星环科技·2023-04-03 11:33

Ceph分布式存储系列（六）：对象存储、块存储、文件存储的区别和优缺点

承接上文Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理分布式存储总体分为对象、块、文件三种存储类型，且ceph同时支持这三种存储类型，那么这里再简单谈一下三种存储类型的差异点及各自优势和适用环境
Echo&.·2023-04-03 11:17

DHT技术，IPFS,BT是个啥

1.DHT技术即分布式哈希表技术，是一种分布式存储方法。这种网络不需要中心节点服务器，而是每个客户端负责一个小范围的路由，并负责存储一小部分数据，从而实现整个DHT网络的寻址和存储。
啊哈...·2023-04-03 09:59

Git拉取指定文件或者文件夹

在SVN里面，这非常容易实现，因为SVN基于文件方式存储，而Git却是基于元数据方式分布式存储文件信息的，它会在每一次Clone的时候将所有信息都取回到本地，即相当于在你的机器上生成一个克隆版的版本库。
星光落入你灰蒙蒙的眼·2023-04-03 09:26

疫情之下，分布式办公将成为趋势

随着区块链技术的诞生，“分布式”一词便更加普遍地出现在各个方面，分布式账本、分布式存储、分布式节点……而网络和科技的发展，又为许多新型的金融、商业、管理等模式创造了更多便利和可能。
飞扬跋扈的小白兔·2023-04-03 08:07

kvm安装centos7_ProxmoxVE 之 5.3集群安装及使用ceph

(微信号：yuweibing7803，公众号：Openstack私有云)PVE5.3版本对于磁盘的管理，包括对分布式存储ceph的支持据说都更加友好了。
weixin_39632212·2023-04-03 08:44

存储专题扩容，HA、LB分布式存储

一、架构与存储的关系一个新的硬盘在linux系统里使用一般来说就三步:(分区,格式化)-挂载-使用blocklvs:四层负载均衡，nginx、haproxy四层和七层都有redis、memcache缓存中间件是缓存后端数据库读的信息。高端的容器技术，一旦系统出现可以可以直接重装系统，所以系统盘与数据盘必须分开远程存储服务器可以为web服务器和数据库服务器提供内存，负载均衡服务器不用（请求内容数据太
CCTVZHENG·2023-04-03 07:36

区块链技术之分布式存储

分布式存储是一种数据存储技术，它可以跨多个物理服务器传播文件、块存储或者对象存储，以实现高可用性、数据备份和灾难恢复目的。可扩展的存储服务以及数据中心的巨大数据池。
闲谈共视·2023-04-03 06:43

10第九章：【02】Docker复杂安装—分布式存储Redis集群

答：单机单台100%不可能，肯定是分布式存储，用redis如何落地？
格物-致知·2023-04-03 06:01

ceph（分布式存储）

文章目录一、ceph的组件和功能1.简介2.层次结构和功能二、ceph的数据读写流程三、使用ceph-deploy安装一个最少三个节点的ceph集群(推荐3个或以上的磁盘作为专用osd)1.基础配置配置主机名给三台主机写入hosts解析配置node1到所有节点root用户免密钥互信配置时间同步在node1上配置本地yum源2.部署ceph集群步骤一：安装ceph-deploy步骤二：创建ceph集
掌九·2023-04-03 05:26

Ceph OSD简介

相较于其他分布式存储系统，效率更高。Ceph的核心功能包括高可靠、自
ZHANGJNWEI·2023-04-03 03:11

基于 Ceph 的 Kubernetes 数据持久化

Ceph是一个可扩展的分布式存储系统，性能卓越，安全可靠，面向对象、块与文件存储。Ceph是加州大学SantaCruz分校的SageWeil（DreamHost的联合创始人）
Docker_·2023-04-03 03:10

Day36 课堂笔记

主要用于普通用户提交的数据备份，对于用户提交到服务器上的普通文件（图片，压缩包，视频，文档等），可采用inotify/sersync+rsync实时备份方式：对于数据文件还有较复杂的分布式存储工具自身可以实现将数据同时备份成多份
子晋zj·2023-04-03 00:39

第三章：分布式文件系统HDFS

.HDFS体系结构、HDFS存储原理、HDFS数据读写过程3.HDFS编程实践1.分布式文件系统HDFS简介2.HDFS块的概念现在可以把一个大的文件进行切割，可以把它切割成非常多的小块，这些小块可以分布式存储到不同的机器上面
饮马翰海·2023-04-02 20:26

第二章：大数据处理架构Hadoop

Apache软件基金会旗下开源软件Hadoop可以支持多种编程语言：C、C++、Java、PythonHadoop两大核心—HDFS+MapReduce:解决了两大问题：HDFS如何实现海量数据的存储（集群分布式存储
饮马翰海·2023-04-02 19:51

Hadoop HBase概念学习系列之什么是HBase？ （一）

HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
weixin_33835103·2023-04-02 19:25

华为HCS部署规划

新建云还是迁移上云2、客户业务情况，正在运行业务量，计算出资源需求同时考虑到未来需求做到30%的资源预留3、了解什么业务可以迁移上云，哪些不可以迁移上云4、服务器使用什么型号，需要多少台，集群规划5、存储选型，选择分布式存储还是传统存储
虎皮辣椒小怪兽·2023-04-02 14:48

Handoop之HDFS详解

Hadoop3个核心组件：分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）分布式运算编程框架：Mapreduce——实现在很多机器上分布式并行运算分布式资源调度平台
ch3rry·2023-04-02 14:26

Elasticsearch (ES): 实时分布式存储、搜索、分析引擎

文章目录引擎（搜索引擎）Solr查询快，但更新索引时慢、插入删除慢Elasticsearch建立索引快、查询慢ElasticsearchVS数据库：模糊查询为什么可以实现快速的“模糊匹配”/“相关性查询”？=》分词+倒排索引ELK（ES+Kibana+Logstash）简介Elasticsearch简介LuceneKibanaLogstashELK安装配置安装ESdocker安装安装kibanaL
rainbow_lucky0106·2023-04-02 11:36

组件分享之后端组件——一个简单且高度可扩展的分布式文件系统seaweedfs

组件基本信息组件：seaweedfs开源协议：Apache-2.0License内容本节我们分享一个分布式存储系统seaweedfs，它是一个用于bl
CN華少·2023-04-02 08:16

minion分布式存储环境的搭建和使用

minion分布式存储环境的搭建和使用1、minio二进制安装，服务端下载2、启动minion服务3、minion客户端下载4、客户端配置config连接minion5、常用命令1、minio二进制安装
填坑少年·2023-04-02 06:12

Hadoop——HDFS介绍、特性、基本操作

是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。
北极猿·2023-04-02 06:04

Windows安装Minio分布式存储并自启动

将下载的minio.exe安装文件放置到windows某个自定义位置，例如D:\middleware\minio。将WinSW.exe复制到D:\middleware\minio下，并重命名为自定义的服务名称，例如minio-server.exe。同目录下创建minio-server.xml文件，特别注意，xml文件和服务名exe文件必须同名。配置minio-server.xml文件，文件中D:\
一二三，开花·2023-04-02 06:18

Hadoop的简单概述以及架构

Hadoop的简单概述以及架构1、hadoop概述：hadoop是一个适合海量数据分布式存储和分布式计算的平台。
祝星kk·2023-04-02 06:38

【分布式技术专题】「OSS中间件系列」Minio的Server端服务的架构和实战搭建

Minio的介绍说明Minio是目前githug上star最多的ObjectStorage框架，这里ObjectStorage我目前的理解就是数据存储，minio可以用来搭建分布式存储服务Minio是ApacheLicensev2.0
洛神灬殇·2023-04-02 05:06
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他