GFS分布式存储

大数据 ---分布式并行计算框架MapReduce

大数据为什快横向扩展移动程序到数据端多个数据副本分布式存储（减小磁盘IO的瓶颈）分布
谪仙逍遥·2024-01-31 06:21

nfs挂载报错误wrong fs type, bad option, bad superblock

kubernetes集群上搭建wordpress时，利用pvnfs存储方式持久化，但是pod一直不能Running，kubectldescribepod{wordpresspodname}报错如下：mount:wrongfstype
进击云原生·2024-01-31 05:00

HDFS Federation前世今生

一背景熟悉大数据的人应该都知道，HDFS是一个分布式文件系统，它是基于谷歌的GFS实现的开源系统，设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。
跟着大数据和AI去旅行·2024-01-31 05:31

3台服务器+StarVCenter，搭建“超融合云平台”-完美体验-跑100台虚拟机

这种模式不需要专用的存储设备，它采用分布式存储软件，利用每台计算节点上的本地硬盘构成存储集群。这样计算节点即有高可用的计算能力，又有高可用的存储能力。
wtyuiohxvm·2024-01-31 04:49

什么叫超融合基础架构？

超融合基础架构是一种软件定义的IT基础架构，包括虚拟化计算，虚拟化存储（一般为分布式存储）、虚拟化
greatrooster·2024-01-31 04:17

深信服超融合

aSAN作为超融合基础架构（HCI）的重要组成部分，使用分布式存储技术为上层应用提供了高性能、高可靠的存储服务，在aCloud不同演进版本中合
轻云望月笑容常挂·2024-01-31 04:47

超融合架构介绍

超融合架构，其实就是“服务器虚拟化+分布式存储”架构，即超融合技术包含了服务器虚拟化技术和分布式存储技术。
头大的一批·2024-01-31 04:16

读论文Google-MapReduce

江湖永流传：谷歌技术有“三宝”，GFS,MapReduce和大表（BigTable)!作为一名大数据兼计算机外行人，读完了Google-MapReduce这篇论文后萌生了一点小感悟（实则拙见）。
.金木研.·2024-01-31 04:03

软硬兼施：亚信安慧AntDB创造更多可能性

它采用了先进的分布式架构，能够充分发挥多台服务器的协同作用，实现数据的分布式存储和处理。与此同时，亚信安慧AntDB还具备灵活的扩展性，可以根据需求进
亚信安慧AntDB数据库·2024-01-31 04:01

vmware虚拟机centos8共享文件夹挂载

1.设置虚拟机共享文件夹2.上述设置完毕之后，重启进入虚拟机，查看出现的共享文件夹名称vmware-hgfsclient3.查看是否有挂载目录，挂在目录默认为/mnt/hgfs。
飘零未归人·2024-01-31 02:55

你知道隐私保护在Web3.0中的重要性吗？

敏感的用户数据可以从任何用户平台安全地共享到云端或分布式存储，并通过代理重加密或属性加密自动授予对该数据的访问。在这个过程中，有必要确保数据的可用性。
77920f849a64·2024-01-30 18:45

云原生数据库GaiaDB的核心技术演进

新的技术架构带来新的问题和挑战，GaiaDB在自研过程中采用Quorum分布式协议、高性能网络、高可靠分布式存储引擎等技术实现更高的性能和可用性。
郎岳樟·2024-01-30 14:08

filenet市值将在2023年超过比特币，区块链有ipfs会更好

ipfs的中文名称是“星际文件系统”，它本质上是一种点对点的分布式存储，传输协议
区小楼·2024-01-30 07:35

3步体验在DAYU200开发板上完成OpenHarmony对接华为云IoT

特点：（1）分布式：支持分布式计算和分布式存储，可以在多个设备之间进行任务调度和数据共享。（2）可裁剪：支持根据设备的需求进行裁剪，以满足不同设备的资源限制。（3）安全：提供了安全机制
OpenHarmony_小贾·2024-01-30 06:57

分布式协调服务-zookeeper

数据库、分布式存储无序性进程之间的消息通信，会出现顺序不一致问题分布式环境下面临的问题网络通信网络本身的不可靠性，因此会涉及到一些网络通信的问题网络分区（脑裂）当网络发生异常倒是分布式系统中部分节点之间的网络延时不断增大
猿日记·2024-01-30 01:14

蓝牙----蓝牙协议栈Host层

蓝牙物理层基本信息►蓝牙使用高斯频移键控GFSK►频率范围2.4000GHz-2.4835GHz,又划分为40个channel，►第一
一如既往_·2024-01-30 01:43

GFS--Google File System论文翻译和理解

一、系统设计目标高可用的大文件分布式文件系统。二、关键点Architecture-架构：有哪些Server，每个Server的功能。Master存储的MetaData的结构。client写数据流程。client读数据流程。启动时Master和ChunkServer的交互。ChunkServer发生故障时，Master和ChunkServer的交互。三、核心设计概述2.Master中存储的MetaD
不争_900c·2024-01-29 23:00

浅析大数据汇总

传统的数据库技术已经无法满足对这些海量数据的存储和处理需求，因此出现了分布式存储和计算技术，如Hadoop、HBase等。
shinelord明·2024-01-29 19:10

HDFS

是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
VincentLeon·2024-01-29 08:44

redis cluster水平扩容中的客户端处理逻辑

作为一个分布式K-V存储，rediscluster通过将数据切分为16384个slot进行分布式存储，用公式表示如下：作为一个支持水平扩容的分布式系统，redis集群在扩容时通常遵循如下步骤：1.在新节点启动
kakaweb·2024-01-28 22:15

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

GFS

转载自：https://mr-dai.github.io/gfs/论文地址：TheGoogleFileSystemGFS的主要需求在学习GFS的原理前，首先我们应当了解GFS在设计时所面对的需求场景。
小睿千万别秃头·2024-01-28 08:48

etcd技术解析：构建高可用分布式系统的利器

2.etcd简介etcd是一个开源的、分布式的键值存储系统，使用Go语言编写，基于Raft一致性算法实现数据的分布式存储和管理。它主要用于在分布式系统中存储配置信息、元数据等关键数据，提供了强
Memory_2020·2024-01-27 20:38

apache 前30个开源项目

个具有代表性的项目序号项目名称功能描述业务范围活跃度（参考性描述）1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃
临水逸·2024-01-27 17:35

Ceph分布式存储自动化运维平台开发实践

文章目录1.背景介绍1.1什么是Ceph？1.1.1Ceph的核心组件1.1.2Ceph的优势1.2自动化运维的需求目标2.平台架构设计和组件版本2.1平台架构设计2.2组件版本2.3模块划分（已经脱敏处理）2.3.1当前版本V1.0支持功能2.3.2前后端代码结构tree图2.3.3工作流程2.3.4模块算法和处理逻辑（举几个典型场景）2.3.4.1自动对因高危场景停止的osd降低权重至x%2.
抛物线.·2024-01-27 12:34

Hadoop三大核心组件，hadoop原理

HadoopMapReduce分布式计算框架一.HDFS1.HDFS概述HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部署
你敢和我比剑吗·2024-01-27 09:03

一文了解Ceph原理以及常见ceph指令

一、Ceph介绍什么是分布式存储？与集中式存储相反，分布式存储通常采用存储单元集群的形式。并且具有在集群节点之间进行数据同步和协调的机制。
听说唐僧不吃肉·2024-01-26 13:08

二 Ceph存储工作原理及实现

认识Cephceph是一个能提供文件存储，快存储和对象存储的分布式存储系统。
假面生·2024-01-26 13:38

什么是超融合？

二、超融合原理2.1、超融合三大组件2.2、超融合和传统架构对比2.3、传统方案和超融合软件架构与资源管理模式对比三、超融合与SDS、分布式存储关系3.1、SDS是什么？3.2、分布式存储是什么？
IT搬砖我最拿手·2024-01-26 11:27

从Elasticsearch来看分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
大叶子不小·2024-01-26 10:11

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层
星环科技·2024-01-26 07:08

2023年第十六届中国系统架构师大会（SACC2023）：核心内容与学习收获（附大会核心PPT下载）

大会按照技术主线分为传统架构与运维技术发展（高可用架构、云架构、分布式存储、预测性智能运维）、数字化转型企业架构应用（金融行业与制造业）、IT技术前瞻架构（分布式与微服务架构、
百家峰会·2024-01-25 07:57

万物皆世界，人人得智慧

我对王欣师兄的“一图显世界”的思考：图片发自App《万物皆世界人人悟智慧》在大数据、云计算、AI、物联网、区块链的深度普及基础上，区块链作为一个“分布式存储与个体价值体现”的最好技术革新，以比特币为载体迅猛的来到了人们面前
众心无相·2024-01-24 18:02

从数据处理到规模化应用

HashData等现代数据仓库解决方案具有以下特点：高性能：通过分布式存储和计算技术，HashData能够提供高吞吐量和低
百度_开发者中心·2024-01-24 16:14

ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
睡美人章繁·2024-01-24 14:54

【Android】细数Linux和Android系统中的伪文件系统

文章目录前言Linux伪文件系统cgroupfsLinux的cgroupsAndroid的cgroupsdebugfsfunctionfs(/dev/usb-ffs/adb)functionfs的引入sysfs
Shujie_L·2024-01-24 11:24

Mysql数据库主从复制和分库分表浅析

内容提供：李智慧，前阿里巴巴技术专家，《大型网站技术架构》作者分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。
一颗向上的草莓·2024-01-24 11:30

分布式存储mysql

搭建两从两主服务器再搭建一台mycat启动mycat1.创建添加数据源将后端数据库服务器添加到mycat上面,以便管理和代理,让mycat和mysql建立连接添加方法如下59只实现写60只实现读61实现写62实现读MySQL>/*+mycat:createdatasource{"name":"dw0","url":"jdbc:mysql://192.168.88.59:3306","user":"
CN_HW·2024-01-24 08:47

从字节跳动面试中快速胜出：五天三面，这份Java面试笔记功不可没

（开放地址法，不是很了解，听过）如果使用hash进行分布式存储有什么弊端？（可扩展性不强，例如增加节点和节点宕机的情况）如何解决？
技术琐事·2024-01-24 01:16

分布式存储

1存储基础1.1单机存储设备DAS（直接附加存储，是直接接到计算机打的主板总线上去的存储）UDE、SATA、SCSI、SAS、USB接口的磁盘所谓的接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进
王德发666·2024-01-23 16:16

CentOS 7部署 Ceph分布式存储架构

SE4nJH1.概述随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph官方文档http://docs.ceph.org.cn/ceph中文开源社区http://ceph.org.cn/Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然
大帅同学·2024-01-23 09:48

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42

SpringMVC(八）处理AJAX请求

一、处理AJAX之准备工作：首先我们创建一个新的工程：我们将pom.xml复制过来:4.0.0com.rgfspring_MVC_helloWorld1.0-SNAPSHOTwar88UTF-8org.springframeworkspring-webmvc5.3.1ch.qos.logbacklogback-classic1.2.3javax.servletjavax.servlet-api3
蕾峰·2024-01-22 20:25

关于云计算你必须知道的一些事（一）

软件定义分布式存储是
money666·2024-01-22 19:17

架构师的36项修炼-09架构实战案例分析

2.分析一个分布式存储的架构案例，看如何去设计一个分布式存储系统，底层存储系统的架构是如何设计的。3.分析一个反应式编程框架的架构案例，看开发框架的架构是如何设计的。这三类系统架
机智阳·2024-01-22 18:07

世界第23个防治结核病日宣传义诊活动

【罗俊】新化县精神病医院2018年世界第23个防治结核病日宣传议诊活动剪影https://www.meipian.cn/16gfs1vi?from=other&v=4.3.
八卦迷踪·2024-01-22 15:32

容器与持久化存储:容器的开源分布式存储方案选型

导读：容器得到了越来越广泛的使用，以下问题困扰架构师：容器正逐渐成为云上应用的标准部署单元，容器该如何解决持久化存储的需求？容器编排系统已成当红炸子鸡，在无状态的容器中，存储系统面临哪些新的挑战？容器与持久化存储系统是融合架构还是分离架构？本文探讨了容器和持久化存储相关知识，由张朝潞在高可用架构群分享，转载请注明来自高可用架构公众号ArchNotes。张朝潞有容云平台存储架构师张朝潞，有容云平台存
高可用架构·2024-01-22 14:50

容器与持久化存储：容器的开源分布式存储方案选型

曾工作于UIT、华三、腾讯、专注分布式存储的研究和开发，对云计算存储解决方案方面有很深的技术造诣和行业理解。一．容器对存储插件的定义以Docker为例，Doc
weixin_33805743·2024-01-22 14:48

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

Hbase笔记

ApacheHBase是一个开源的，分布式的，版本化的非关系数据库，模仿Google的Bigtable：Chang等人的结构化数据分布式存储系统。正
MFRain·2024-01-21 20:24
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他