gfs分布式文件存储系统

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复
不吃海带吃海苔·2024-01-10 16:15

美国第二大银行申请了区块链的又一项专利

美国专利商标局(USPTO)8月23日公布的一份专利文件显示，美国第二大银行美国银行(bankofAmerica，简称:美银)在开发安全加密存储系统方面又申请了区块链的另一项专利。
麦田财经·2024-01-10 15:02

GFS 分布式文件系统

GlusterFS特点●扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。（1）Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能（磁盘、计算和I/O资源都可以独立增加），支持10GbE和InfiniBand等高速网络互联。（2）Gluster弹性哈希（ElasticHash）解决了GlusterFS对元数据服务器的依赖，改善了单点故障和性能瓶颈，真正实
偷个月亮吗733·2024-01-10 14:00

redis详解

常见三类存储系统RDBMS：关系型数据库系统Oracle、DB2、PostgreSQL、MySQL、SQLServer...NoSQL：非关系型数据库，又包含四种流派键值存储Memcache、Redis
蒜泥不辣·2024-01-10 11:18

你知道轻量级私有云存储架构是什么吗？

一、定义轻量级私有云存储架构是指相对于传统的重量级私有云存储系统而言，更加精简、灵活、高效的架构。这里对轻量级的定义主要体现在资源占用较小、易部署、易维护、高性能等方面。
灸哥漫谈·2024-01-10 09:38

redis基础

zset(sorted_set)四、redis持久化1、rdb(RedisDatabase)2、aof(AppendOnlyFile)一、redis简介Redis是一个开源（BSD许可）的，内存中的数据结构存储系统
、风筝·2024-01-10 09:59

centos安装redis并配置开机自启动

目录前言redis安装1、下载redis2、安装redis3、修改配置文件redis配置服务并实现开机自启动前言Redis（RemoteDictionaryServer）是一个开源的内存数据结构存储系统
EelBarb·2024-01-10 08:31

MongoDB之概述、命令

基础知识是什么概念分布式文件存储数据库，提供高可用、可扩展、易部署的数据存储解决方案。结构BSON存储类型类似JSON的一种二进制存储格式。相比于JSON，提供更丰富的类型支持。
微风至夏·2024-01-10 08:44

howtrader3.2.0安装

Cloninghttps://github.com/51bitquant/howtrader.gittoc:\users\wjg\appdata\local\temp\pip-req-build-3palrgfsRunningcommandgitclone–filter
小王学习笔记·2024-01-10 03:08

Windows server 2008 R2下安装Mongodb 4.0

www.mongodb.com/download-center#community安装包名：mongodb-win32-x86_64-2008plus-ssl-4.0.4-signed.msiMongoDB是一个基于分布式文件存储的非关系型数据库
ktianc·2024-01-10 00:37

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce
WeeeicheN·2024-01-09 22:17

HDFS概述

背景定义背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统
欲无缘·2024-01-09 22:32

GFS分布式文件系统

目录一、什么是GFS?二、GFS的特点三、模块化堆栈式架构四、GFS工作流程术语：五、GFS的卷类型六、基础语句一、什么是GFS?GlusterFS是一个开源的分布式文件系统。
Kido.S·2024-01-09 17:21

悦库企业网盘

对象存储，块级去重，文件数据和文件元信息分离，数据存放于块存储系统中并自动压缩，文件元信息和节点结构存放于数据库中，极大提高大规模文件的增删查改操作效率。
弘毅少侠·2024-01-09 13:19

Hive基础知识

2）其本质是将SQL语句转换为MapReduce/Spark程序进行运算，底层数据由HDFS分布式文件系统进行存储。3）可以理解Hive就是MapReduce/SparkSql的客户端。
巷子里的猫X·2024-01-09 13:52

大数据开发：Hive基础知识点介绍

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。Hive的特点Hive最大的特
加米谷大数据张老师·2024-01-09 13:52

组成原理 存储系统习题

4.24.24.24.44.4检索寄存器存放用于查询的检索字，为了确定检索寄存器中检索字的哪些位是关键字，需使用屏蔽寄存器存放的屏蔽码，非关键字字段对应屏蔽码为0，否则为1，二者相与得到关键字，故屏蔽寄存器值为0000111100000000，在图4-3中，****1011********位于存储体第二个存储单元内，而匹配寄存器的位数等于相联存储器的字数(即存储单元个数)，即匹配寄存器最高位对应相
瓜大小王子·2024-01-09 06:25

【面试】Redis基础知识

Redis是一个高性能的基于内存的键值存储系统。它之所以能够达到高性能，主要有以下几个原因：基于内存：Redis将数据存储在内存中，而不是硬盘上，这使得数据的读写速度非常快。
YifengGuo233·2024-01-09 06:10

什么是共享存储

共享存储介绍：共享存储是一种计算机存储系统，多个计算机可以同时访问和共享其中存储的数据。这种存储方式允许多个计算机系统能够共同使用相同的存储资源，提高了系统的可靠性、可用性和灵活性。
重庆顶云网络·2024-01-08 12:39

浅谈Doris在物联网应用

一、Doris简介Doris是一个高性能的分布式列式存储系统，支持PB级别的数据存储和查询。
shinelord明·2024-01-08 11:03

Blockstack 初体验 — Blockstack ID和Gaia

，致力于成为一个新的去中心化计算网络，替代传统的云计算；建立在Blockstack上的应用-DApp将使用户用户和直接控制他们自己的数据；为了完善和应用的可扩展性；blockstack提供了一个可靠的存储系统
空乱木·2024-01-08 11:59

大数据 Yarn - 资源调度框架

Hadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn。
善守的大龙猫·2024-01-08 10:48

通用图形处理器设计——GPGPU编程模型与架构原理（四）

第4章GPGPU存储架构4.1GPGPU存储系统概述4.1.1GPU的层次存储4.1.2GPGPU的存储层次4.2寄存器文件4.2.1并行多板块结构为了减小GPGPU寄存器文件的面积并维持较高的操作数访问带宽
AHAHAya_·2024-01-08 09:56

Spark基础二

Spark入门案例总结1.读取文件:textFile(path):读取外部数据源,支持本地文件系统和hdfs文件系统.2.将结果数据输出文件上:saveAsTextFile(path):将数据输出到外部存储系统
MSJ3917·2024-01-08 07:52

Hadoop精选18道面试题(附回答思路)

2.简述HDFSHadoop分布式文件
Byyyi耀·2024-01-08 06:00

《Ceph源码分析》——第1章，第5节RADOS

本节书摘来自华章出版社《Ceph源码分析》一书中的第1章，第1.5节RADOS，作者常涛，更多章节内容可以访问云栖社区“华章计算机”公众号查看1.5RADOSRADOS是Ceph存储系统的基石，是一个可扩展的
weixin_34413103·2024-01-08 04:54

一篇文章学会如何在 NestJS 中使用 Redis 并基于 Redis 实现接口访问限频率

Redis是一个开源的内存中数据结构存储系统，它可以用作数据库、缓存和消息中间件。
乐闻x·2024-01-08 03:34

Hive元数据迁移及升级方案

具体分布式文件的存储、分布式计算的执行等均由后端的Hadoop来承接，如下图所示：基于上图架构，Hi
云原生大数据·2024-01-07 22:49

React Native中AsyncStorage 在iOS/Android中的存储位置

AsyncStorage是一个简单的、异步的、持久化的Key-Value存储系统，它对于App来说是全局性的。它用来代替LocalStorage。
_海角_·2024-01-07 20:52

GFS论文解读(一)——设计概述

介绍在当今大数据时代，分布式文件系统已经成为处理海量数据的重要工具。而在这个领域中，「GFS（GoogleFileSystem）」论文无疑是一篇具有里程碑意义的文献。
健鑫.·2024-01-07 18:53

数仓工具—Hive进阶之常见的StorageHandler(24)

常见的StorageHandlerApacheHive提供了多个存储处理程序（StorageHandler），允许用户集成Hive查询和分析引擎与不同的底层存储系统。
不二人生·2024-01-07 15:07

【Java处理百万级数据的高效方法了解】

1.2分布式存储考虑使用分布式数据库（如HBase、Cassandra）或存储系统（如HadoopDistri
無飞·2024-01-07 12:21

高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例

详细介绍MinIO是一款流行的开源对象存储系统，设计上兼容AmazonS3API，主要用于私有云和边缘计算场景。它提供了高性能、高可用性以及易于管理的对象存储服务。
小果运维·2024-01-07 12:18

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

FastDFS分布式文件系统

1.什么是FastDFSFastDFS(FastDistributedfilesystem)是用c语言编写的一款开源的分布式文件系统。
GGbird·2024-01-07 11:03

专注于提供存储服务的YottaChain

提到IPFS（InterPlanetaryFileSystem）的大名，链圈可能无人不知无人不晓，这是一个基于区块链技术的提供存储的公链，将无数个不可信任的节点连接起来，形成了非常可靠的存储系统。
苍天鸭·2024-01-07 10:17

Linux之DebugFS(一)-----------------------追踪内核函数调用

debugFS是linux为了给开发人员提供更多的内核数据，方便调试和跟踪。
self-motivation·2024-01-07 06:55

vmware中ubuntu虚拟机不能够用共享文件夹

有时候发现装好虚拟机后，然后虚拟机-设置-选项-共享文件夹然后使用快捷键ctrl+alt+t打开命令行，cd/mnt下没有看到hgfs文件夹解决办法是安装vmwaretools工具此时想通过点击虚拟机-
海涛高软·2024-01-07 03:59

分布式存储与传统存储对比分析

分布式存储的定义分布式存储系统，是将数据分散存储在多台独立的X86服务器上，通过通用的存储协议对外提供FC、ISCSI、RBD、NAS、S3等存储接口，每个存储服务器节点既能够进行数据存放和性能加速，也同时提供数据控制和存储接口对接
LD_ee65·2024-01-07 01:46

实时数仓模型

实时数仓主要是基于数据采集工具，如canal等原始数据写入到kafka这样的数据通道中，最后一般都是写入到类似于HBase这样的OLAP存储系统中。对外提供分钟级别，甚
jero_lei·2024-01-06 23:48

Ubuntu虚拟机与主机文件共享

2.安装vmtools,vmtools安装成功后会看到目录/mnt/hgfs.如果没有该目录则可以手动建立3.ubuntu终端下运行sudoapt-getinstallopen-vm-dkms4.进入目录
tankeven·2024-01-06 19:59

Flume基础知识（八）：Flume 拓扑结构全解

1.简单串联这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。
依晴无旧·2024-01-06 17:51

Redis高级特性和应用(慢查询、Pipeline、事务、Lua)

Redis的慢查询许多存储系统（例如MySQL)提供慢查询日志帮助开发和运维人员定位系统存在的慢操作。
原来是好奇心·2024-01-06 16:38

2022-07-12

HierarchicalDatabase，HDB）关系数据库（RelationalDatabase，RDB）面向对象数据库（ObjectOrientedDatabase，OODB）XML数据库（XMLDatabaseXMLDB）键值存储系统
weeeb·2024-01-06 13:41

六：分布式架构存储设计

这里写目录标题一.单机存储系统介绍1.什么是存储引擎？？？
qq_44949002·2024-01-06 12:12

计算机组成原理——第三章存储系统

•掌握存贮器的基本功能及各类存储器读写信息的原理•特别要注意•半导体存储器的外特性和工作原理•半导体与CPU的连接方式•这样可更加强对整机概念的理解。•必须了解高速缓冲存储器(CACHE)、主存和外存的组成，以及他们在存储器的层次结构中各自所起的作用主存储器的技术指标⚫存储容量–主存存储容量：以字节B（Byte）为基本单位–半导体存储器芯片：以位b（Bit）为基本单位–存储容量以210＝1024规
Ruannn（努力版）·2024-01-06 11:18

Linux操作系统基础(11)：Linux的环境变量

1.环境变量的介绍在Linux系统中，环境变量是一种用于存储系统环境信息的特殊变量，包含了系统运行所需的配置信息，以及用户自定义的一些配置信息，甚至影响程序的行为、系统的运行以及用户的工作环境。
Jungout·2024-01-06 11:10

Spark概述

多用途的集群计算系统，相对于HadoopMapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行运算Spark只是一个计算框架，不像Hadoop一样包含了分布式文件系统和完备的调度系统
我像影子一样·2024-01-06 09:38

openEuler NFS多路径

简介网络文件系统(NFS)是一种分布式文件系统协议，最初由SunMicrosystems(Sun)于1984年开发，允许NFS客户端上的用户通过计算机网络访问NFS服务端上文件。
大隐隐于野·2024-01-06 08:49

Ceph分布式存储

一.Ceph分布式存储1.Ceph概念（1）Ceph是一种开源的分布式存储系统，2006年出现，是私有云事实上的标准-OpenStack的默认存储后端。用于在整个集群中存储海量数据。
z怀夕·2024-01-06 08:46
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他