分布式文件存储系统

Windows server 2008 R2下安装Mongodb 4.0

www.mongodb.com/download-center#community安装包名：mongodb-win32-x86_64-2008plus-ssl-4.0.4-signed.msiMongoDB是一个基于分布式文件存储的非关系型数据库
ktianc·2024-01-10 00:37

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce
WeeeicheN·2024-01-09 22:17

HDFS概述

背景定义背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统
欲无缘·2024-01-09 22:32

GFS分布式文件系统

GlusterFS是一个开源的分布式文件系统。二、GFS的特点1、扩展性和高性能GlusterFS利用双重特性来提供高容量存储解决方案。
Kido.S·2024-01-09 17:21

悦库企业网盘

对象存储，块级去重，文件数据和文件元信息分离，数据存放于块存储系统中并自动压缩，文件元信息和节点结构存放于数据库中，极大提高大规模文件的增删查改操作效率。
弘毅少侠·2024-01-09 13:19

Hive基础知识

2）其本质是将SQL语句转换为MapReduce/Spark程序进行运算，底层数据由HDFS分布式文件系统进行存储。3）可以理解Hive就是MapReduce/SparkSql的客户端。
巷子里的猫X·2024-01-09 13:52

大数据开发：Hive基础知识点介绍

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。Hive的特点Hive最大的特
加米谷大数据张老师·2024-01-09 13:52

组成原理 存储系统习题

4.24.24.24.44.4检索寄存器存放用于查询的检索字，为了确定检索寄存器中检索字的哪些位是关键字，需使用屏蔽寄存器存放的屏蔽码，非关键字字段对应屏蔽码为0，否则为1，二者相与得到关键字，故屏蔽寄存器值为0000111100000000，在图4-3中，****1011********位于存储体第二个存储单元内，而匹配寄存器的位数等于相联存储器的字数(即存储单元个数)，即匹配寄存器最高位对应相
瓜大小王子·2024-01-09 06:25

【面试】Redis基础知识

Redis是一个高性能的基于内存的键值存储系统。它之所以能够达到高性能，主要有以下几个原因：基于内存：Redis将数据存储在内存中，而不是硬盘上，这使得数据的读写速度非常快。
YifengGuo233·2024-01-09 06:10

什么是共享存储

共享存储介绍：共享存储是一种计算机存储系统，多个计算机可以同时访问和共享其中存储的数据。这种存储方式允许多个计算机系统能够共同使用相同的存储资源，提高了系统的可靠性、可用性和灵活性。
重庆顶云网络·2024-01-08 12:39

浅谈Doris在物联网应用

一、Doris简介Doris是一个高性能的分布式列式存储系统，支持PB级别的数据存储和查询。
shinelord明·2024-01-08 11:03

Blockstack 初体验 — Blockstack ID和Gaia

，致力于成为一个新的去中心化计算网络，替代传统的云计算；建立在Blockstack上的应用-DApp将使用户用户和直接控制他们自己的数据；为了完善和应用的可扩展性；blockstack提供了一个可靠的存储系统
空乱木·2024-01-08 11:59

大数据 Yarn - 资源调度框架

Hadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn。
善守的大龙猫·2024-01-08 10:48

通用图形处理器设计——GPGPU编程模型与架构原理（四）

第4章GPGPU存储架构4.1GPGPU存储系统概述4.1.1GPU的层次存储4.1.2GPGPU的存储层次4.2寄存器文件4.2.1并行多板块结构为了减小GPGPU寄存器文件的面积并维持较高的操作数访问带宽
AHAHAya_·2024-01-08 09:56

Spark基础二

Spark入门案例总结1.读取文件:textFile(path):读取外部数据源,支持本地文件系统和hdfs文件系统.2.将结果数据输出文件上:saveAsTextFile(path):将数据输出到外部存储系统
MSJ3917·2024-01-08 07:52

Hadoop精选18道面试题(附回答思路)

2.简述HDFSHadoop分布式文件
Byyyi耀·2024-01-08 06:00

《Ceph源码分析》——第1章，第5节RADOS

本节书摘来自华章出版社《Ceph源码分析》一书中的第1章，第1.5节RADOS，作者常涛，更多章节内容可以访问云栖社区“华章计算机”公众号查看1.5RADOSRADOS是Ceph存储系统的基石，是一个可扩展的
weixin_34413103·2024-01-08 04:54

一篇文章学会如何在 NestJS 中使用 Redis 并基于 Redis 实现接口访问限频率

Redis是一个开源的内存中数据结构存储系统，它可以用作数据库、缓存和消息中间件。
乐闻x·2024-01-08 03:34

Hive元数据迁移及升级方案

具体分布式文件的存储、分布式计算的执行等均由后端的Hadoop来承接，如下图所示：基于上图架构，Hi
云原生大数据·2024-01-07 22:49

React Native中AsyncStorage 在iOS/Android中的存储位置

AsyncStorage是一个简单的、异步的、持久化的Key-Value存储系统，它对于App来说是全局性的。它用来代替LocalStorage。
_海角_·2024-01-07 20:52

GFS论文解读(一)——设计概述

介绍在当今大数据时代，分布式文件系统已经成为处理海量数据的重要工具。而在这个领域中，「GFS（GoogleFileSystem）」论文无疑是一篇具有里程碑意义的文献。
健鑫.·2024-01-07 18:53

数仓工具—Hive进阶之常见的StorageHandler(24)

常见的StorageHandlerApacheHive提供了多个存储处理程序（StorageHandler），允许用户集成Hive查询和分析引擎与不同的底层存储系统。
不二人生·2024-01-07 15:07

【Java处理百万级数据的高效方法了解】

1.2分布式存储考虑使用分布式数据库（如HBase、Cassandra）或存储系统（如HadoopDistri
無飞·2024-01-07 12:21

高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例

详细介绍MinIO是一款流行的开源对象存储系统，设计上兼容AmazonS3API，主要用于私有云和边缘计算场景。它提供了高性能、高可用性以及易于管理的对象存储服务。
小果运维·2024-01-07 12:18

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

FastDFS分布式文件系统

1.什么是FastDFSFastDFS(FastDistributedfilesystem)是用c语言编写的一款开源的分布式文件系统。
GGbird·2024-01-07 11:03

专注于提供存储服务的YottaChain

提到IPFS（InterPlanetaryFileSystem）的大名，链圈可能无人不知无人不晓，这是一个基于区块链技术的提供存储的公链，将无数个不可信任的节点连接起来，形成了非常可靠的存储系统。
苍天鸭·2024-01-07 10:17

分布式存储与传统存储对比分析

分布式存储的定义分布式存储系统，是将数据分散存储在多台独立的X86服务器上，通过通用的存储协议对外提供FC、ISCSI、RBD、NAS、S3等存储接口，每个存储服务器节点既能够进行数据存放和性能加速，也同时提供数据控制和存储接口对接
LD_ee65·2024-01-07 01:46

实时数仓模型

实时数仓主要是基于数据采集工具，如canal等原始数据写入到kafka这样的数据通道中，最后一般都是写入到类似于HBase这样的OLAP存储系统中。对外提供分钟级别，甚
jero_lei·2024-01-06 23:48

Flume基础知识（八）：Flume 拓扑结构全解

1.简单串联这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。
依晴无旧·2024-01-06 17:51

Redis高级特性和应用(慢查询、Pipeline、事务、Lua)

Redis的慢查询许多存储系统（例如MySQL)提供慢查询日志帮助开发和运维人员定位系统存在的慢操作。
原来是好奇心·2024-01-06 16:38

2022-07-12

HierarchicalDatabase，HDB）关系数据库（RelationalDatabase，RDB）面向对象数据库（ObjectOrientedDatabase，OODB）XML数据库（XMLDatabaseXMLDB）键值存储系统
weeeb·2024-01-06 13:41

六：分布式架构存储设计

这里写目录标题一.单机存储系统介绍1.什么是存储引擎？？？
qq_44949002·2024-01-06 12:12

计算机组成原理——第三章存储系统

•掌握存贮器的基本功能及各类存储器读写信息的原理•特别要注意•半导体存储器的外特性和工作原理•半导体与CPU的连接方式•这样可更加强对整机概念的理解。•必须了解高速缓冲存储器(CACHE)、主存和外存的组成，以及他们在存储器的层次结构中各自所起的作用主存储器的技术指标⚫存储容量–主存存储容量：以字节B（Byte）为基本单位–半导体存储器芯片：以位b（Bit）为基本单位–存储容量以210＝1024规
Ruannn（努力版）·2024-01-06 11:18

Linux操作系统基础(11)：Linux的环境变量

1.环境变量的介绍在Linux系统中，环境变量是一种用于存储系统环境信息的特殊变量，包含了系统运行所需的配置信息，以及用户自定义的一些配置信息，甚至影响程序的行为、系统的运行以及用户的工作环境。
Jungout·2024-01-06 11:10

Spark概述

多用途的集群计算系统，相对于HadoopMapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行运算Spark只是一个计算框架，不像Hadoop一样包含了分布式文件系统和完备的调度系统
我像影子一样·2024-01-06 09:38

openEuler NFS多路径

简介网络文件系统(NFS)是一种分布式文件系统协议，最初由SunMicrosystems(Sun)于1984年开发，允许NFS客户端上的用户通过计算机网络访问NFS服务端上文件。
大隐隐于野·2024-01-06 08:49

Ceph分布式存储

一.Ceph分布式存储1.Ceph概念（1）Ceph是一种开源的分布式存储系统，2006年出现，是私有云事实上的标准-OpenStack的默认存储后端。用于在整个集群中存储海量数据。
z怀夕·2024-01-06 08:46

BigData~05：HBase

https://www.cnblogs.com/ityouknow/p/7344001.html一、简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer
帅可儿妞·2024-01-06 07:29

架构（1）

初始阶段的网站架构应用服务和数据服务分离使用缓存改善网站性能使用应用服务器集群改善网站的并发处理能力数据库读写分离使用反向代理和CDN加上网站相应使用分布式文件系统和分布式数据库系统使用NoSQL和搜索引擎
龙贝子·2024-01-06 02:19

Windows安装Minio(超详细)

Minio是一个开源的、云原生的分布式对象存储系统，是一个基于ApacheLicensev2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据。
小徐很努力·2024-01-06 00:08

Alluxio中国行（一）开源分布式存储系统Alluxio的历史、现状和未来

七月底八月初在南京、上海和北京三地，Alluxio项目创立者李浩源以及部分核心开发者举办了一系列Meetup活动。活动现场介绍了Alluxio项目的新增功能，Alluxio生态系统展望，以及探讨了Alluxio在未来的发展路线。同时还分享了Alluxio在百度、去哪儿网的实践案例，与广大开发者及用户积极交流，碰撞思想。Alluxio，前称Tachyon，源自UCBerkeleyAMPLab，是一个
言则yanze·2024-01-05 22:43

云卷云舒：【实战篇】Redis迁移

1.简介RemoteDictionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value存储系统，是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络
Cloud云卷云舒·2024-01-05 21:49

大数据 HDFS-存储的王者

我们知道，Google大数据“三驾马车”的第一驾是GFS（Google文件系统），而Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。
善守的大龙猫·2024-01-05 21:48

分布式【Zookeeper三大核心之数据节点ZNode】

ZooKeeper在分布式领域，能够帮助解决很多很多的分布式难题，但是底层却只是依赖于两个主要的组件：ZNode文件/数据存储系统和watch监听系统，另外还有一大模块，就是ACL系统。
sober_me·2024-01-05 21:09

Reds来看看，会有一定的收获！！！

1.Redis概述1.NoSQL数据库(NotOnlySQL)的一种,即非关系型数据库2.Redis是一个开源的key-value存储系统。
super_zjl·2024-01-05 19:19

Spark基础解析（一）

1、Spark概述1.1什么是Spark1.2Spark内置模块SparkCore：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。
有语忆语·2024-01-05 10:04

Hadoop(04) HDFS编程实践操作

Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）是Hadoop核心组件之一，如果已经安装了Hadoop，其中就已经包含了HDFS组件，不需要另外安装。
Eufeo·2024-01-05 09:25

Hive实战处理（二十三）hive整合phoenix

1、hive整合phoenix的原理Hive支持使用HDFS之外的存储系统作为底层存储系统，其中官方明确支持HBase，Kudu，Druid和JDBC(MySQL等)。
sheep8521·2024-01-05 08:13

kafka 偏移量的类型与提交方式

kafkacheckpoint在流处理中，“checkpoint”通常指的是将应用程序的状态保存到可靠的存储系统中，以便在发生故障或应用程序需要重启时能够从先前的状态中恢复。
贾斯汀玛尔斯·2024-01-05 08:49
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他