分布式文件存储系统

大数据之Hadoop-HDFS

产出背景及定义1.1.1HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统
jackyan163·2023-09-28 02:50

一、大数据技术基础——分布式文件系统HDFS

目录1.引入1.1.传统存储系统面临的难题1.2.解决之道2.Hadoop集群架构3.HDFS1.03.1.概念3.2.Block块3.3.NameNode维护文件：fsimage与editlog3.4
百颂伊·2023-09-28 02:48

实现共识的模式集合

分布式的中间件：如数据库（MySQL），缓存（Redis），消息队列（RocketMQ，Kafka）都可以理解为存储系统，只是基于不同应用场景的细分。
型火·2023-09-28 00:04

使用 Redis 作为缓存的 Spring Boot 应用

使用Redis作为缓存的SpringBoot应用Redis（RemoteDictionaryServer）是一个开源的内存数据存储系统，它可以用作数据库、缓存和消息代理。
计算机徐师兄·2023-09-27 21:42

processflow基于私有云存储的多人实时协作尝试

后面便萌生了基于一些开源的分布式文件多版本存储系统代替oneDrive的功能，经历了一个多月的尝试，最终得到了我想要的结果。实现
processflow流程图·2023-09-27 21:26

redis

redis简介1.Redis是一个key-value存储系统。
AD钙dddd·2023-09-27 14:58

HDFS 基础

HDFSHDFShadoop分布式文件系统解决目标超大文件流式数据访问商用软件(兼容廉价的硬件设备／强大的跨平台兼容性)HDFS局限性不适合低延迟数据访问（实时性不高）无法高效存储大量小文件（索引结构庞大后搜索效率降低
JM68·2023-09-27 13:44

Hadoop笔记（一）

在大数据领域提出了两个概念：分布式文件系统，用于存储大量的数据分布式计算框架MapReduce，高效地分析数据以上两个概念组成了一个名词叫HadoopHadoop的起源谷歌发布了三篇论文：GFS分布式存储系统
lew1sss·2023-09-27 08:50

云计算与大数据第12章 商用云计算平台习题带答案

第12章商用云计算平台习题选择题1、下面不属于AWS云计算平台的组件的是（D）A.Amazon弹性计算云B.分布式文件系统DynamoC.简单存储服务S3D.PolarDB数据库2、AWS云计算平台中的组件
高校知识店铺合集汇总·2023-09-27 07:17

HDFS数据读写过程及编程实例

1°FileSystem被分布式文件系统HDFS继承，实现DistributedFileSystem子类；2°通过Http的方式去访问相关文件；3°通过FTP的方式去读写文件。
浅沫～·2023-09-27 06:15

Scrapy-reids-概念

Redis：Redis是一个开源的内存数据结构存储系统，被用作任务队列和消息代理。Scrapy-Redis通过使用Redis来存储待处理的爬取请求和其他相关信息。
芝士小熊饼干·2023-09-27 03:12

简述ceph文件储存系统

Ceph是一个统一的分布式存储系统和共享机制，它定义了数据如何存储在一个或多个节点上并呈现给其他机器以供文件访问。
奋豆来袭·2023-09-27 03:17

【大数据存储与处理】1. hadoop单机伪分布安装和集群安装

Hadoop实现了一个分布式文件系统（DistributedFileSystem），其中一个组件是HDFS（Hadoop
唐生一·2023-09-27 02:59

磁盘阵列RAID的实现方式——（1）基础知识篇

RAID通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量（Throughput）。在RAID中，可以让很多
龙鹰图腾223·2023-09-27 00:50

分布式文件存储系统minio、大文件分片传输

上传大文件1、Promise对象Promise对象代表一个异步操作，有三种状态：pending:初始状态，不是成功或失败状态。fulfilled:意味着操作成功完成。rejected:意味着操作失败。只有异步操作的结果，可以决定当前是哪一种状态，任何其他操作都无法改变这个状态有了Promise对象，就可以将异步操作以同步操作的流程表达出来，避免了层层嵌套的回调函数//定义异步操作varpromis
￡小羽毛·2023-09-26 20:51

UCloud优刻得升级推出US3FS 2.0，面向大模型的存储系统改造

云厂商面对的大模型客户也逐渐增多，并对存储系统以及整个IaaS层架构提出了巨大的挑战。目前大模型的客户在存储系统的选型上可能会有以下几种选择：并行文件系统、基于对象存储的存储系统、NFS等。
·2023-09-26 19:24

XSAN数据恢复-XSAN迁移数据过程中误格式化存储系统的数据恢复案例

北亚企安数据恢复工程师分析META信息卷，读取其中的元信息，发现存储空间中数据丢失的原因是迁移的时候误将整个存储系统格式化。XSAN数据
北亚数据恢复·2023-09-26 16:06

【北亚企安数据恢复】Ceph存储介绍&Ceph数据恢复流程

Ceph的底层是RADOS(分布式对象存储系统)，RADOS由两部分组成：OSD和MON。
北亚数据恢复·2023-09-26 16:05

ceph分布式存储

目录一、概述二、组件三、架构图四、搭建一、概述ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
欢愉的猫·2023-09-26 15:43

【北亚企安数据恢复】Ceph存储基本概念介绍&Ceph数据恢复流程

Ceph的底层是RADOS(分布式对象存储系统)，RADOS由两部分组成：OSD和MON。
·2023-09-26 15:05

华为存储培训

硬盘等广义的存储定义存储硬件系统（磁盘阵列，控制器，磁盘柜，磁带库等）存储软件（备份软件；管理软件，快照，复制等增值软件）存储网络（HBA卡，光纤交换机，FC/SAS线缆等）存储解决方案（集中存储，归档，备份，容灾等）存储发展史存储系统的组网方式有以下几种
竹流清水·2023-09-26 14:25

大数据分析的几种方法

适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
中琛源科技·2023-09-26 08:57

Hadoop分布式文件系统

一、HadoopHadoop之父DougCuttingHadoop的发音[hædu:p]，Cutting儿子对玩具小象的昵称1、Hadoop发展简史2002年10月，DougCutting和MikeCafarella创建了开源网页爬虫项目Nutch。2003年10月，Google发表GoogleFileSystem论文。2004年7月，DougCutting和MikeCafarella在Nutch
杀神lwz·2023-09-26 05:08

Redis中缓存穿透、击穿、雪崩以及解决方案

目录一、什么是Redis二、什么是缓存穿透三、什么是缓存击穿四、什么是缓存雪崩一、什么是RedisRedis是一个开源的内存数据存储系统，也是一个高性能的键值存储数据库。
杨荧·2023-09-26 02:42

IT 系统巡检必须关注的指标总结

●网络设备配置---设备型号,IOS版本,模块型号和数量,用途●存储系统配置---设备型号,IO带宽,Cache容量，磁盘数量，接入模式，存储容量，LUN配置，所属应用●主机系统配置---设备型号，CPU
hsabrina·2023-09-26 02:21

sql基础

数据库和SQL1.数据库Database,数据库管理系统DBMS数据库管理系统的种类层次数据库HDB关系数据库RDB面向对象数据库OODB（objectOrientedDatabase）XML数据库键值存储系统
eight_Jessen·2023-09-26 01:04

FastDFS在Ubuntu18下的离线单机安装步骤和简单应用

简述FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
小码农大叔叔·2023-09-26 00:04

redis介绍（一）

#redis数据格式redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。
有你我就不孤单·2023-09-25 21:55

GFS 分布式文件系统

GlusterFS简介GlusterFS是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。
Z在学习·2023-09-25 21:37

Redis安装与配置、centos虚拟机上配置自启动redis服务

1.Redis简介Redis是完全开源免费的，遵守BSD协议，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。特点
Bugxiu_fu·2023-09-25 18:09

XSAN数据恢复-误格式化存储系统的XSAN数据恢复案例

北亚企安数据恢复工程师分析META信息卷，读取其中的元信息，发现存储空间中数据丢失的原因是迁移的时候误将整个存储系统格式化。XSAN数据
·2023-09-25 16:44

MongoDB学习大纲

MongoDB是一个基于分布式文件存储的开源NoSQL数据库，主要用于大规模文档存储。
今晚务必早点睡·2023-09-25 16:49

计算机组成原理-存储系统-CPU、内存和外存、Cache和编址计算

存储系统层次化存储结构：cpu寄存器：最快，但容易小，成本高（bit）Cache：按内容存取（MB）内存（主存）：分两类：随机存储器（RAM）只读存储器（ROM）外存（辅存）：硬盘、光盘、u盘（了解）虚拟存储体系
ChampLixxx·2023-09-25 14:06

计算机的存储系统

1.现代计算机的结构数据在计算机内部是如何存储的？现代计算机的结构中主机的内部有一个主存储器，也就是我们所说的内存，还有就是辅存，如手机中的机身存储，这些存储器的容量时不一样的，主存会更小，而辅存会更大，除了主存和辅存外，计算机内部还有没有可以存储数据的设备呢？为什么主存和辅存之间的存储容量差距这么大？它们之间有没有速度差异呢？2.存储器的层次结构存储器的层次结构：在这个存储结构中，越靠近上层的速
Zkaisen·2023-09-25 14:31

Hadoop初识及信息安全（大数据的分布式存储和计算平台）

Hadoop的广义和狭义区分：狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS：分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架
墨痕诉清风·2023-09-25 11:40

网易国产开源分布式存储系统——Curve

导读：Curve是一款高性能、易运维、云原生的开源分布式存储系统(CNCFSandbox)。
·2023-09-25 11:26

SpringBoot整合Redis(自动配置分析、切换Jedis、自定义序列化器)

自动配置分析4.application.properties配置5.连接Redis测试6.使用Jedis客户端7.自定义默认的序列化器1.Redis介绍Redis是一个开源(BSD许可)的、内存中的数据结构存储系统
Bulut0907·2023-09-25 11:06

内部表和外部表的区别

存储位置：内部表的数据存储在数据库的数据文件中，而外部表的数据通常存储在独立的文件系统或外部数据源中，如操作系统的文件系统、分布式文件系统、Hado
鸡蛋灌饼侠·2023-09-25 06:08

数据开发工程师-面试题

数据仓库是一个用于存储、管理和分析大规模数据的集中式数据存储系统。它的结构通常包括以下主要组件和层次。数据源：数据仓库的数据源包括各种不同的数据系统，如关系数据库、日志文件、外部API、云存储等。
完美屁桃·2023-09-25 02:20

Kubernetes(k8s)的Volume数据存储高级储存类型PV和PVC的使用

PVC3.1PVC的资源清单文件3.3创建PVC3.4查看PVC4.创建Pod使用PVC5.查看PV和PVC6.查看远程NFS的共享目录7.PV和PVC的生命周期1.PV和PVC概述由于kubernetes支持的存储系统有很多
Bulut0907·2023-09-24 23:26

k8s-存储-pv和pvc和StatefulSet

此API对象包含存储实现的细节，即NFS、iSCSI或特定于云供应商的存储系统1.2pvcPersistentVolumeClaim
huningfei·2023-09-24 23:53

软考 -- 计算机学习(1)

文章目录一、计算机组成结构1.1计算机组成结构1.2计算机指令1.3存储系统二、操作系统知识2.1进程管理2.2同步和互斥2.3存储管理2.4文件管理三、数据库技术基础3.1三级模式-两级印象3.2数据库
九儿九知·2023-09-24 22:17

GFS分布式文件系统

目录1、GFS理论1.1、概述1.2、GFS的基本概念和架构：1.2.1.基本概念1.2.2.架构：1.3、GFS的基本组成部分包括：1.4、GFS具有以下几个关键特点：1.5、GlusterFS特点1.6、GFS的术语1.7、GlusterFS采用模块化、堆栈式的架构。1.8、GlusterFS的工作流程1.9、TCP与IB的区别1.10、弹性HASH算法2、GFS的卷类型2.1、分布式卷2.1
微※风·2023-09-24 22:25

云计算——ACA学习 云计算分类

，敬事如仪个人主页：网络豆的主页目录写在前面前期回顾本期介绍一.云计算分类1.公有云2.私有云（1）本地私有云（2）托管私有云3.社区云4.混合云二.云计算应用环境1.IDC公有云2.企业私有云3.云存储系统
网络豆·2023-09-24 18:05

认识Redis

深入了解Redis：高性能键值存储  Redis（RemoteDictionaryServer）是一个开源、内存中的数据结构存储系统，以其高性能、可扩展性和多功能性而闻名。
程序员学姐·2023-09-24 17:05

VLDB 2023 ｜ CDSBen: 字节跳动 veDB 数据库存储系统性能测试模型

大量云原生分布式数据库产品如雨后春笋般涌现，其中一部分主打OLTP场景的分布式数据库强调的是从计算-存储分离架构获得弹性收益；对于业界各种计算-存储分离架构的数据库而言，怎么用真实的端到端数据库workload去benchmark其底层存储系统一直存在以下难题
字节跳动技术团队·2023-09-24 14:20

后端存储14（存档历史数据提升查询性能）

解决海量数据导致存储系统慢的问题，思想非常简单，就是一个“拆”字，把一大坨数据拆分成N个小坨，学名叫“分片（Shard）”。当表数据量过大影响到查询性能时，首先应考虑到———存档历史数据。
兮兮码字的地方·2023-09-24 12:07

【Redis在Windows中与Linux中的下载安装，启动服务和设置密码远程连接】

Redis在Windows中与Linux中的下载安装，启动服务和设置密码远程连接1、Redis的简介Redis是一个开源的内存中的数据结构存储系统，它可以用作:数据库、缓存和消息中间件。
fpl1116·2023-09-24 07:20

外卖点餐数据分析

开始学习基本了解：MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是当前最流行的Nosql数据库之一。
xmvip01·2023-09-24 04:48

日志采集引擎 —— Flume

Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力，数据源、数据存储系统都可定制、可扩展。2、Hadoop生态圈  在Hadoop生态圈中，数据采集引擎主要是用Sqoop和F
小胡_鸭·2023-09-24 02:24
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他