分布式文件存储系统

计算机系统概论

1、冯诺依曼结构计算机工作原理及层次结构分析1.1冯诺依曼计算机的工作原理存储系统：将程序存放在计算机的存储器中（存储系统的快速构建与访问）程序控制：按指令地址访问存储器并取出指令，经译码器依次产生指令执行所需的控制信号
Big-Peng·2023-09-09 09:31

直播 | SDS 容灾方案，让制品数据更安全

近日，腾讯CODINGWePack制品管理系统V1以及腾讯CODINGDevOps研发效能管理平台V7与XSKY星辰天合的统一数据平台XEDP及天合翔宇分布式存储系统完成互相兼容认证，在数据层面满足了共同客户敏捷开发的高可用建设合规要求
·2023-09-09 09:15

python 连接hbase的几种方式

大数据模块hbaseApacheHBase是Hadoop生态环境中的键值存储系统（Key-valueStore）。它构建在HDFS之上，可以对大型数据进行高速的读写操作。
ajax_beijing_java·2023-09-09 07:39

在Spring Boot中使用Redis 5的Stream

引言Redis是一个开源的高性能键值对存储系统，而Redis5引入了新的数据结构——Stream（流）。Stream可以用于高效地保存和处理事件流数据。
曾几何时…·2023-09-09 06:05

HDFS：Hadoop文件系统（HDFS）

Hadoop文件系统（HDFS）是一个分布式文件系统，主要用于存储和处理大规模的数据集。HDFS是ApacheHadoop的核心组件之一，能够支持上千个节点的集群，并能够处理PB级别的数据。
Solitary_孤影照惊鸿·2023-09-09 06:39

k8s安装elasticsearch集群

StatefulSet控制器创建的Pod适合用于分布式存储系统，它最大的特点是各个Pod的数据不一样，各个Pod无法使用同一个存储卷。
MasonYyp·2023-09-09 05:25

Hadoop概述

用java语言实现开源软件框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理Hadoop核心组件HadoopHDFS(分布式文件存储管理系统)：解决海量数据存储HadoopYARN(集群资源管理和任务调度框架
藤藤菜丶·2023-09-09 05:15

大数据技术之Hadoop：Yarn集群部署（七）

部署说明二、集群规划三、开始配置3.1MapReduce配置文件3.2YARN配置文件3.3分发配置文件四、集群启停4.1命令介绍4.2演示4.3查看YARN的WEBUI页面一、部署说明HadoopHDFS分布式文件系统
何苏三月·2023-09-09 04:19

揭秘分布式文件系统大规模元数据管理机制——以Alluxio文件系统为例

目录一、前言二、什么是分布式文件系统三、分布式文件系统元数据的常见类型3.1文件（inode）元数据3.2数据块（block）元数据3.3MountTable3.4Worker元数据四、分布式文件系统元数据的存储模式
Designer 小郑·2023-09-08 21:56

it设备综合监控系统

该产品涵盖网络管理、服务器管理、存储系统、安全管理等方面，可为企业提供对整个IT系统的全方位监控和管理。
云呐·2023-09-08 19:25

【操作系统】聊聊Linux内存工作机制

内存主要是用来存储系统和应用程序的指令、数据、缓存等内存映射内存是需要安全机制保护的，所以只有内核才可以直接访问物理内存。进程如果要访问内存需要通过独立的虚拟地址空间。虚拟地址空间其实包含两部分。
qxlxi·2023-09-08 16:40

网络安全实战攻防演练应急处置预案

第一章社会工程攻击1.1监测阶段（1）蜜罐系统，还用于将检测到的疑似社会工程学攻击事件发送给控制器；控制器，还用于将蜜罐系统发送的疑似社会工程学攻击事件存储至数据存储系统，并向事件分析系统下发与疑似社会工程学攻击事件对应的事件类型判断指令
知白守黑V·2023-09-08 13:00

什么是对象存储

这些对象被存储在分布式存储系统中，通常由多个物理设备或服务器组成，以提供高可用性、冗余和可伸缩性。以下是对象存储的一些关键特点和优点：弹性扩展性：对象存储系统可以
贾斯汀玛尔斯·2023-09-08 13:19

大规模数据处理平台架构

采集的数据需要经过预处理和清洗，然后存储到可扩展的数据存储系统中，如Hadoop分
AlianBlank·2023-09-08 09:17

Redis简易入门15招

Redis简易入门15招1、Redis简介REmoteDIctionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value存储系统。
程序员达芬奇·2023-09-08 08:32

Hadoop：HDFS--分布式文件存储系统

目录HDFS的基础架构VMware虚拟机部署HDFS集群HDFS集群启停命令HDFSShell操作hadoop命令体系：创建文件夹-mkdir查看目录内容-ls上传文件到hdfs-put查看HDFS文件内容-cat下载HDFS文件-get复制HDFS文件-cp追加数据到HDFS文件中-appendToFileHDFS文件移动-mv删除HDFS文件-rmHDFS存储原理存储原理修改副本数量fsck检
独憩·2023-09-08 06:40

浅谈数据仓库工具——Hive

前言Hadoop分布式文件系统(HDFS)因其高容错性、高吞吐量的特点，且适合部署在廉价的机器上，使其非常适合大批量数据的存储，但是如何快速地对HDFS上的文件进行统计分析操作呢？
数新网络·2023-09-08 04:04

MongoDB

title:MongoDBdate:2019-07-1610:05:02tags:[数据库,Node.js]categories:Web前端一、起步MongoDB是一个基于分布式文件存储的数据库。
怪兽难吃素·2023-09-08 04:36

Redis总结

Redis总结什么是RedisRedis是一个开源的,内存中的数据结构存储系统,可以用作数据库、缓存和消息中间件。
勇气和坚持·2023-09-08 03:53

【软考】系统架构设计师-历年论文题目（2013-2022）

2013-2022年系统架构设计师历年论文题目如下：时间题目20131.论软件架构建模技术与应用；2.论企业应用系统的分层架构风格；3.论软件可靠性设计技术的应用；4.论分布式存储系统架构设计20141
Jackilina_Stone·2023-09-08 01:32

redis集群搭建_亲自操作

Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括st
beyond阿亮·2023-09-07 23:36

企业数据的存储形式与方案选择

而DAS的之间连接可以解决单台服务器的存储空间扩展，高性能传输的需求，和一个单一的系统外部存储容量，引进大容量硬盘，一个单一的外部磁盘存储系统容量将上升。
白牛DATA·2023-09-07 19:40

Redis命令中心

Redis全称为：RemoteDictionaryServer（远程数据服务），该软件使用C语言编写，Redis是一个key-value存储系统，它支持丰富的数据类型，如：stri
冯小瑞·2023-09-07 19:57

Linux文件系统管理基础

reiserfs,jfs,swapswap:交换分区'光盘:isoWindows:fat32,ntfsUnix:FFS,UFS,JFS2网络文件系统:NFS,CIFS集群文件系统:GFS2,OCFS2分布式文件系统
极地冰凌_25bf·2023-09-07 17:12

存储方案作为产品——Midgard探索

百度的搜索业务正是典型的数据密集业务，数据规模大，使用方式多样，极为关注如何构建高效低成本的存储系统。
百度Geek说·2023-09-07 16:09

it设备综合监控系统

该产品涵盖网络管理、服务器管理、存储系统、安全管理等方面，可为企业提供对整个IT系统的全方位监控和管理。
固定资产管理系统·2023-09-07 14:49

Redis事务机制

Redis是一款开源的、内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。在日常的使用中，我们经常会遇到需要一次执行多个命令，并且这些命令要么全部成功，要么全部失败的场景。
栗筝i·2023-09-07 09:23

Ceph：一个 Linux PB 级分布式文件系统

Ceph最初是一项关于存储系统的PhD研究项目，由SageWeil在UniversityofCalifornia,SantaCruz（UCSC）实施。
天狐云通讯八度·2023-09-07 08:50

【总结】深入剖析 Redis 性能问题及优化方案有哪些

背景Redis作为一个开源的内存数据存储系统，因其快速高效的特性而深受业界的热爱。然而，其在大量数据存储和访问时的性能问题，也同样引起了广泛关注。
贺佬湿·2023-09-07 07:27

Hadoop的分布式文件存储系统HDFS组件的使用

Hadoop的第一个核心组件：HDFS（分布式文件存储系统）一、HDFS的组成1、NameNode2、DataNode3、SecondaryNameNode4、客户端：命令行/JavaAPI二、HDFS
Augenstern K·2023-09-07 06:56

黑客利用 MinIO 存储系统漏洞危害服务器

据观察，未知威胁行为者利用MinIO高性能对象存储系统中的高严重性安全漏洞进行武器化，以在受影响的服务器上实现未经授权的代码执行。
w3cschools·2023-09-07 06:00

Hadoop数据压缩

一、概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数，提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。
南巷的旧猫·2023-09-07 05:09

ETCD详解

etcd作为一个高可用键值存储系统，天生就是为集群化而设计的。由于Raft算法在做决策时需要多数节点的投票，所以etcd一般部署集群推荐奇数个节点，推荐的数量为3、5或者7个节点构成一个集群。
7B_coder·2023-09-07 04:16

如何将home目录空间扩充到根目录下

卸载并删除/home4、扩大/root逻辑卷5、扩大/文件系统6、重建/home逻辑卷7、创建/home文件系统8、将新建的文件系统挂载到/home目录下9、恢复/home并删除备份10、再次查看看磁盘存储系统
喂小鸭·2023-09-07 02:54

李呈祥：bilibili在湖仓一体查询加速上的实践与探索

通常来说，它有以下几个特点：有一个统一的存储系统，所有的数据都放到这个统一的存储
DataFunTalk·2023-09-06 21:40

开源对象存储系统minio部署配置与SpringBoot客户端整合访问

2.3、JavaSDK管理工具3、MinIOServer配置参数3.1、启动参数：3.2、环境变量3.3、Root验证参数4、MinIOClient可用命令官方介绍：MinIO提供高性能、与S3兼容的对象存储系统
penngo·2023-09-06 19:32

大数据组件系列-Hadoop每日小问

HDFS即HadoopDistributedFileSystem，Hadoop分布式文件系统。
躺平的赶海人·2023-09-06 15:55

zookeeper

Chubby就是一个分布式文件系统，可解决分布式系统中的数据不一致问题。特性：1、最终一致性：为客户端展示统一视图，即所有客户端看到的数据都一致；2
Rcfee·2023-09-06 12:19

Redis基本数据结构和原理

简介：Redis是一个key-value存储系统，在各种系统中的使用率越来越高，大部分原因是因为其高性能的特性。
shoulda·2023-09-06 09:10

事务的优化

例子：举例：假设我们有一个文件上传的uploadFile方法，在这个方法中我们会先执行上传一个文件到分布式文件系统中的方法addMediaFilesToMinIO()，上传成功后执行文件资源数据入库的addMediaFilesToDb
那山川·2023-09-06 04:25

Linux 内存管理 详解（虚拟内存、物理内存，进程地址空间）

Linux-操作系统内存管理存储系统存储器的层次结构Linux的内存管理物理内存物理内存管理虚拟内存虚拟地址空间(写时拷贝)和物理地址映射关系页表虚拟内存优缺点「在4GB物理内存的机器上，申请8G内存会怎么样
-YIN·2023-09-06 03:28

优化的道路永无止境——Mysql的ICP及MRR

于本文的重点并不在架构细节上，所以让我们直接看关键部分，存储引擎作为单独的一层，是连接底层存储系统和上层server其他部分的桥梁，而MySQL对存储引擎的抽象也极大地丰富了其可扩展性。
绝色天龙·2023-09-06 01:44

变化

Memcache/redisRedis和Memcached都是基于内存的数据存储系统。
九楼记·2023-09-05 22:06

存储数据恢复- raid5多块硬盘出现坏道的数据恢复案例

存储系统上层共划分了11个卷。存储故障&检测：存储内磁盘发生故障，存储设备上有两块盘的硬盘指示灯显示黄色，存储不可用，存储设备已经过保。硬件工程师将故障存储中那组出现故障崩溃的阵列中所有磁盘编号后
北亚数据恢复·2023-09-05 19:43

存储数据恢复- 存储raid5多块硬盘出现故障的数据恢复案例

存储系统上层共划分了11个卷。存储故障&检测：存储内磁盘发生故障，存储设备上有两块盘的硬盘指示灯显示黄色，存储不可用，存储设备已经过保。硬件工程师将故障存储中那组出现故障崩溃的阵列中所有磁盘编号后
·2023-09-05 16:56

解读MapReduce程序实例

MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个Map任务并行处理。
大禹编程扛把子·2023-09-05 14:03

关于hiveonSpark的错误问题

spark-env.sh.template/opt/module/spark/conf/spark-env.sh添加内容//有了SPARK_DIST_CLASSPATH配置信息以后，//Spark就可以把数据存储到Hadoop分布式文件系统
叫我莫言鸭·2023-09-05 14:49

20180521早课记录14-Hadoop

分别做什么HDFS:分布式文件管理系统存储MapReduce:执行引擎计算Yarn:资源(memorycpu)和作业调度平台资源3.hdfs在部署时，要配置信任关系，请问root和hadoop用户部署时
K_un·2023-09-05 12:27

Hudi 源码之Bucket Index

然后将这些对应关系保存到外部存储系统（HBase，Flink状态后端等）。这种方式需要引入外部系统，运维的复杂度较高且索引数据量较大。除此之外Hudi还提供了Bl
AlienPaul·2023-09-05 09:14

Hadoop的概述与安装

Hadoop的概述与安装一、Hadoop内部的三个核心组件1、HDFS：分布式文件存储系统2、YARN：分布式资源调度系统3、MapReduce：分布式离线计算框架4、HadoopCommon（了解即可
Augenstern K·2023-09-05 06:49
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他