分布式文件存储系统

大数据---33.HBase数据结构

一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper
学无止境的大象·2023-12-21 19:07

计算机毕业设计hadoop+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计

spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql分析流程：python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs分布式文件系统上
计算机毕业设计大神·2023-12-21 19:26

Redis的发布/订阅模式是如何实现实时消息传递的？

简介Redis是一个高性能的键值存储系统，支持多种数据结构和丰富的功能。其中，发布/订阅模式是Redis的一个重要特性，它可以实现实时消息传递，广泛应用于聊天室、实时数据更新等场景。
程序员王也·2023-12-21 17:56

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

示例配置如下：fs.defaultFShdfs://localhost:9000hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等
HaveAGoodDay.·2023-12-21 17:52

hdfs如何把一整个目录都复制到本地, 包括目录中的子目录和子文件

在Hadoop分布式文件系统（HDFS）中，你可以使用hadoopfs-copyToLocal命令将整个目录复制到本地。该命令支持递归复制，包括目录中的子目录和子文件。
言之。·2023-12-21 14:27

Redis缓存简介 + Redis初始操作

容器登陆redis服务查看redis信息清空redis屏幕退出redis服务关闭redis服务系统帮助Redis数据存储操作简易数据存取Key有效时间设计简介Redis概述Redis是一个key-value存储系统
Xingxing...·2023-12-21 11:36

[源码和文档分享]基于纠错码的冗余技术的研究—EVENODD码的设计与实现

摘要由于网络技术的迅猛发展，存储系统的规模变得越来越庞大。因此它对系统的可靠性提出了严峻的挑战。而采用EVENODD编码算法的布局策略可以同时容许两个数据块同时出错，可以很好的保证系统的稳定性。
ggdd5151·2023-12-21 09:52

MongoDB 5.0 在windows上的单机安装部署

MongoDB是一个基于分布式文件存储的数据库。面向集合存储，存储对象类型的数据。截止现在(2023.02)，版本已经发展到了6.0，但是为了稳定，还是基于5.0版本进行安装部署。
齐天小胜·2023-12-21 06:25

鸿萌易备数据备份软件方案分享——ESXi 主机之间的虚拟机增量备份

企业和机构在通过虚拟技术整合服务器资源以提高硬件资源使用效益和降低成本的同时，也增加了存储系统的复杂性。与物理存储设备一样，虚拟基础设施中所存储的数据也时常面临着数据丢失的风险。
鸿萌数据安全·2023-12-21 00:49

分享65个Python管理系统源代码总有一个是你想要的

8888项目名称获取青果软件的教育网络管理系统的教师信息的Python脚本CP聚合博客——pythonDjangoRESTframework以及xadmin管理后台+Sentry日记监控系统FastDFS存储系统
MonkT·2023-12-20 22:20

GFS分布式文件系统

gfdglusterFS开源的分布式文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统是依赖于元服务器，元服务器保存存储节点的目录树信息。
早上的星星·2023-12-20 20:22

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官！

一、前言Redis是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。Redis在缓存应用中还是很广泛的，项目中也经常使用。
掉发的小王·2023-12-20 18:43

SeaweedFS介绍安装集群部署总结

什么是SeaweedFSSeaweedFS是一种简单的、高度可扩展的分布式文件系统。SeaweedFS是一个非常优秀的由go语言开发的分布式存储开源项目。
编程无霸哥·2023-12-20 17:07

HDFS工作机制和原理

HDFS是一种分部式的文件系统，在他出现以前就已经存在了很多中分布式文件系统，但是他们都是部署在服务器上，需要高的POSIX接口，同时他们默认服务器是稳定的可以提供大量资源。
Tim在路上·2023-12-20 15:36

ceph存储服务结构介绍以及速度优化的方法

以下是这些存储服务的简要介绍和结构：CephFS（Ceph文件系统）：结构：CephFS是Ceph提供的分布式文件系统，它基于RADOS（可扩展自动分布式对象存储）构建。
小果运维·2023-12-20 14:19

ccf认证的期刊和会议_ccf推荐AI、CV方向的国际学术期刊、会议

中国计算机学会官方(https://www.ccf.org.cn)公布了十个领域的国际期刊及会议信息，这十个领域分别为：1)计算机体系结构／高性能计算／存储系统；2)计算机网络；3)网络与信息安全；4)
合光聚乐·2023-12-20 13:40

CCF中国计算机学会推荐国际学术期刊与会议

中国计算机学会推荐国际学术刊物中国计算机学会推荐国际学术刊物计算机体系结构/并行与分布计算/存储系统期刊计算机体系结构/并行与分布计算/存储系统会议计算机网络期刊计算机网络会议网络与信息安全期刊网络与信息安全会议软件工程
夏天望月兔·2023-12-20 13:38

sqoop简介及安装配置

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库1.png工作机制将导入或导出命令翻译成mapreduce
一个人一匹马·2023-12-20 11:30

Redis权限管理体系(二）：终于等来了Redis权限控制体系ACL

点击上方蓝字关注我Redis在存储系统界的使用排名一直遥遥领先，但Redis6版本之前，一直没有一套较为全面的权限控制体系。
gjc592·2023-12-20 11:58

Zookeeper-快速开始

ZooKeeper本质上是一个分布式的小文件存储系统（Zookeeper=文件系统+监听机制）。功能：基于数据的集群
有梦想的年轻人6174·2023-12-20 09:04

使用k8s部署Mysql实例~hostpath，nfs服务器，PV和PVC持久化

，EmptyDir中的数据也会被永久删除HostPathHostPath就是将Node主机中一个实际目录挂载到Pod中，保证Pod销毁了，但是数据依旧可以存在于Node主机上NFSNFS是一个网络文件存储系统
碧蓝幻想·2023-12-20 07:30

go-fastdfs

go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。
芋头哥·2023-12-19 20:41

Linux IO模式之io_uring

作为存储系统的开发者，高带宽和高IOPS是我们不断的性能追求，相比于通过kernelbypass的方式和硬件相结合来实现这种
大隐隐于野·2023-12-19 20:40

传统FC存储向NoF发展进化

FC（FibreChannel，网状通道）存储网络已经无法满足全闪存数据中心的要求，NVMe（Non-VolatileMemoryexpress，非易失性内存主机控制器接口规范）存储协议的出现极大提升了存储系统内部的存储吞吐性能
大隐隐于野·2023-12-19 20:09

从零开始了解大数据(三)：HDFS分布式文件系统篇

目录前言一、HDFS分布式文件系统基础1.数据与元数据2.分布式存储系统的核心属性3.HDFS的设计目标4.HDFS的重要特性二、HDFSShell操作1.HDFSShell命令行简介2.HDFSShell
橘子-青衫·2023-12-19 13:23

短视频矩阵系统多账号搭建技术源码（源头3年开发者技术独立搭建）

通过使用分布式文件系统（例如AWSS3）和自动化上传工具，可以实现批量上传功能，并通过设置定时任务和
云罗互动yx898978·2023-12-19 13:52

阿里云OSS简单使用方法

此外传统的数据库或文件方式存储系统文件时，对于流媒体、超大文件的访问仍然无法满足应用要求；此外随文件增多，没有好的文件管理工具，对于数据备份、数据迁移，甚至当今互联网应用需要的内容分析、内容检查都是无法实现的
海盐老伍·2023-12-19 09:55

P2P网络下分布式文件共享场景的测试

P2P网络介绍P2P是Peer-to-Peer的缩写，“Peer”在英语里有“对等者、伙伴、对端”的意义。因此，从字面意思来看，P2P可以理解为对等网络。国内一些媒体将P2P翻译成“点对点”或者“端对端”，学术界则统一称为对等网络(Peer-to-Peernetworking)或对等计算(Peer-to-Peercomputing)。P2P对等网络是一种在对等者(Peer)之间分配任务和工作负载的
XINERTEL·2023-12-19 06:50

【1.6计算机组成与体系结构】存储系统

2.Cache2.1Cache的介绍√Cache的功能:提高CPU数据输入输出的速率，突破冯·诺依曼瓶颈即CPU与存储系统间数据传送带宽限制。
script-pro·2023-12-19 06:55

AWS 日志分析工具

什么是AmazonS3AmazonSimpleStorageService（AmazonS3）是一个基于Web的云存储系统，用于存储和检索数据。
ManageEngine卓豪·2023-12-19 00:19

大数据技术11：Hadoop 原理与运行机制

前言：HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
Java架构何哥·2023-12-18 21:56

认识Apache Bookkeeper

ApacheBookkeeper简介Apachebookkeeper是一个分布式，可扩展，容错（多副本），低延迟的存储系统，其提供了高性能，高吞吐的存储能力。
无醉_1866·2023-12-18 19:27

SpringBoot集成分布式对象存储(分布式文件)MinIO

一、什么是MinIO？一句话：MinIO是高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。你可以把它和FastDFS、HDFS作为类比，但它比其它都更简单，极简是MinIO的设计初衷之一，而且他的性能很好。当然也有很多商用的对象存储服务，如阿里的OSS、腾讯的COS，无需自己维护，但需要付费。自建对象存储还是香。官网上的一句话：在中国：阿里巴巴、腾讯、百度、中国联通、华为、中国移动
小虎哥的技术博客·2023-12-18 19:11

什么是缓存穿透、缓存雪崩、缓存击穿以及他们的解决方案

是将空对象也缓存起来，并给它设置一个很短的过期时间，最长不超过5分钟②采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个bitmap拦截掉，从而避免了对底层存储系统的查询压力
mischen520·2023-12-18 19:25

Hadoop Single Node Cluster的安装

安装位置设置SSH无密码登录安装hadoop下载安装设置hadoop环境变量修改hadoop配置设置文件设置core-site.xml设置YARN-site.xml设置mapred-site.xml设置HDFS分布式文件系统创建并格式化
艾醒(AiXing-w)·2023-12-18 16:50

一文看懂分布式存储 Ceph 架构原理

,distributedstoragesystemdesignedforexcellentperformance,reliabilityandscalability.”从它的定义上我们可以明确它是一种存储系统
Chengz77_·2023-12-18 15:45

Ceph存储

没有冗余，不具备容错功能raid1100%容错raid5最少三块性能不如raid0容错不如raid1raid0+raid1性能+容错raid时代-->分布式存储（ceph）时代1PB级别用raid很难实现分布式文件系统文件系统管理的物理存储资源不一定直接连接在本地节点上
叫我家驹范·2023-12-18 15:15

ceph的整体架构

除了降低成本外，sds还提供灵活性，可伸缩性和可靠性，ceph是一种真正的sds，它可以运行在没有厂商锁定的普通硬件上，与传统的存储系统（软硬件结合不同），在sds中，你可以从任何制造商中自由选择硬件，
TomNewChao·2023-12-18 15:42

Kubernetes 架构

Kubernetes集群包含有节点代理kubelet和Master组件(APIs,scheduler,etc)，一切都基于分布式的存储系统。下面这张图是Kubernetes的架构图。
bern85·2023-12-18 14:56

Flink实时电商数仓（一）

常用的存储系统是Hadoop的HDFS文件系统，使用Hive进行数据计算，并将结果导入HDFS。离线数仓最明显的特点是T+1模式，今天只能算昨天的数据，时效性不够优秀。
十七✧ᐦ̤·2023-12-18 14:14

Redis基础知识

Redis简介Redis基于ANSIC语言编写开发，是一个开源的高性能内存数据存储系统，以键值对的形式存储数据，并支持多种数据结构，如字符串、哈希表、列表、集合和有序集合等。
unhurried人生——冕临·2023-12-18 10:29

MongoDB基础知识

MongoDB简介MongoDB是由C++编写的非关系数据库，是一个基于分布式文件存储的数据库系统，是一个面向集合，模式自由的文档型数据库。
unhurried人生——冕临·2023-12-18 10:53

GFS分布式文件系统

GFS分布式文件系统：全称：gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。
DDYYmmm·2023-12-18 05:26

Hadoop （海量数据存储及计算） 基本概念

[1]Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
ronmy·2023-12-18 02:51

分布式块存储 ZBS 的自主研发之旅｜元数据管理

重点内容元数据管理十分重要，犹如整个存储系统的“大黄页”，如果元数据操作出现性能瓶颈，将严重影响存储系统的整体性能。如何提升元数据处理速度与高可用是元数据管理的挑战之一。
志凌海纳SmartX·2023-12-17 23:29

2022最新云存储网盘系统,文件分享系统与文件存储系统。

资源入口2022最新云存储网盘系统,文件分享系统与文件存储系统。
heardic·2023-12-17 21:07

分布式文件系统之HDFS

产生背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统
僖僖cc·2023-12-17 17:41

从传统型数据库到非关系型数据库

其本质是一个具有数据存储功能的复杂系统软件，数据库最终把数据保存在计算机硬盘，但数据库并不是直接读写数据在硬盘，而是中间隔了一层操作系统，通过文件系统把数据保存为本地文件系统的数据文件；我们讲过Hadoop，分布式文件系统
僖僖cc·2023-12-17 17:38

环境搭建及源码运行_java环境搭建_redis安装

redis是一个key-value存储系统2、
吹老师个人app编程教学·2023-12-17 13:37

Redis知识详解（超详细）

1.背景Redis是由意大利人Antirez（SalvatoreSanfilippo）在2009年创造的开源内存数据结构存储系统。
孤蓬&听雨·2023-12-17 12:50
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他