分布式文件

minio 分布式对象存储

分布式文件系统应用1.1、Minlo介绍Minlo是一个基于ApacheLicensev2.0开源协议的对象存储服务。
锅锅嗨·2023-12-23 09:55

大数据指标中台构建核心技术解析

主要围绕以下四个方面展开：1.网易数帆大数据产品介绍2.网易数帆指标中台3.指标中台核心技术解析4.未来规划及展望01网易数帆大数据产品介绍1.网易数据分析的发展历史网易自2006年开始使用大数据技术组件，如分布式数据库、分布式文件系统
王知无(import_bigdata)·2023-12-22 11:56

大数据---33.HBase数据结构

一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper
学无止境的大象·2023-12-21 19:07

计算机毕业设计hadoop+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计

spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql分析流程：python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs分布式文件系统上
计算机毕业设计大神·2023-12-21 19:26

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

示例配置如下：fs.defaultFShdfs://localhost:9000hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等
HaveAGoodDay.·2023-12-21 17:52

hdfs如何把一整个目录都复制到本地, 包括目录中的子目录和子文件

在Hadoop分布式文件系统（HDFS）中，你可以使用hadoopfs-copyToLocal命令将整个目录复制到本地。该命令支持递归复制，包括目录中的子目录和子文件。
言之。·2023-12-21 14:27

MongoDB 5.0 在windows上的单机安装部署

MongoDB是一个基于分布式文件存储的数据库。面向集合存储，存储对象类型的数据。截止现在(2023.02)，版本已经发展到了6.0，但是为了稳定，还是基于5.0版本进行安装部署。
齐天小胜·2023-12-21 06:25

GFS分布式文件系统

gfdglusterFS开源的分布式文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统是依赖于元服务器，元服务器保存存储节点的目录树信息。
早上的星星·2023-12-20 20:22

SeaweedFS介绍安装集群部署总结

什么是SeaweedFSSeaweedFS是一种简单的、高度可扩展的分布式文件系统。SeaweedFS是一个非常优秀的由go语言开发的分布式存储开源项目。
编程无霸哥·2023-12-20 17:07

HDFS工作机制和原理

HDFS是一种分部式的文件系统，在他出现以前就已经存在了很多中分布式文件系统，但是他们都是部署在服务器上，需要高的POSIX接口，同时他们默认服务器是稳定的可以提供大量资源。
Tim在路上·2023-12-20 15:36

ceph存储服务结构介绍以及速度优化的方法

以下是这些存储服务的简要介绍和结构：CephFS（Ceph文件系统）：结构：CephFS是Ceph提供的分布式文件系统，它基于RADOS（可扩展自动分布式对象存储）构建。
小果运维·2023-12-20 14:19

go-fastdfs

go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。
芋头哥·2023-12-19 20:41

从零开始了解大数据(三)：HDFS分布式文件系统篇

目录前言一、HDFS分布式文件系统基础1.数据与元数据2.分布式存储系统的核心属性3.HDFS的设计目标4.HDFS的重要特性二、HDFSShell操作1.HDFSShell命令行简介2.HDFSShell
橘子-青衫·2023-12-19 13:23

短视频矩阵系统多账号搭建技术源码（源头3年开发者技术独立搭建）

通过使用分布式文件系统（例如AWSS3）和自动化上传工具，可以实现批量上传功能，并通过设置定时任务和
云罗互动yx898978·2023-12-19 13:52

P2P网络下分布式文件共享场景的测试

P2P网络介绍P2P是Peer-to-Peer的缩写，“Peer”在英语里有“对等者、伙伴、对端”的意义。因此，从字面意思来看，P2P可以理解为对等网络。国内一些媒体将P2P翻译成“点对点”或者“端对端”，学术界则统一称为对等网络(Peer-to-Peernetworking)或对等计算(Peer-to-Peercomputing)。P2P对等网络是一种在对等者(Peer)之间分配任务和工作负载的
XINERTEL·2023-12-19 06:50

大数据技术11：Hadoop 原理与运行机制

前言：HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
Java架构何哥·2023-12-18 21:56

SpringBoot集成分布式对象存储(分布式文件)MinIO

一、什么是MinIO？一句话：MinIO是高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。你可以把它和FastDFS、HDFS作为类比，但它比其它都更简单，极简是MinIO的设计初衷之一，而且他的性能很好。当然也有很多商用的对象存储服务，如阿里的OSS、腾讯的COS，无需自己维护，但需要付费。自建对象存储还是香。官网上的一句话：在中国：阿里巴巴、腾讯、百度、中国联通、华为、中国移动
小虎哥的技术博客·2023-12-18 19:11

Hadoop Single Node Cluster的安装

安装位置设置SSH无密码登录安装hadoop下载安装设置hadoop环境变量修改hadoop配置设置文件设置core-site.xml设置YARN-site.xml设置mapred-site.xml设置HDFS分布式文件系统创建并格式化
艾醒(AiXing-w)·2023-12-18 16:50

Ceph存储

没有冗余，不具备容错功能raid1100%容错raid5最少三块性能不如raid0容错不如raid1raid0+raid1性能+容错raid时代-->分布式存储（ceph）时代1PB级别用raid很难实现分布式文件系统文件系统管理的物理存储资源不一定直接连接在本地节点上
叫我家驹范·2023-12-18 15:15

MongoDB基础知识

MongoDB简介MongoDB是由C++编写的非关系数据库，是一个基于分布式文件存储的数据库系统，是一个面向集合，模式自由的文档型数据库。
unhurried人生——冕临·2023-12-18 10:53

GFS分布式文件系统

GFS分布式文件系统：全称：gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。
DDYYmmm·2023-12-18 05:26

Hadoop （海量数据存储及计算） 基本概念

[1]Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
ronmy·2023-12-18 02:51

分布式文件系统之HDFS

产生背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统
僖僖cc·2023-12-17 17:41

从传统型数据库到非关系型数据库

其本质是一个具有数据存储功能的复杂系统软件，数据库最终把数据保存在计算机硬盘，但数据库并不是直接读写数据在硬盘，而是中间隔了一层操作系统，通过文件系统把数据保存为本地文件系统的数据文件；我们讲过Hadoop，分布式文件系统
僖僖cc·2023-12-17 17:38

高效存储大规模数据的方法与实现

分布式文件系统分布式文件系统是一种常见的大数据存储解决方案。它将数据划分为多个块，并将这些块存储在不同的机器上。这种方式可以提高数据的可靠性和可扩展性。
静谧星光c·2023-12-17 11:47

2018-06-14

hadoop.apache.org/2.Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x：HDFS：分布式文件系统
hoose·2023-12-17 09:26

PDF转为图片

起初是用分布式文件系统，将pdf以流的形式直接传递给前端，前端使用canvas将dpf转为图片，再用jQuery、turn.js进行3
老攀呀·2023-12-17 04:56

关于技术架构的思考

比如，用关系型数据库还是非关系型数据库，MySQL还是PGsql，要不要用Redis，需不需要支持分布式文件存储，模块化还是耦合，用什么协议与第三方系统交互，用golang还是java，golang的话用
谢小鱼·2023-12-16 23:31

NFS远程文件共享系统！

NFS（NetworkFileSystem，网络文件系统）是一种分布式文件系统，允许用户通过网络访问远程主机上的文件。
M乔木·2023-12-16 23:31

在centos在部署分布式文件存储系统Minio

docker部署以及详细文档自取链接：https://pan.baidu.com/s/14NhCk1SQZEHqzMubpUD0eQ提取码：xyxy0.应用场景电商网站：海量商品图片视频网站：海量视频文件网盘：海量文件社交网站：海量图片Minio还有很多优点可以去官网看文档官方：https://docs.min.io中文：http://docs.minio.org.cn（没有及时更新）1.Mini
努力努力ing!·2023-12-16 11:11

分布式文件存储系统Minio使用总结

分布式文件存储系统Minio使用总结1.分布式文件系统应用:1.1、Minlo介绍：Minlo是一个基于ApacheLicensev2.0开源协议的对象存储服务。
北执南念·2023-12-16 11:40

分布式文件系统及Minio配置及测试

功能强大，使用简单~分布式文件系统要理解分布式文件系统首先了解什么是文件系统。文件系统是方便对磁盘上的文件进行管理的一种系统。把若干计算机通过网络连接起来，共同提供存储和访问的服务。
happystudy_neu·2023-12-16 11:04

分布式文件存储系统minio了解下

什么是miniominio是一个基于ApacheLicensev2.0开源协议的对象存储服务。非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小。是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。如果不考虑文件存储上云，minio是一个非常不错的选
我是三叔·2023-12-16 11:01

大数据学习（一）-------- HDFS

2、hadoophadoop有三个核心组件：hdfs：分布式文件系统mapreduce：分布式运算编程框架yarn：分布式资源调度平台3
大数据流动·2023-12-15 21:01

一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程

MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。
邹荣乐·2023-12-15 18:56

Ceph入门到精通-ceph二次开发开源协议考虑

Ceph是一个开源的分布式存储系统，它由多个组件组成，包括分布式对象存储（RADOS）、分布式块存储（RBD）和分布式文件系统（CephFS）等。
瓦哥架构实战·2023-12-15 07:40

【Hadoop】

组件配置文件启动进程备注HadoopHDFS需修改需启动NameNode(NN)作为主节点DataNode(DN)作为从节点SecondaryNameNode(SNN)主节点辅助分布式文件系统HadoopYARN
想当运维的程序猿·2023-12-15 07:43

Python连接MongoDB

(默认已提前完成MongoDB的安装配置)2.MongoDB介绍MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为WEB应用提供可扩展的
一只程序猿子·2023-12-14 22:55

C#云LIS系统源码 B/S架构，SaaS模式，可扩展性强

采用.NetCore新的技术框架、DEV报表、前端js封装、分布式文件存储、分布式缓存等，支持IIS独立部署，Docker部署等多种方式。
星辰大海里编程·2023-12-14 18:02

数据库_mongoDB

MongoDB基于分布式文件存储，介于关系数据库和非关系数据库之间；是非关系数据库当中功能最丰富，最像关系数据库的。2基本概念数据库：数据库用于保
xieyan0811·2023-12-14 18:31

HarmonyOS分布式文件系统开发指导

分布式文件系统概述分布式文件系统（hmdfs，HarmonyOSDistributedFileSystem）提供跨设备的文件访问能力，适用于如下场景：●两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
Android小贾·2023-12-14 15:02

图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
数据萌新·2023-12-06 18:40

大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。HDFS官方架构图一、NameNode（NN）——基于内存存储：不会和磁盘发生交换·只存在内存中·持久化——NameNode主要功能·接受客户端的读写服务·收集DataNode汇报的Block列表信息——NameNode保存metadata信息包括·文件owership和permi
A尚学堂Nancy老师·2023-12-06 15:56

比较 Apache Hive 和 Spark

Hive是一个运行在Hadoop分布式文件系统上
vvoennvv·2023-12-06 06:50

【读书笔记】《大数据技术体系详解：原理、架构与实践》03.分布式文件系统

这些文件形式的数据具有价值高、数据大、流式产生等特点，需要一个分布式文件系统存储它们，该文件系统应具有良好的容错性、扩展性和易用的API，而HDFS（HadoopDistributedFileSystem
粥一样温柔·2023-12-06 05:40

分布式文件存储系统Minio，tuling，fox

MinIO|高性能，对Kubernetes友好的对象存储MinIOHighPerformanceObjectStorage—MinIOObjectStorageforLinux一分布式文件系统应用场景fastDFS
aiwokache·2023-12-06 01:28

Hadoop

Hadoop的基本架构包括以下几个核心组件：HDFS（HadoopDistributedFileSystem）：它是一个高度容错性的分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集
编织幻境的妖·2023-12-05 06:31

Hadoop的介绍与安装

HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个分布式
憨憨小白·2023-12-05 06:30

IPFS将颠覆HTTP在互联网的霸主地位？

IPFS是一个点对点的分布式文件系统（比特币是一种点对点的电子现金系统），作为文件系统嘛，当然可以用来存储文件，这个文件包括文本、图片、视频等等。
仁正·2023-12-05 02:55

大数据的技术栈-逐步完善

目录1.hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1·2023-12-04 20:12
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他