分布式文件

Hadoop之hdfs简介

HadoopHDFS:一个高可靠、高吞吐量的分布式文件存储系统HadoopMapReduce:一个分布式的离线并行计算框架HadoopYARN:一个新的MapReduce框架，任务调度与资源管理框架HadoopDistrib
墙角的枫叶·2023-10-08 07:53

【Hadoop】HDFS——分布式文件系统

文章目录一、Hadoop分布式文件系统架构1概念1.1文件存放在一个磁盘上效率低1.2字节数组1.3切分数据1.4拼接数据1.5偏移量1.6数据存储的原理2.Block拆分标准2.1拆分的数据块需要等大
嗯，哦，呵呵。·2023-10-08 07:21

Docker 安装 MongoDB

一、什么是MongoDBMongoDB是一个基于分布式文件存储的数据库。是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。
时光有伱记忆成花·2023-10-07 21:01

fastFDS概述和使用

SpringBoot-fastFDS是一个集成了FastDFS分布式文件系统的框架，可以方便地实现文件上传和下载。
wenyqing·2023-10-07 20:08

大数据软件系统开发框架

1.ApacheHadoop：Hadoop是一个开源的分布式数据存储和处理框架，它包括Hadoop分布式文件系统（HDFS）和MapReduce编程模型。Hadoop可以处理大规模数据集的
defdsdddev·2023-10-07 15:54

大数据的生态圈

首先，我先带大家看下整个的hadoop的生态圈2针对每一个组件，我们进行详细的介绍：1、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版
myHope2017·2023-10-06 18:41

minio分布式文件存储 windows部署 和 api 使用

本文介绍minioserver在windows的部署和api的使用，其中关于minio使用的配置类和工具类等可用源代码，可通过资源下载获得，此处不进行copy。资源地址：minio使用，poi解析，uid生成工具，策略工厂模式，模板管理完整功能，swagger集成，跨域，异常处理，分页等可用源代码-Java文档类资源-CSDN文库minio部署步骤1、下载windows版下载地址：https://
码码再也不用担心我的学习·2023-10-06 17:22

第03讲：MinIO分布式文件服务器

一、什么是MinIOMinio是个基于Golang编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。官网地址：MinIO|HighPerformance,KubernetesNativeObjectStorageopeninnewwindow官网文档地址：MinIO|TheMinIOQuickstartGuideopeninnewwindow官网文档（中文）地址：官网中文网址openinnew
Java秦老师·2023-10-06 17:22

MinIO分布式文件服务器搭建与入门

文章目录一、介绍1、对象存储和分布式文件简介2、MinIO简介3、MinIO特点二、MinIO安装入门1、介绍2、快速安装2.1Windows2.2Linux2.3MacOS2.4Docker(推荐)3
魅Lemon·2023-10-06 17:49

【Java互联网技术】MinIO分布式文件存储服务

应用场景互联网海量非结构化数据的存储基本概念Object：存储的基本对象，如文件、字节流等Bucket：存储Object的逻辑空间，相当于顶层文件夹Drive：存储数据的磁盘，在MinIO启动时，以参数的方式传入Set：多个Drive的集合。分布式部署时划分一个或多个Set，一个Object存在Set上，Set中的每个Drive中都会有相同的Object特点部署简单，整体只有一个二进制文件，还可支
晚风也很浪漫·2023-10-06 17:46

T-12-云计算 | Google分布式文件系统GFS

1.GFS的系统架构GFS的系统架构GFS将系统节点分为三个部分：GFS系统节点2.GFS的实现机制：客户端首先访问Master节点，获取交互的ChunkServer信息，然后访问这些ChunkServer，完成数据存取工作。这种设计方法实现了控制流和数据流的分离。Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。Client与ChunkServer之间直接传输
月影诉残心·2023-10-05 20:04

Mongodb学习

一、初步了解1.1Mongodb是什么MongoDB是一个基于分布式文件存储的数据库，官方地址https://www.mongodb.com/1.2数据库是什么数据库（DataBase）是按照数据结构来组织
不积跬步无以至千里_f·2023-10-05 19:54

基于分布式文件存储的数据库 -------MongoDB（简介及安装）

文章目录前言一、什么是MongoDB?二、主要特点三、MongoDB工具1.监控2.GUI四、Windows平台安装MongoDB1，MongoDB下载2、解压文件3、创建data,logs文件4、安装MongoDB服务5、启动MongoDB服务（bin目录下“netstartmongdb”）6、mongo开启后台五、概念1、数据库2、文档(Document)3、集合前言MongoDB是由C++语
北街风·2023-10-05 14:48

在大数据相关技术中，HBase是个分布的、面向列的开源数据库，是一个适合于非结构化数据存储的数据库。

HDFS，适合运行在通用硬件上的分布式文件系统，是一个高度容错性的系统，适合部署在廉价的机器上。Hbase，是一个分布式的、面向列的开源数据库，适合于非结构化数据存储。
晨晨渝奇·2023-10-05 09:18

HDFS基础

搭建HDFS后简单介绍下这个分布式文件管理系统。块名称节点和数据节点在搭建hadoop集群时配置core-site.xml文件配置了hadoop.tmp.dir是NameNode的主目录。
_小许_·2023-10-05 05:15

1.HDFS基础知识

.HDFS基础知识1.HDFS基础知识2.HDFS操作3.HDFS读写流程1.1传统文件、存储文件系统：存储数据和管理数据的一种方式传统存储方式：程序是程序，数据是数据，处理时将数据转移到程序中1.2分布式文件存储的概念和现实
敲代码的羊·2023-10-05 05:41

大数据学习之HDFS基础

一、HDFS介绍基本介绍HDFS的全称是HadoopDistributedFileSystem，Hadoop的分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间
不是毛毛虫cl·2023-10-05 05:41

Hadoop之HDFS的使用

分布式文件管理系统有很多，HDFS只是其中一种实现注意：HDFS不适合存储小文件（几KB或几M的小文件）HDFS基础操作操作格式hdfsdfs-xxxschema://authority/path-xxx
帅帅的猪头·2023-10-05 05:10

minio分布式文件存储

基本介绍什么是MinIOMinIO是一款基于Go语言的高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。基于ApacheLicensev2.0开源协议，虽然轻量，却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用，例如NodeJS、Redis、MySQL等。官网：www.minio.org.cn/MinIO特点高性能：作为高性能对象存储，在标准硬件条件
小月亮6·2023-10-04 22:36

【译】Apache Hadoop 系列之三（用户指南）

目的该文档是用户使用Hadpoop分布式文件系统(HDFS)的起点，不管是作为hadoop集群的一部分来使用还是独立的通用分布式文件系统。
Kooola大数据·2023-10-04 16:02

BigData导论

发展历史2004年，Google三驾马车，分布式文件系统GFS、大数据分布式计算框架MapReduce、NoSQL数据库系统BigTable2006年，DougCutting（lucene的作者）根据论文原理初步实现了类似
Youth_C&B·2023-10-04 14:41

hadoop面试题！这6个！经常问！

简而言之，Hadoop由以下部分组成：HDFS（Hadoop分布式文件系统）：HDFS允许您以分布式和冗余的方式存储大量数据。
yoku酱·2023-10-03 17:41

GFS 分布式文件系统

目录GlusterFS概述GlusterFS简介GlusterFS特点GlusterFS术语模块化堆栈式架构GlusterFS的工作流程弹性HASH算法GlusterFS的卷类型部署GlusterFS群集关闭防火墙磁盘分区，并挂载修改主机名，配置/etc/hosts文件安装、启动GlusterFS（所有node节点上操作）创建分布式卷创建条带卷创建复制卷创建分布式条带卷创建分布式复制卷部署Glus
风落成风寻未至·2023-10-03 17:12

mongoDB 入门指南、示例

介绍：MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。特点：高性能、易部署、易使用，存储数据非常方便。
zp522123428·2023-10-03 15:51

转载：如何提升磁盘IO性能

FastDFS是一个开源且高效的分布式文件系统。它的初始实现，文件以散列模式随机分布到多个目录，后来又添加了顺序存储实践。通
微微笑_198111·2023-10-03 15:34

分布式文件存储系统Minio实战

分布式文件系统应用场景互联网海量非结构化数据的存储需求电商网站：海量商品图片视频网站：海量视频文件网盘:海量文件社交网站：海量图片1.Minio介绍MinIO是一个基于ApacheLicensev2.0
小鱼儿&·2023-10-03 08:53

架构师必读：分布式文件系统原理与架构

为了解决这一难题，分布式文件系统（DistributedFileSystem）应运而生。分布式文件系统是指将存储文件的方式从单个服务器扩展到多台服务器上，解决文件存储和处理的性能
禅与计算机程序设计艺术·2023-10-03 03:33

配置 FastDFS Java 客户端

学习完整课程请移步互联网Java全栈工程师本节视频【视频】Dubbo实现微服务架构-分布式文件系统-FastDFSJava客户端创建项目创建一个名为myshop-service-upload的服务提供者项目安装
撸帝·2023-10-03 02:31

MongoDB快速上手攻略

MongoDB快速上手攻略1.MongoDB概述1.1简介MongoDB是一个高性能，开源，无模式的，基于分布式文件存储的文档型数据库，由C++语言编写，是一种开源的文档数据库──NoSql数据库的一种
Do Re Mi·2023-10-02 09:49

[MongoDB]MongoDB快速上手

基于分布式文件存储的开源数据库系统，旨在为WEB应用提供可扩展的高性能数据存储解决方案，mongo将数据存储为一个文档，文档数据表示为BinaryJson格式MongoDB数据模型以下是关系型数据库与MongoDB
Makesths·2023-10-02 09:47

组件分享之后端组件——一个简单且高度可扩展的分布式文件系统seaweedfs

组件分享之后端组件——一个简单且高度可扩展的分布式文件系统seaweedfs背景近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件
cn華少·2023-10-02 04:55

Gluster Fs(一)基础知识介绍

基础知识铺垫(什么是分布式文件系统？)
frederickhou·2023-10-02 02:33

Hadoop 系列（一）—— 分布式文件系统 HDFS

一、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
heibaiying·2023-10-01 13:27

在腾讯云服务器上搭建fastdfs分布式文件存储服务器

下载所需压缩包二.安装安装tracker(FastDFS跟踪器)安装storage存储服务测试图片上传安装nginx浏览器访问图片附：Tracker和Storage的配置文件说明在腾讯云服务器上搭建fastdfs分布式文件存储服务器
西楚子羽·2023-10-01 12:16

MongoDB入门第一节 初始MongoDB

一:MongoDB简介MongoDB是一个基于分布式文件存储的数据库，由C++语言编写,旨意在为WEB应用提供可扩展的高性能的数据存储解决方案。
天之皓月·2023-10-01 03:52

基于夸克区块链的QKFile带来全新解决方案

QKFile的中文翻译为“夸克分布式文件系统”,是一种全新的超媒体分发协议，通过内容和标识来寻址，并支持创建完全分布式应用程序，旨在使全球网络更快，更安全，更开放。
少年已不年少201901·2023-10-01 03:27

Hadoop3.x组件HDFS入门

HDFS，全称HadoopDistributedFileSystem，即Hadoop分布式文件存储系统，是Hadoop核心组件之一，是大数据生态最底层的分布式存储服务。
文景大大·2023-09-30 21:06

nodejs连接mongodb数据库

mongodb的简介：MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
node_bin·2023-09-29 22:33

DAMA-DMBOK2重点知识整理CDGA/CDGP——第14章 大数据与数据科学

定义大数据战略和业务需求2.2选择数据源2.3获得和接收数据源2.4制定数据假设和方法2.5集成和调整数据进行分析2.6使用模型探索数据2.7部署和监控3、工具3.1大规模并行处理（MPP）3.2基于分布式文件的数据库
醉酒的戈多·2023-09-29 08:21

大数据知识图谱笔记

没有什么是一张图解决不了的，如果有就再画一张目录1集成平台2分布式文件系统3Hadoop生态圈4Spark生态圈5数据存储访问6实时流处理7搜索引擎(Lucence)8文件格式9压缩
*沧海明月*·2023-09-29 06:59

介绍大数据处理架构Hadoop以及其生态系统

Hadoop简介Hadoop是一个开源的、可运行于大规模集群上的分布式计算平台，它实现了MapReduce计算模型和分布式文件系统HDFS等功能，在业内得到了广泛的应用，同时也成为大数据的代名词，借助于
转身丶即天涯·2023-09-29 04:40

FastDFS详解

FastDFS是一个开源的高性能分布式文件系统(DFS)，主要解决海量数据存储问题，特别适合中小文件（建议范围：400K~500M）为载体的在线服务。
hadoop_a9bb·2023-09-28 21:35

分享55个C源码源代码总有一个是你想要的

pwd=8888提取码：88881.项目名称apachesubversion版本控制系统v1.10.3Ceph分布式文件系统v17.2.5clip命令行插图处理器v0.8curve分布式存储系统v1.2.6curve
zdh13370188237·2023-09-28 14:34

分享55个C源码源代码总有一个是你想要的

pwd=8888提取码：88881.项目名称apachesubversion版本控制系统v1.10.3Ceph分布式文件系统v17.2.5clip命令行插图处理器v0.8curve分布式存储系统v1.2.6curve
zdh13370188237·2023-09-28 14:34

go-fastdfs分布式文件存储集群搭建和测试

一、官方文件https://sjqzhang.github.io/go-fastdfs/#character2、集群原理小集群原理：大集群原理二、服务端集群部署1、在集群每个节点机器上下载安装包(建议使用最新稳定版本）wget--no-check-certificatehttps://github.com/sjqzhang/go-fastdfs/releases/download/v1.4.5/f
SuperPurse·2023-09-28 11:18

minio之阿里云服务器安装

写在前面Minio是一个开源的分布式文件存储系统，当然你可以直接购买阿里云的OSS对象存储服务，也不是很贵，但我这里纯粹自己拿来玩所以就自己安装这个Minio服务。
莫等闲，白了少年头·2023-09-28 09:11

大数据之Hadoop-HDFS

产出背景及定义1.1.1HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统
jackyan163·2023-09-28 02:50

一、大数据技术基础——分布式文件系统HDFS

目录1.引入1.1.传统存储系统面临的难题1.2.解决之道2.Hadoop集群架构3.HDFS1.03.1.概念3.2.Block块3.3.NameNode维护文件：fsimage与editlog3.4.DataNode3.5.HDFS1.0架构的局限性3.6.SecondaryNamenode4.HDFS2.04.1.HA架构4.2.联邦架构5.HDFS读写入数据流程5.1.写入数据流程5.2.
百颂伊·2023-09-28 02:48

processflow基于私有云存储的多人实时协作尝试

后面便萌生了基于一些开源的分布式文件多版本存储系统代替oneDrive的功能，经历了一个多月的尝试，最终得到了我想要的结果。实现
processflow流程图·2023-09-27 21:26

HDFS 基础

HDFSHDFShadoop分布式文件系统解决目标超大文件流式数据访问商用软件(兼容廉价的硬件设备／强大的跨平台兼容性)HDFS局限性不适合低延迟数据访问（实时性不高）无法高效存储大量小文件（索引结构庞大后搜索效率降低
JM68·2023-09-27 13:44
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他