分布式文件第7页

大数据生态圈及分布式文件系统HDFS实践-part1

Hadoop入门第一章大数据概述1.1大数据概念“人类正在从IT时代走向DT时代”。大数据（BigData）：指的是传统数据处理应用软件不足以处理（存储和计算）它们的大而复杂的数据集。主要解决，海量数据的存储和海量数据的运算问题。1.2大数据特征容量大，种类多，速度快，价值高1、容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息微博，5亿用户，每天上亿条微博朋友圈，10亿用户，每天

落叶飘雪2014·2023-12-04 15:40

Java操作Hdfs(分布式文件系统)完成文件上传、下载和删除

Java操作Hdfs(分布式文件系统)文件上传实现创建Maven项目，项目命名Hadoop_hdfs导入pom.xml依赖4.0.0hadoophadoop0.0.1-SNAPSHOThadoop_learnorg.apache.hadoophadoop-client3.2.0

菜鸟小党·2023-12-04 15:39

HDFS和MapReduce综合实训：构建大数据处理应用

摘要：本文将介绍如何使用Hadoop分布式文件系统（HDFS）和MapReduce框架来构建大数据处理应用。

IbtnLisp·2023-12-04 15:09

【头歌实训】分布式文件系统 HDFS

文章目录第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明答案代码第2关：HDFS-JAVA接口之读取文件任务描述相关知识

撕得失败的标签·2023-12-04 15:08

大数据技术合集（持续更新）

0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS

amuseme_lu·2023-12-04 05:39

大数据开发：HDFS Erasure Coding机制

Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。今天的大数据开发分享，我们就来讲讲HDFSErasureCoding机制。

成都加米谷大数据·2023-12-03 14:29

MongoDB和mongoose学习笔记

MongoDB概念解析|菜鸟教程(runoob.com)MongoDBCRUD操作_MonogDB中文网MongoDB聚合-MongoDB-CN-Manual(mongoing.com)MongoDB是一个基于分布式文件存储的数据库

我是真的垃圾啊·2023-12-03 13:01

MongoDB 学习笔记

MongoDBMongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。MongoDB将数据存储为一个文档，数据结构由键值(key=>value)对组成。

hxx·2023-12-03 06:01

【开源存储】glusterfs分布式文件系统部署实践

文章目录一、前言1、介绍说明2、术语说明3、冗余模式3.1、复制卷（Replication）3.2、纠删卷（ErasureCode）二、部署说明1、软件安装2、集群部署2.1、前置准备2.2、部署过程a、添加节点b、配置存储c、创建glusterfs卷d、客户端挂载3、常用操作3.1、扩展卷（add-brick）3.2、收缩卷（remove-brick）三、Q&A1、volumecreate:re

Luxf0·2023-12-03 05:25

互联网架构演变过程梳理和架构思想的学习

缘友一世·2023-12-02 21:58

Hadoop进阶学习---HDFS分布式文件存储系统

1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入

Yan_bigdata·2023-12-02 19:59

MongoDB

一、什么是MongoDBMongoDB是一个基于分布式文件存储的数据库。由C++语言编写，是一个开源数据库系统。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

吖Sunday·2023-12-02 09:35

Hadoop -- hadoop介绍

hadoop发展hadoop介绍hadoop底层是Java语言实现是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理hadoop核心组件hdfs（分布式文件存储系统

小陈菜奈-·2023-12-02 07:07

mongoDB非关系型数据库学习记录

一、简介1.1Mongodb是什么MongoDB是一个基于分布式文件存储的数据库,官方地址https://www.mongodb.com/1.2数据库是什么数据库(DataBase)是按照数据结构来组织

Alaso_soso·2023-12-02 05:54

主要分布式文件系统架构对比分析：GFS vs. Tectonic vs. JuiceFS

为了满足不断增长的存储需求，分布式文件系统作为动态且可扩展的解决方案应运而生。

沃趣数据库管理平台·2023-12-02 00:34

IPFS：下一代分布式文件系统(filenet)

一概述星际文件系统是一种点对点的分布式文件系统，旨在连接所有有相同的文件系统的计算机设备。

壹五叁说IPFS·2023-12-01 19:24

MongoDB快速入门及其SpringBoot实战

MongoDB快速入门及其SpringBoot实战MongoDB简介MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

积雨辋川·2023-12-01 15:40

Hadoop运行模式及目录结构

文章目录Hadoop运行模式本地模式伪分布式模式完全分布式模式Hadoop目录结构配置文件说明默认配置文件：自定义配置文件：Hadoop运行模式本地模式这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统

撕得失败的标签·2023-12-01 12:23

分布式文件系统FastDFS

FastDFS是什么FastDFS是一款开源的轻量级分布式文件系统：纯C实现，支持Linux、FreeBSD等UNIX系统类googleFS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java

会踢球的程序源·2023-12-01 12:00

[Ubuntu 18.04] RK3399搭建NFS服务实现共享目录

NFS（NetworkFileSystem）是一种分布式文件系统协议，允许远程计算机通过网络访问存储在另一台计算机上的文件。

嵌入式逍遥·2023-12-01 07:15

2019-02-01

大数据技术的产生以及发展谷歌的三篇论文分布式文件系统GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算

奔跑的风2019·2023-12-01 04:34

FastDFS实现本地文件服务器

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。

user__kk·2023-12-01 03:02

MongoDB快速入门

简介什么是MongoDB是一款基于分布式文件存储的数据库。基于C++编写的非关系型数据库，为WEB应用提供可扩展的高性能数据库存储解决方案。

shark-chili·2023-12-01 01:02

一篇文章，掌握所有开源数据库的现状

本次分享聚焦于数据库既结构化数据存储OLTP及NoSQL领域，不会涉及OLAP、对象存储、分布式文件系统。1开源RDBMS与互联网的崛起很长时间以来，关系型数据库一直是大公司的专利，市场被

M偶遇在沙漠·2023-12-01 01:00

Hadoop之HDFS

概述1.1HDFS产生的背景定义1）背景：随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统

小猫旺财·2023-11-30 20:11

HDFS简介

统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。

武汉小旭旭·2023-11-30 20:40

HDFS详解

HDFS架构剖析HDFS，HadoopDistributeFileSystem（Hadoop分布式文件系统）的简称，它是Hadoop核心组件之一，是大数据生态圈最底层的分布式存储服务。

liuhanyuu·2023-11-30 20:09

【Hadoop】分布式文件系统 HDFS

读过程3.HDFS故障类型和其检测方法故障类型和其检测方法读写故障的处理DataNode故障处理副本布局策略一、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统

和瑚·2023-11-30 20:06

Hyper-v虚拟机Hadoop集群搭建

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。

真.电脑人·2023-11-30 16:16

01数仓平台 Hadoop介绍与安装

HDFS架构概述HadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。包含

kk_io·2023-11-30 13:38

Hadoop-HDFS角色工作机制

一、角色职责介绍 HadoopDistributedFileSystem(HDFS,分布式文件系统):HDFS是Hadoop应用程序使用分布式存储，HDFS集群主要由管理文件系统元数据的NameNode

H.S.T不想卷·2023-11-30 10:33

大数据技术之Hadoop（HDFS）

1.1HDFS产生背景和意义1.HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统

江苏彭与晏·2023-11-30 10:23

大数据-hadoop-hdfs

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。

像影子追着光梦游_·2023-11-30 09:48

【物联网与大数据应用】Hadoop数据处理

Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。

Bosenya12·2023-11-30 09:06

Docker 安装 FastDFS

简述FastDFS是一个开源的轻量级分布式文件系统，它的主要功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。

虹猫日志·2023-11-29 23:50

大数据之HBase教程

Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。

@轻流·2023-11-29 20:00

fastdfs部署详解

创建存储文件目录拷贝配置文件修改配置文件启动检验上传三、添加nginx显示配置fastdfs-nginx-module安装nginx修改nginx配置文件启动nginx网页检验官方github支持官方解释：FastDFS是一个开源的高性能分布式文件系统

(～￣▽￣)～凤凰涅槃·2023-11-29 14:31

FastDFS 部署

二、FastDFS官方介绍FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不

点滴Java·2023-11-29 14:59

FastDFS部署

简介FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。

一码归一码@·2023-11-29 14:54

二、数据库：mongodb数据库

一、MongoDb1、Mongodb是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统2、旨在为web应用提供可拓展的高性能数据存储解决方案3、mongodb将数据存储为一个文档，数据结构由键值对组成

奇迹_·2023-11-29 14:03

Docker安装MongoDB，配置远程连接，修改docker安装软件的配置文件

MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。

远走与梦游·2023-11-29 14:03

MongoDB 基础（一）：MongoDB 术语/概念

二维表与MongoDB集合比较MongoDB数据库databaseMongoDB集合collectionMongoDB文档documentMongoDB数据类型MongoDB是什么MongoDB是一个基于分布式文件存储的数据库

__畫戟__·2023-11-29 14:32

分布式文件存储数据库：MongoDB 快速入门

文章目录一、MongoDB简介1.1MongoDB与MySQL比较1.2应用场景二、Ubuntu20.04下安装和卸载MongoDB5.02.1安装2.2运行2.3卸载三、数据库操作四、集合操作五、文档操作5.1插入文档5.2删除文档5.3更新文档5.4查询文档5.5排序5.6分页5.7计算文档数5.8去重5.9$type操作符5.10聚合查询六、索引6.1原理6.2操作6.3复合索引七、副本集（

花_城·2023-11-29 14:02

HCIA-Big Data华为认证大数据工程师习题册含答案

查看课堂笔记（含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark

k Chivalrous man·2023-11-29 08:16

Spark Streaming的基本数据流

在大数据环境中，尤其是使用Hadoop分布式文件系统（HDFS）时，数据通常被认为是静态的，这是因为HDFS被设计成适合一次写入和多次读取的场景

俺会hello我的·2023-11-29 07:55

【数据库】MongoDB 简介：一种文档数据库

3.1CreateOperations3.2ReadOperations3.3UpdateOperations3.4DeleteOperations4.MongoDB特点5.MongoDB应用场景1.MongoDB介绍MongoDB是一个基于分布式文件存储的开源

G皮T·2023-11-29 06:47

云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例

一、实验目的本实验考察学生Hadoop平台下的环境配置、分布式文件存储操作和管理以及基于Hadoop的分布式编程的设计与实现。

MrNeoJeep·2023-11-28 16:43

大数据从入门到实战 - 第2章分布式文件系统HDFS

大数据从入门到实战-第2章分布式文件系统HDFS一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：HDFS的基本操作2、第2关：HDFS-JAVA接口之读取文件3、实验三HDFS-JAVA

发芽ing的小啊呜·2023-11-28 16:42

HDFS-实验指导书 -更新

ApacheHadoop项目的一个子项目.Hadoop非常适于存储大型数据(比如TB和PB),其就是使用HDFS作为存储系统.HDFS使用多台计算机存储文件,并且提供统一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统

撒娇的猫·2023-11-28 16:42

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1

jialun0116·2023-11-28 16:41

推荐频道

分布式文件