分布式文件系统FastDFS

大数据---33.HBase数据结构

一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper
学无止境的大象·2023-12-21 19:07

计算机毕业设计hadoop+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计

spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql分析流程：python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs分布式文件系统上
计算机毕业设计大神·2023-12-21 19:26

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

示例配置如下：fs.defaultFShdfs://localhost:9000hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等
HaveAGoodDay.·2023-12-21 17:52

hdfs如何把一整个目录都复制到本地, 包括目录中的子目录和子文件

在Hadoop分布式文件系统（HDFS）中，你可以使用hadoopfs-copyToLocal命令将整个目录复制到本地。该命令支持递归复制，包括目录中的子目录和子文件。
言之。·2023-12-21 14:27

分享65个Python管理系统源代码总有一个是你想要的

8888提取码：8888项目名称获取青果软件的教育网络管理系统的教师信息的Python脚本CP聚合博客——pythonDjangoRESTframework以及xadmin管理后台+Sentry日记监控系统FastDFS
MonkT·2023-12-20 22:20

GFS分布式文件系统

gfdglusterFS开源的分布式文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统是依赖于元服务器，元服务器保存存储节点的目录树信息。
早上的星星·2023-12-20 20:22

SeaweedFS介绍安装集群部署总结

什么是SeaweedFSSeaweedFS是一种简单的、高度可扩展的分布式文件系统。SeaweedFS是一个非常优秀的由go语言开发的分布式存储开源项目。
编程无霸哥·2023-12-20 17:07

HDFS工作机制和原理

HDFS是一种分部式的文件系统，在他出现以前就已经存在了很多中分布式文件系统，但是他们都是部署在服务器上，需要高的POSIX接口，同时他们默认服务器是稳定的可以提供大量资源。
Tim在路上·2023-12-20 15:36

ceph存储服务结构介绍以及速度优化的方法

以下是这些存储服务的简要介绍和结构：CephFS（Ceph文件系统）：结构：CephFS是Ceph提供的分布式文件系统，它基于RADOS（可扩展自动分布式对象存储）构建。
小果运维·2023-12-20 14:19

运维笔记之centos部署Go-FastDfs

安装Go-FastDfs当前最新版本为1.4.5，但发布的最新版本为1.4.4#下载文件wget--no-check-certificatehttps://github.com/sjqzhang/go-fastdfs
一起种梧桐吧·2023-12-20 07:09

go-fastdfs

go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。
芋头哥·2023-12-19 20:41

从零开始了解大数据(三)：HDFS分布式文件系统篇

目录前言一、HDFS分布式文件系统基础1.数据与元数据2.分布式存储系统的核心属性3.HDFS的设计目标4.HDFS的重要特性二、HDFSShell操作1.HDFSShell命令行简介2.HDFSShell
橘子-青衫·2023-12-19 13:23

短视频矩阵系统多账号搭建技术源码（源头3年开发者技术独立搭建）

通过使用分布式文件系统（例如AWSS3）和自动化上传工具，可以实现批量上传功能，并通过设置定时任务和
云罗互动yx898978·2023-12-19 13:52

springboot2.X手册：放弃fastdfs，整合Minio做文件服务器真香

什么是MinioMinio是Apcche旗下的一款开源的轻量级文件服务器，基于对象存储，协议是基于ApacheLicensev2.0，开源可用于商务。Minio主要用来存储非结构化的数据，类似文件，图片，照片，日志文件，各类备份文件等，按照官网描述，文件的大小从几KB到5TB。Minio提供了非常方便，友好的界面，并且文档也是非常丰富，具体可以参考它的docshttps://docs.min.io
程序员闪充宝·2023-12-19 07:46

大数据技术11：Hadoop 原理与运行机制

前言：HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
Java架构何哥·2023-12-18 21:56

SpringBoot集成分布式对象存储(分布式文件)MinIO

你可以把它和FastDFS、HDFS作为类比，但它比其它都更简单，极简是MinIO的设计初衷之一，而且他的性能很好。
小虎哥的技术博客·2023-12-18 19:11

Hadoop Single Node Cluster的安装

安装位置设置SSH无密码登录安装hadoop下载安装设置hadoop环境变量修改hadoop配置设置文件设置core-site.xml设置YARN-site.xml设置mapred-site.xml设置HDFS分布式文件系统创建并格式化
艾醒(AiXing-w)·2023-12-18 16:50

Ceph存储

没有冗余，不具备容错功能raid1100%容错raid5最少三块性能不如raid0容错不如raid1raid0+raid1性能+容错raid时代-->分布式存储（ceph）时代1PB级别用raid很难实现分布式文件系统文件系统管理的物理存储资源不一定直接连接在本地节点上
叫我家驹范·2023-12-18 15:15

GFS分布式文件系统

GFS分布式文件系统：全称：gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。
DDYYmmm·2023-12-18 05:26

Hadoop （海量数据存储及计算） 基本概念

[1]Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
ronmy·2023-12-18 02:51

分布式文件系统之HDFS

前言一、HDFS简介1.1HDFS产出背景及定义1）HDFS产生背景先给大家介绍一下什么叫HDFS，我们生活在信息爆炸的时代，随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS（HadoopDistribu
僖僖cc·2023-12-17 17:41

从传统型数据库到非关系型数据库

其本质是一个具有数据存储功能的复杂系统软件，数据库最终把数据保存在计算机硬盘，但数据库并不是直接读写数据在硬盘，而是中间隔了一层操作系统，通过文件系统把数据保存为本地文件系统的数据文件；我们讲过Hadoop，分布式文件系统
僖僖cc·2023-12-17 17:38

高效存储大规模数据的方法与实现

分布式文件系统分布式文件系统是一种常见的大数据存储解决方案。它将数据划分为多个块，并将这些块存储在不同的机器上。这种方式可以提高数据的可靠性和可扩展性。
静谧星光c·2023-12-17 11:47

Maven生成jar文件并发布到私服

Maven生成jar文件并发布到私服前提：确保本地已经安装maven，并且配置好maven环境下面以fastdfsjar包为例生成jar文件mvncleaninstall安装到本地仓库mvninstall
探讨·2023-12-17 11:59

2018-06-14

hadoop.apache.org/2.Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x：HDFS：分布式文件系统
hoose·2023-12-17 09:26

PDF转为图片

起初是用分布式文件系统，将pdf以流的形式直接传递给前端，前端使用canvas将dpf转为图片，再用jQuery、turn.js进行3
老攀呀·2023-12-17 04:56

NFS远程文件共享系统！

NFS（NetworkFileSystem，网络文件系统）是一种分布式文件系统，允许用户通过网络访问远程主机上的文件。
M乔木·2023-12-16 23:31

分布式文件存储系统Minio使用总结

分布式文件存储系统Minio使用总结1.分布式文件系统应用:1.1、Minlo介绍：Minlo是一个基于ApacheLicensev2.0开源协议的对象存储服务。
北执南念·2023-12-16 11:40

分布式文件系统及Minio配置及测试

功能强大，使用简单~分布式文件系统要理解分布式文件系统首先了解什么是文件系统。文件系统是方便对磁盘上的文件进行管理的一种系统。把若干计算机通过网络连接起来，共同提供存储和访问的服务。
happystudy_neu·2023-12-16 11:04

fdfs启动storage失败解决办法

fdfs启动storage失败的问题：dockerps-a发现storage的状态是：Exited(1)2minutesagostorage没有成功启动1,find/-namestorage找到/data/fastdfs
傅妄书·2023-12-16 08:48

FastDFS数据迁移

首先搭建好新的FastDFS服务器(Tracker,Storage),先配置好不用启动修改新的STORAGE配置文件/etc/fdfs/storage.conf配置文件修改track_server为旧的
我教你啊·2023-12-16 03:52

大数据学习（一）-------- HDFS

2、hadoophadoop有三个核心组件：hdfs：分布式文件系统mapreduce：分布式运算编程框架yarn：分布式资源调度平台3
大数据流动·2023-12-15 21:01

Ceph入门到精通-ceph二次开发开源协议考虑

Ceph是一个开源的分布式存储系统，它由多个组件组成，包括分布式对象存储（RADOS）、分布式块存储（RBD）和分布式文件系统（CephFS）等。
瓦哥架构实战·2023-12-15 07:40

【Hadoop】

组件配置文件启动进程备注HadoopHDFS需修改需启动NameNode(NN)作为主节点DataNode(DN)作为从节点SecondaryNameNode(SNN)主节点辅助分布式文件系统HadoopYARN
想当运维的程序猿·2023-12-15 07:43

HarmonyOS分布式文件系统开发指导

分布式文件系统概述分布式文件系统（hmdfs，HarmonyOSDistributedFileSystem）提供跨设备的文件访问能力，适用于如下场景：●两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
Android小贾·2023-12-14 15:02

图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
数据萌新·2023-12-06 18:40

大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。HDFS官方架构图一、NameNode（NN）——基于内存存储：不会和磁盘发生交换·只存在内存中·持久化——NameNode主要功能·接受客户端的读写服务·收集DataNode汇报的Block列表信息——NameNode保存metadata信息包括·文件owership和permi
A尚学堂Nancy老师·2023-12-06 15:56

go-fastfds部署心得

我是windows系统安装DockerDesktop部署dockerrun--namego-fastdfs（任意的一个名称）--privileged=true-t-p3666:8080-v/data/fasttdfs_data
一分半心动·2023-12-06 06:06

比较 Apache Hive 和 Spark

Hive是一个运行在Hadoop分布式文件系统上
vvoennvv·2023-12-06 06:50

【读书笔记】《大数据技术体系详解：原理、架构与实践》03.分布式文件系统

这些文件形式的数据具有价值高、数据大、流式产生等特点，需要一个分布式文件系统存储它们，该文件系统应具有良好的容错性、扩展性和易用的API，而HDFS（HadoopDistributedFileSystem
粥一样温柔·2023-12-06 05:40

分布式文件存储系统Minio，tuling，fox

MinIO|高性能，对Kubernetes友好的对象存储MinIOHighPerformanceObjectStorage—MinIOObjectStorageforLinux一分布式文件系统应用场景fastDFS
aiwokache·2023-12-06 01:28

Hadoop

Hadoop的基本架构包括以下几个核心组件：HDFS（HadoopDistributedFileSystem）：它是一个高度容错性的分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集
编织幻境的妖·2023-12-05 06:31

Hadoop的介绍与安装

HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个分布式
憨憨小白·2023-12-05 06:30

IPFS将颠覆HTTP在互联网的霸主地位？

IPFS是一个点对点的分布式文件系统（比特币是一种点对点的电子现金系统），作为文件系统嘛，当然可以用来存储文件，这个文件包括文本、图片、视频等等。
仁正·2023-12-05 02:55

大数据的技术栈-逐步完善

目录1.hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1·2023-12-04 20:12

大数据生态圈及分布式文件系统HDFS实践-part1

Hadoop入门第一章大数据概述1.1大数据概念“人类正在从IT时代走向DT时代”。大数据（BigData）：指的是传统数据处理应用软件不足以处理（存储和计算）它们的大而复杂的数据集。主要解决，海量数据的存储和海量数据的运算问题。1.2大数据特征容量大，种类多，速度快，价值高1、容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息微博，5亿用户，每天上亿条微博朋友圈，10亿用户，每天
落叶飘雪2014·2023-12-04 15:40

Java操作Hdfs(分布式文件系统)完成文件上传、下载和删除

Java操作Hdfs(分布式文件系统)文件上传实现创建Maven项目，项目命名Hadoop_hdfs导入pom.xml依赖4.0.0hadoophadoop0.0.1-SNAPSHOThadoop_learnorg.apache.hadoophadoop-client3.2.0
菜鸟小党·2023-12-04 15:39

HDFS和MapReduce综合实训：构建大数据处理应用

摘要：本文将介绍如何使用Hadoop分布式文件系统（HDFS）和MapReduce框架来构建大数据处理应用。
IbtnLisp·2023-12-04 15:09

【头歌实训】分布式文件系统 HDFS

文章目录第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明答案代码第2关：HDFS-JAVA接口之读取文件任务描述相关知识
撕得失败的标签·2023-12-04 15:08

大数据技术合集（持续更新）

0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS
amuseme_lu·2023-12-04 05:39
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他