fastDFS分布式文件系统

MinIO与FastDFS对比

为了帮公司节约成本，之前一直是使用fastDFS作为文件服务器，准确的说是图片服务器。直到我发现了MinIO，我决定放弃FastDFS。关于MinIO的使用方
妃宫千早·2023-02-22 02:40

HDFS 架构

HDFS是Hadoop生态下的分布式文件系统，基于Linux本地文件系统上的文件系统，它的特点是：支持超大文件存储流式数据访问硬件故障的检测和快速应对简单的一致性模型不适合低延时数据访问、不适合大量小文件的存储
wayyyy·2023-02-19 03:49

示例项目列表

前端Vue开发指南AntdPro开发示例项目vue-mobile-demoJavaSpringCloud构建微服务示例项目Nacos+Dubbo构建微服务示例项目收集SpringBoot集成FastDFS
敬亭阁主·2023-02-19 03:50

深度解析Hadoop之HDFS架构

Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。
丨程序之道丨·2023-02-18 22:40

hive sql 基本语法@2019-02-12

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将
dataHunter·2023-02-18 17:31

第3章 Hadoop分布式文件系统 学习笔记（一）

分布式文件系统：管理网络中跨多台计算机存储的文件系统，能容忍节点故障3.1HDFS的设计HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群。
主君_05c4·2023-02-18 08:20

Flink 离线处理案例

，例如读取文件或者序列化集合，然后通过transformation（filtering、mapping、joining、grouping）将数据集转成，然后通过sink进行存储，既可以写入hdfs这种分布式文件系统
一个人一匹马·2023-02-18 04:03

IPFS浅析

IPFS（星际文件系统）是一种点对点的分布式文件系统，能够将所有具有相同文件管理模式的计算设备连接在一起。
_高冰·2023-02-18 03:03

文件服务器：FastDFS+Nginx实现分布式文件存储

软件准备：fastdfs-nginx-module_v1.16.tar.gz、FastDFS_v5.05.tar.gz、libfastcommonV1.0.7.tar.gz、nginx-1.8.0.tar.gz
wyh2107·2023-02-17 11:29

大数据开发：HDFS Namenode元数据管理

HDFS作为分布式文件系统的代表性产品，在大数据学习当中的重要性是不言而喻的，基于Hadoop基础架构，HDFS更是得到了广泛的认可，在大规模离线数据处理上，提供稳固的底层支持。
成都加米谷大数据·2023-02-06 04:13

在阿里云ECS服务器上搭建Hadoop集群

在阿里云ECS服务器上搭建Hadoop集群简介Hadoop是一个开源的分布式计算的基础框架，其中最主要的组成部分则包括了hadoop分布式文件系统（hadoopdistributedfilesystem
AmadeusChan·2023-02-05 13:23

云计算期末考试知识点

答:Google云计算技术包括:Goge分布式文件系统GFS，分布式计算编程模型MapReduce，分布式锁服务Chubby，分布式结构化数据表Bigtable，分布式存储系统Megastore，分布式监控系统
Suzie_Xie·2023-02-04 19:10

从0开始学大数据（一）

预习01|大数据技术发展史：大数据的前世今生我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架
ziqiiii·2023-02-04 17:19

[hadoop] 各节点职责｜ checkpoint ｜安全模式 ｜读写流程｜小文件｜安全模式 | NameNode启动流程

当数据集大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台独立的计算机上.管理网络中跨多台计算机存储的文件系统成为分布式文件系统.该系统架构于网络之上,势必会引入网络编程的复杂性
胖胖学编程·2023-02-04 14:14

第3章 Hadoop分布式文件系统 学习笔记（二）

3.6数据流3.6.1剖析文件读取客户端读取HDFS数据.png1、客户端调用DistributedFileSystem.open方法以打开希望读取的文件，DistributedFileSystem初始化的时候（参见：java.util.ServiceLoader加载服务实现类）创建了一个DFSClient实例，DFSClient通过RPC向namenode发送请求获取文件块位置，对于每个数据块，
主君_05c4·2023-02-04 13:38

微服务实战笔记-学成在线-day08

分布式文件管理系统FastDFSfastdfs基础知识fastdfs是一个分布式文件管理系统，它与传统的分布式文件管理系统不同，它不对文件进行分块存储(前面使用到的gridfs会对文件进行切割)，所以在小文件的存储和读取上
sssdal19995·2023-02-04 09:17

DataHome专栏： IPFS是什么？

IPFS全称是InterPlanetaryFileSystem，即“星际文件系统”，它是由ProtocolLab提出的一种点对点（P2P）的分布式文件系统。
DataHome·2023-02-04 02:58

分布式--分布式文件系统FastDFS

大型项目中，文件服务器是很重要的角色，如果只有一台文件服务器，一旦当机，会产生很大影响，和业务服务器不同，文件服务器主要还是处理存放文件，和读取文件的功能专用分布式文件系统是基于googleFileSystem
aruba·2023-02-03 14:57

HADOOP介绍

背景介绍1.1什么是HADOOPHADOOP是apache旗下的一套开源软件平台HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有HDFS（分布式文件系统
BoltBear·2023-02-02 14:00

01 hadoop介绍、架构原理

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAP
莹火虫的另一半·2023-02-02 14:00

hadoop集群部署

1、Hadoop的介绍狭义上来说，hadoop就是单独指代hadoop这个软件，HDFS：分布式文件系统MapReduce:分布式计算系统Yarn：分布式集群资源管理广义上来说，hadoop指代大数据的一个生态圈
keeper&·2023-02-02 14:29

hadoop介绍

目录大数据与HadoopHadoop模块：HadoopCommon：Hadoop分布式文件系统(HDFS)：HadoopYARN：HadoopMapReduce：Hadoop生态圈组件：Spark（分布式计算框架
昊昊该干饭了·2023-02-02 14:58

Hive编程指南： 基础操作

真实的集群配置的都是分布式模式，其中所有没有完整URL指定的路径默认都是分布式文件系统（通常是HDFS）中的路径，而且由JobTracker服务来管理job，不同的task在不同的进程中执行。
luogps9·2023-02-01 09:11

HDFS（2）- 概念

HDFS作为分布式文件系统也有块的概念，但是数据块比较大，默认128MB。与磁盘上的文件系统相似，HDFS上的文件也被划分为块大小的多个分块（chunk），作为存储单元。
精神使者·2023-02-01 07:33

分布式框架

mysqlmgr+replication协议访问分布式消息队列，kafka分布式日志，es分布式搜索引擎，essso单点登录，cookietokenredisssoserver和client分布式文件，fastdfs
feiai·2023-01-31 23:27

hdfs学习总结

hdfs：HadoopDistributedFileSystem（Hadoop分布式文件系统）1.特点：一次写入多次读出，并且不支持修改。适合做数据分析，不适合做网盘。
GetIdea·2023-01-31 17:17

SpringBoot+Vue 驾校理论课模拟考试系统

+Docker持续集成技术栈1.后端：权限控制：SpringSecurity+JWTIoc框架：SpringBoot持久层：MybatisPlus+SpringDataJPA缓存：Redis图片处理：FastDFS
轩裳已逝铭崖·2023-01-31 16:19

分布式服务架构的设计方案上—分布式基础理论知识

.节点与网络3.1节点3.2网络4.分布式架构的演进4.1初始阶段4.2应用服务和数据服务分离4.3使用缓存改善性能缓存的业务场景4.4应用服务集群4.5数据库读写分离4.6反向代理和CDN加锁4.7分布式文件系统和分布式数据库
ZNineSun·2023-01-30 21:00

Nginx 整合 FastDFS 实现文件服务器

上一篇文章《FastDFS分布式文件系统详解》中带大家详细了解了它的核心概念，架构体系及FastDFS环境的搭建与使用。但是此时还无法通过HTTP对文件进行访问，这篇文章将带大家解决这个问题。
哈喽沃德先生·2023-01-30 17:44

部署 Hadoop 高性能集群

HDFS分布式文件系统为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。网方网站：http://hadoop.apache.org/Hado
workey·2023-01-30 15:55

HDFS分布式文件系统—原理与Shell操作

HDFS分布式文件系统—原理与Shell操作文章目录HDFS分布式文件系统—原理与Shell操作一、HDFS简介1.HDFS的基本概念2.HDFS特点二、HDFS架构原理1.HDFS存储架构2.HDFS
小汤TYT·2023-01-30 15:20

HDFS分布式文件系统—Java API操作

HDFS分布式文件系统—JavaAPI操作文章目录HDFS分布式文件系统—JavaAPI操作一、HDFSJavaAPI介绍二、JavaAPI操作1.搭建项目环境2.JavaAPI的相关操作一、HDFSJavaAPI
小汤TYT·2023-01-30 15:20

HDFS基本架构及原理

HDFS概述HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）最开始是作为ApacheNutch搜索引擎项目的基础架构而开发，是ApacheHadoopCore
学无止境_1993·2023-01-30 14:03

序

工作一年多了，一直在断断续续的学习使用Hadoop，它提供的Map和Reduce数据处理引擎能够帮助我们方便的处理大数据集，HDFS分布式文件系统，可以帮助我们冗余的存储大数据集，这么好的一门技术，应该是要好好学习的
勤一·2023-01-30 09:10

linux环境部署及遇到问题解决

环境部署及遇到问题解决环境准备：win11，vm16.2.2，centos7软件安装：jdk安装：mysql安装：tomcat安装：redis安装nginx安装：zookeeper安装RabbitMQ安装FastDFS
言烬·2023-01-30 09:23

大数据技术发展史

2004年，整个互联网界还处于懵懂时代，Google发布了三篇论文，分别是分布式文件系统GFS，大数据分布式计算框架MapReduce，分布式存储系统bigTable。
ks宁·2023-01-30 00:17

HDFS简介

如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。厨师来来往往，食材进进出出，各种菜肴层出不穷，而不变的则是那口大锅。
f192469fc2d5·2023-01-29 23:06

FastDFS配置Nginx访问

FastDFS配置Nginx访问FastDFS分布式文件系统安装和配置_亲测成功下载相关依赖软件包yum-yinstallwgetmakezlibzlib-develgcc-c++libtoolopensslopenssl-develwgethttp
·2023-01-29 21:22

FastDFS服务器搭建--Ubuntu环境

FastDFS服务器搭建--Ubuntu环境底下附整合SpringBoot需要git工具使用的Ubuntu18环境安装前准备安装环境依赖包：apt-getinstallbuild-essential安装依赖库
佐勒·2023-01-29 07:30

Algorithms - Week 1(1), Part I, Princeton University

常见如网络中的搜索和分布式文件系统，罕见如生物学的人类基因组计划和蛋白质折叠凳问题。算法可以追踪到欧几里得的年代，从1930s开始系统教学
Sisyphus235·2023-01-28 20:46

了解HDFS

分布式文件系统那么多，为什么hadoop项目中还要开发一个hdfs文件系统？HDFS可以更好的支持分布式计算。
心無旁騖丶·2023-01-28 15:21

java基础巩固-宇宙第一AiYWM：为了维持生计，大数据Hadoop之HDFS分布式文件系统（HDFS读写流程、主从集群两种问题“单点故障”及“压力过大内存受限”、HDFS的架构设计）~整起

自己对于上面两种数据持久化技术的实现：4.HDFS读写流程5.HDFS实操步骤及经验记录6.HDFS的主从集群固有问题两种解决方案【“单点故障”以及“压力过大内存受限”两个问题是独立的，之间没啥联系】7.HDFS的本质上就是一个分布式文件系统
AIminminHu·2023-01-28 14:20

Fastdfs配置文件

FastDFS配置参数tracker.conf、storage.conf详解Tracker.conf文件位置：/etc/fdfs/tracker.conf#isthisconfigfiledisabled
Java学弱·2023-01-28 12:57

JavaEE进阶——FastDFS实现分布式文件系统

FastDFSFastDFS是用c语言编写的一款开源的分布式文件系统。
Mr丶sorrow·2023-01-28 01:39

启动hadoop 2018-09-30

启动hadoop1、格式化HDFS分布式文件系统hadoopnamenode–format启动Hadoopstart-all.sh停止Hadoopstop-all.shjps命令可以看到Hadoop的所有守护进程
bigleft·2023-01-26 22:24

分布式存储系统

分布式存储系统特性可扩展性低成本高性能易用面临的问题数据分布一致性容错负载均衡易用性压缩/解压缩分布式存储分类根据存储的数据类型（非结构化数据、结构化数据、半结构化数据）可以将分布式存储系统分为分布式文件系统
似水之星·2023-01-26 05:40

redis笔记

可扩容，可伸缩高性能高可用灵活数据类型常见NOSQL数据库：redis,mencache,HBase,MongoDB举例电商：商品基本信息：mysql商品附件信息（如商品详细信息）：MongoDB图片：分布式文件系统
李彦林·2023-01-25 10:44

大数据技术原理与应用——大数据存储与管理

大数据技术原理与应用——大数据存储与管理1.分布式文件系统（1）计算机集群结构集群的概念集群是指将多台服务器整合在一起，每台服务器都实现相同的业务，做相同的事情。
linjiayina·2023-01-22 19:07

java rmi 负载均衡_Java RMI 实现一个简单的GFS（谷歌文件系统）——演示与实现篇...

ʰᵅᵖᵖʸⁿeᵚʸᵉᵅʳ家人闲坐灯火可亲辞旧迎新新年可期系统整体介绍、背景以及设计信息：演示运行视频1.系统组织结构如图所示，整个MyGFS分布式文件系统由SPI、CommonAPI，Master，ChunkServer
沈忘·2023-01-22 13:44

FastDFS单机版环境搭建

1搭建环境ubuntu2gcc、g++编译器ubuntu平台在线安装指令：1apt-getinstallgcc2apt-getinstallg++3apt-getinstallbuild-essential4apt-getinstalllibtool3Nginx的安装和配置3.1使⽤Nginx的必备软件PCRE库PCRE库源码包下载地址:https://sourceforge.net/projec
Mr.简锋·2023-01-20 12:54
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他