分布式文件

6.824分布式系统[2]-GFS案例学习

准备工作阅读：GFS论文背景GFS是Google在2003年发出的经典论文，其作为分布式文件系统,实际应用在Google的MapReduce框架实现中,作为原始数据和最终结果存储的基础服务。
唯识相链2·2023-08-20 11:49

C++ 网络编程项目fastDFS分布式文件系统（四）-fastCGI项目相关技术以及linux搜狗输入法相关问题。

目录1.Nginx作为web服务器处理请求2.http协议复习Get方式提交数据Post方式提交数据3.fastCGI3.1CGI3.2fastCGI3.3fastCGI和spawn-fcgi安装1.安装fastCGI2.安装spawn-fcgi3.4nginx&&fastcgi4其他知识点1.fastCGI环境变量-fastcgi.conf2.客户端使用Post提交数据常用方式3.strtol函
cat_fish_rain·2023-08-20 06:14

C++ 网络编程项目fastDFS分布式文件系统（三）-Nginx部分

目录1.一些基本概念1.1Nginx初步认识1.2正向/反向代理1.3域名和IP2.Nginx安装和配置2.1安装2.2配置3.Nginx的使用3.1部署静态网页3.2反向代理和负载均衡4课外知识导读1.URL和URI编辑2.DNS解析过程1.一些基本概念1.1Nginx初步认识1.Nginx介绍enginex俄罗斯开源的框架c语言Tengine-淘宝基于nginx修改的2.Nginx能干什么?作
cat_fish_rain·2023-08-20 06:44

C++ 网络编程项目fastDFS分布式文件系统（五)--nginx+fastdfs

目录1.文件上传下载流程2.Nginx和fastDFS的整合3.数据库表3.1数据库操3.2数据库建表1.文件上传下载流程fileID需要是一个哈希来判定。2.文件下载流程3.优化优化思路:直接让客户端连接fastDFS的存储节点,实现文件下载举例,访问一个url直接下载:http://192.168.247.147/group1/M00/00/00/wKj3k1tMBKuARhwBAAvea_O
cat_fish_rain·2023-08-20 06:13

HDFS的小文件影响及解决办法

HadoopDistributedFileSystem(HDFS)是用于存储和处理大规模数据的分布式文件系统。然而，HDFS中的小文件可能会对系统性能和资源利用产生一些影响。
贾斯汀玛尔斯·2023-08-20 04:33

MongoDB 简介

目录一、MongoDB二、主要特点三、MongoDB数据存储格式JSON格式BSON格式四、高可用的复制集群五、水平扩展适用场景一、MongoDBMongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统
周湘zx·2023-08-20 03:06

扫盲：Hadoop分布式文件系统（HDFS）基础概念讲解！

本文将讨论Hadoop分布式文件系统（HDFS）的基本概念以及管理HDFS的十大HadoopShell命令。HDFS是ApacheHadoop框架的底层文件系统，是一个分布式存储框架，跨越数千种商用
金乐笑·2023-08-20 02:09

FastDFS文件管理知识点+案例分析

一介绍FastDFS原理FastDFS开源分布式文件系统由C语言编写实现,可以通过专有API访问，目前提供了C、Java和PHPAPI。
天雨编程·2023-08-19 17:36

Hadoop之HDFS

HDFS全称HadoopDistributedFileSystem-Hadoop分布式文件系统，是Hadoop项目的核心子项目，对海量数据进行进行存储与管理HDFS存储块为128M现在HDFS的block
lurenjia·2023-08-19 12:34

大数据及软件教学与实验专业实训室建设方案

2.数据存储和管理技术：介绍常见的数据存储和管理技术，如关系型数据库（如MySQL、Oracle）、分布式文件系统
武汉唯众智创·2023-08-19 09:56

大数据存储技术选型

大数据存储技术包括以下几种主要技术：分布式文件系统（DistributedFileSystems）：代表技术：HadoopDistributedFileSystem(HDFS)、GoogleFileSystem
冷酷无情小帅哥·2023-08-19 03:41

hadoop fs、hadoop dfs、hdfs fs、hdfs dfs区别

(1)fs是一个通用的文件系统可以指向任何的文件系统如local，HDFS等，而dfs是分布式文件系统，是针对hdfs的（经博主验证，hdfsdfs也能用于操作local）。
Code_LT·2023-08-18 22:04

实现无限存储：基于JuiceFS 创建 Samba 和 NFS 共享

本文将以Linux系统为例，介绍如何将JuiceFS（云原生分布式文件系统）作为Samba和NFS的底层存储，为企业提供高度可扩展的无限云存储解
Juicedata·2023-08-17 22:49

文件系统考古4：如何支持多个文件系统

SteveKleiman是分布式文件系统领域的专家，在SunMicrosystem工作了多年，曾参与开发SunNetworkFileSystem（NFS）等项
Juicedata·2023-08-17 22:49

HDFS原理剖析

一、概述HDFS是Hadoop的分布式文件系统（HadoopDistributedFileSystem），实现大规模数据可靠的分布式读写。
Hello.Reader·2023-08-16 21:21

HDFS基本原理

Hadoop（HDFS）HadoopDistributedFileSystem，分布式文件系统hdfs-architecture.png架构中的基本概念block基本存储单位，一般64M，比数据库中的页要大很多基本的读写单位
流浪山人·2023-08-16 18:33

监控“黑科技” | XDFS“天眼”技术再升级！

监控项目犹如XDFS衍生出的“天眼”，洞察XDFS分布式文件系统内部的压力和延迟。运维人员、客户可做到实时掌握存储的健
大道云行TaoCloud·2023-08-16 10:28

MongoDB学习笔记

MongoMongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
果子煎饼同学·2023-08-16 04:04

Mongodb介绍

Mongodb介绍一、简介1.什么是MongoDBMongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。
AllenGd·2023-08-15 23:57

MongoDB常用命令

MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。
竹院逢话·2023-08-15 23:27

Mongodb (四十一）

、安装四、目录结构五、默认数据库六、数据库操作6.1库操作6.2文档操作七、MongoDB数据库备份7.1备份命令7.2恢复命令总结前言MongoDB是一种面向文档的NoSQL数据库管理系统，它采用了分布式文件存储结构
Coisini_LZB·2023-08-15 23:26

大数据传输的定义与大数据传输解决方案的选择

常用的大数据传输技术有Hadoop分布式文件系统（HDFS）、基于TCP/IP协议的传输控制协议（TCP）、用户数据报协议（UDP）、文件传输协议（FTP）和远程复制协议（rsync）等。
镭速·2023-08-15 18:14

Springboot实现文件上传

实现图片上传服务，需要有存储的支持，那么我们的解决方案有以下几种：1.直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难2.使用分布式文件系统进行存储(MinioFastDFS)优点：容易实现扩容缺点
·2023-08-15 16:16

AI 场景的存储优化之路（二）

前言回顾上一篇《AI场景的存储优化之路》中，我们分析了AI场景中分布式文件存储面临三大挑战：海量文件、小文件访问性能、目录热点，其中对目录热点问题做了详细分析，并介绍了YRCloudFile在该问题上的方案实现
·2023-08-15 16:28

MongoDB 简介

MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。
@明天更美好·2023-08-15 10:40

Hadoop组件

HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。
叱咤少帅（少帅）·2023-08-15 08:20

C++ 网络编程项目fastDFS分布式文件系统（二）-redis部分

目录1.数据库类型1.1基本概念1.2关系/非关系型数据库搭配使用2.Redis2.1基本知识点2.2redis常用命令-String类型-List类型-Set类型-SortedSet类型-Hash类型Key相关的命令2.3redis配置文件2.4redis数据持久化3hiredis的使用1.数据库类型1.1基本概念1.关系型数据库-sql-操作数据必须要使用sql语句-数据存储在磁盘-存储的数据
cat_fish_rain·2023-08-15 03:41

C++ 网络编程项目fastDFS分布式文件系统（一）

目录1.项目架构图1.1一些概念1.2项目架构图2.分布式文件系统2.1传统文件系统2.2分布式文件系统3.FastDFS3.1fastDFS介绍3.2fastDFS安装3.3fastDFS配置文件3.4fastDFS
cat_fish_rain·2023-08-15 03:10

北京今天财富：电信运营商大数据变现关键技术环节

因此，需采用“分布式文件存储+分布式计算”技术，以Hadoop为基础构建端到端的云数据处理平台，基于通用X86平台端到端支撑ETL和主库外汇总计算，直接对开源Hadoop平台进行底层优化，支持数据的迅猛增长
何松岭1·2023-08-15 01:17

大数据面试题：介绍下Hadoop

2、说下Hadoop核心组件Hadoop自诞生以来，主要有Hadoop1.x、2.x、3.x三个系列多个版本；Hadoop1.x组成：HDFS（具有高可靠性、高吞吐量的分布式文件系统，用于数据存储），MapReduce
蓦然_·2023-08-15 01:06

MongoDB下载安装

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。
ldcaws·2023-08-14 21:06

SpringCloud的新闻资讯项目02--- app端文章查看，静态化freemarker，分布式文件系统minIO

app端文章查看，静态化freemarker,分布式文件系统minIO说明：此文章项目为黑马教程，本人只是作为学习使用1)文章列表加载1.1)需求分析文章布局展示1.2)表结构分析ap_article文章基本信息表
@烟雨倾城ゝ·2023-08-14 14:24

黑马头条项目学习--Day2: app端文章查看,静态化freemarker,分布式文件系统minIO

app端文章Day02:app端文章查看，静态化freemarker,分布式文件系统minIOa.app端文章列表查询1)需求分析2)实现思路b.app端文章详细1)需求分析2)Freemarker概述
中二Espresso·2023-08-14 14:23

谁能讲清楚Spark之Spark逻辑处理流程

一.spark处理流程概览spark典型的逻辑处理流程包括四部分：1数据源：数据源表示的是原始数据，数据可以存放在本地文件系统和分布式文件系统中，如HDFS、分布式Key-Value数据（HBase）等
数据咩·2023-08-14 14:39

Ceph分布式存储系统

它使用分布式文件系统、块存储和对象存储来满足不同的存储需求。可扩展性：Ceph可以轻松地扩展
summer_west_fish·2023-08-14 11:18

Python 使用Hadoop 3 之HDFS 总结

Hadoop实现一个分布式文件系统（HadoopDistributedFileSystem,HDFS）。
在奋斗的大道·2023-08-14 08:31

分布式文件存储系统-FastDFS

前言：FastDFS是一个分布式文件存储系统，主要用于存储和管理大规模的文件数据，如图片、视频、文档等，是淘宝前架构师为了存储图片用C语言开发出来的系统。
一路向东_·2023-08-14 05:15

GFS分布式文件系统

文章目录GFS分布式文件系统一、GFS概述：1.简介：2.特点：3.GFS术语：4.GFS的工作流程：5.弹性HASH算法：二、GlusterFS的卷类型：1.分布式卷（Distributevolume
三年健将计划·2023-08-13 16:22

1.阿里云对象存储OSS

实现文件上传服务，需要有存储的支持，解决方案有以下几种：存储方式优点缺点直接保存到硬盘开发便捷，成本低扩容困难分布式文件系统容易实现扩容开发复杂，需要成熟产品支持第三方存储服务开发简单，强大功能，免维护付费
LB_bei·2023-08-13 12:08

第1章 业务背景及需求分析

mini商城第1章业务背景及需求分析一、课题业务背景及需求分析二、安排前置环境搭建汇总第1天业务背景及需求分析第2天架构设计及模块拆分第3天表结构设计第4天微服务框架主体搭建第5天权限登录功能实现第6天分布式文件存储第
Eclipse_2019·2023-08-12 12:30

Hadoop知识点总结

1.什么是Hadoop大数据处理的分布式系统2.Hadoop****生态圈三大核心：HDFS集群：分布式文件存储系统YARN集群：运算资源调度MapReduce分布式计算模型3.讲一下MapReduceMapReduce
longLiveData·2023-08-12 10:40

分布式文件上传的思路

1.问题描述现在好多应用都不止一台服务器，这就给文件上传带来了麻烦。尤其是对大文件的分片上传，每个分片可能到达不同的服务器，最后怎么把众多分片整合起来呢？下面就说说这个问题的一些解决思路：2.解决思路2.1使用独立的服务器做上传单独找一台服务器做上传，直接绕过对集群的处理。因为主要是IO操作，所以服务器最好是大容量固态硬盘，CPU和内存要求可以适当降低；如果上传压力不是很大，还可以让该服务器也参与
xialedoucaicai·2023-08-12 08:38

hadoop之HDFS

HDFS基础：分布式文件系统，适合一次写入，多次读出的场景，适合用来做数据分析HDFS的组成架构：Namenode:是master，存储元数据信息，配置副本策略，处理客户端的请求，DataNode：是slave
USTC_IT·2023-08-12 04:26

FileSystem类的方法使用

所属的包：org.apache.hadoop.fsFileSystem-->通用文件系统的抽象基类，可以作为一个分布式文件系统的实现，也可以作为连接本地磁盘的文件系统本地版存在于小型的hadoop实例和测试中
天心有情·2023-08-12 01:48

Hbase伪分布式搭建与完全分布式搭建

也就是将来hbase文件被flush成文件的存放地址，区别于hdfs分布式文件系统。
南宫萧言·2023-08-11 08:23

阿里云服务器搭建FTP图片服务器[图文详解]

FastDFS是用c语言编写的一款开源的分布式文件系统。
油炸小波·2023-08-10 19:46

web kettle 数据采集

最好要放在分布式文件系统中。因为这些文件在web模式下是找不到的。
屌屌的程序猿·2023-08-10 18:57

Linux服务器安装部署MongoDB数据库 - 无公网IP远程连接「内网穿透」

配置Mongodb源2.安装MongoDB数据库3.局域网连接测试4.安装cpolar内网穿透5.配置公网访问地址6.公网远程连接7.固定连接公网地址8.使用固定公网地址连接前言MongoDB是一个基于分布式文件存储的数据库
虎头金猫·2023-08-10 18:55

Kubernetes使用GlusterFS实现数据持久化

介绍GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设
程序员同行者·2023-08-10 14:06

MinIO部署&简单使用

前言前面我们做了分布式文件存储系统FastDFS的部署应用，其安装还是比较繁琐的，而且实际生产的应用限制较大，下面，介绍一款开源的文件系统——MinIO，它是一种对象存储解决方案，提供与AmazonWebServicesS3
雅俗共赏zyyyyyy·2023-08-10 11:49
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他