fastDFS分布式文件系统

HDFS java api

一、HDFS概述Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
Adele小歌迷·2023-01-20 05:25

IntelliJ IDEA连接Hadoop集群

求个良心管我留些余地处人相关连接HDFS相关知识Hadoop分布式文件系统（HDFS）快速入门Hadoop分布式文件系统（HDFS）知识梳理（超详细）Hadoop集群连接Eclipse连接Hadoop集群
汉秋_·2023-01-18 17:46

初识Hadoop架构

初识hadoopGoogle的“三驾马车“HDFSYARNMapReduce持续更新…………Google的“三驾马车“GFS即TheGoogleFileSystem，描述了一个分布式文件系统的设计思路。
阿楷不当程序员·2023-01-16 10:47

大数据-Hadoop的介绍、配置和集群的使用

HDFS分布式文件系统分布式：将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情单机模式厨房里只有一个人，这个人既要买菜，又要切菜，还要炒菜，效率低。
海星？海欣！·2023-01-16 06:59

大数据简单概述

适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式文件数据库，云计算平台，互联网，和可扩展的存储系统。大数据主要解决的问题是：采集，存储，处理。
不想当大神的小白不是好菜鸟·2023-01-14 22:17

MinIO分布式专题（第一章、一文教你搭建MinIO单机版）

市面上有很多的分布式存储方案，比如FastDFS，MongoDB，或者目前云厂商的存储比如阿里云，腾讯云，华为云等等，但是对于很多企业不愿意上云，于是业内就出现了很多的方案，而本章讲述的MinIO，一定是你看了就绝壁拍手称赞的
风清扬逍遥子·2023-01-14 07:46

一步步教你Hadoop多节点集群安装配置

以Hadoop分布式文件系统HDFS(HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户
langwuzhe·2023-01-13 09:04

Linux VFS机制简析（一）

LinuxVFS机制简析（一）本文主要基于Linux内核文档，简单分析LinuxVFS机制，以期对编写新的内核文件系统（通常是给分布式文件系统编写内核客户端）的场景有所帮助。
普通网友·2023-01-13 07:58

大数据核心框架Hadoop

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有容错性的特点，并且设计用来部署在低廉的
爱吃香菜的斌斌·2023-01-12 21:36

大数据 hadoop

HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统
DHRJFH·2023-01-12 21:33

东北大学2023分布式操作系统实验

2.Hadoop简介2.1Hadoop项目基础结构在其核心，Hadoop主要有两个层次，即：加工/计算层(MapReduce)存储层(Hadoop分布式文件系统)除了上面提到的两个核心组件，Hadoop
加油呀，哒哒哒·2023-01-10 10:48

Tensorflow之TFRecord的原理和使用心得

目前，越来越多的互联网公司内部都有自己的一套框架去训练模型，而模型训练时需要的数据则都保存在分布式文件系统（HDFS）上。
程序员对白·2023-01-10 08:47

分布式存储综述与方案选型

文章目录引言基本诉求存储选型考虑的要素分布式存储的野蛮生长史主要开源选型GFS(GoogleFileSystem)HDFS(HadoopDistributedFileSystem)miniocephTFSSwiftfastDFSGridFSMooseFSGlusterFSMogileFS
北极象·2023-01-08 11:40

520页（17万字）集团大数据平台整体解决方案-v1.0

完整资料领取见文末，部分资料内容：1.1.1 系统总体逻辑结构4-14系统总体逻辑结构图参见上图，基于Hadoop构建的企业级数据仓库，包含：分布式列式存储数据库Hyperbase和分布式文件系统
数字化方案·2023-01-08 07:52

python txt转换成excel_Python读取txt文件并转换为excel

":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统
danzhou-dennis·2023-01-07 15:09

tensorflow保存内容到相对文件路径下_如何添加自定义文件系统插件

这个共享文件系统具有诸多用途，例如：状态检查点通常会保存到分布式文件系统中，以实现可靠性和容错能力训练流程
weixin_39889544·2023-01-03 19:22

FastDFS配置Nginx访问

FastDFS配置Nginx访问FastDFS分布式文件系统安装和配置_亲测成功下载相关依赖软件包yum-yinstallwgetmakezlibzlib-develgcc-c++libtoolopensslopenssl-develwgethttp
·2023-01-01 22:40

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
普通网友·2022-12-31 13:04

「企业上云」系列之开源数据库的现状

本次分享聚焦于数据库既结构化数据存储OLTP及NoSQL领域，不会涉及OLAP、对象存储、分布式文件系统。开源RDBMS与互联网的崛起很长时间以来，关系型数据库一直是大公司的专利，市场被Or
高效开发运维·2022-12-30 10:46

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

近年来，Alluxio发展非常迅速，在云原生的数据编排和分布式文件系统方面建立了很好的技术和应
Alluxio·2022-12-30 09:58

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

近年来，Alluxio发展非常迅速，在云原生的数据编排和分布式文件系统方面建立了很好的技术和应
·2022-12-29 11:46

COS对象存储

基本概念4.2基本操作五、COSBrowser5.1登录界面5.2基本功能六、FAQ前言最近公司有用到COS对象存储，接下来和大家一起聊聊对象存储，实际上存储这一块在我之前的博客中有提到，博客中讲述了分布式文件系统存储
云计算-Security·2022-12-27 15:40

【Vsan数据恢复】Vsan分布式文件系统上层虚拟机瘫痪的数据恢复案例

vSAN存储数据恢复环境：某公司一台vSAN分布式文件系统存储设备；VSAN存储采用了超融合架构，存储内总共有24块硬盘。
·2022-12-27 14:13

Educoder 分布式文件系统HDFS 实验总结 答案

HDFS-JAVA接口之删除文件一、HDFS的基本操作1.HDFS的设计当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对他进行分区存储到若干台单独的计算机上，管理网络中跨多台计算机存储的文件系统称为分布式文件系统
Traveler[ke]·2022-12-26 04:49

linux打开txt文件命令_「linux命令详解」lsof命令解析，教你一步打开所有文件

专注分享C/C++，Linux，golang技术，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程
weixin_39717598·2022-12-25 06:41

数据管理篇之存储和成本管理

1.数据压缩问题在分布式文件系统中，为了提高数据的可用性与性能，通常会将数据存储3份，这就意味着存储1TB的逻辑数据，实际上会占用3TB物理空间。
道理你都懂·2022-12-25 03:36

Spring Boot总结（二）：Spring Boot中使用数据库

SpringBoot界面设计SpringBoot总结（四）：提高数据库访问性能SpringBoot总结（五）：安全设计SpringBoot总结（六）：SpringBootSSOSpringBoot总结（七）：使用分布式文件系统
一念成佛_LHY·2022-12-24 07:14

阿里云服务器使用fastDFS问题

使用环境：macOS+阿里云CentOS7.8+FileZilla+fastdfs+fastdfs-nginx-module+libfastcommon+nginx相关下载地址：fastdfs文件nginx
kar_w·2022-12-24 02:31

Hadoop-yarn-未授权访问漏洞复现(vulhub)

HDFS是一个分布式文件系统，具有高容错性的特点，并且被设计用来部署在廉价的
coc.·2022-12-23 09:32

hadoop安装配置实验报告

Hadoop三种模式安装配置实验报告2.1.Hadoop分布式文件系统（HDFS）Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统
南城以南花似海·2022-12-22 16:47

《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(二)

转载连接：http://blog.csdn.net/lovemianmian/article/details/9050617首先来看看这一章讲解的整体架构，分别介绍了分布式文件系统、Map-Reduce
逍遥扇·2022-12-21 13:04

百亿级分布式文件系统之元数据设计

前言在上一篇《如何实现支持百亿级文件的分布式文件存储》中，我们简单“鸟瞰”了实现支持海量文件的分布式文件存储的关键思路，本文我们开始讨论各个模块的设计思路和部分细节。先从元数据服务开始，元数据服务一般被简称为MDS，表示MetaDataService，或MetaDataServer。MDS数据在磁盘中如何管理当我们说要做支持百亿文件的MDS时，我们要做什么？我们先从业务需求说起。绝大多数业务，尤其
YAN_RONG_TECHNOLOGY·2022-12-21 13:34

【Vsan数据恢复】Vsan分布式文件系统上层虚拟机瘫痪的数据恢复案例

vSAN存储数据恢复环境：某公司一台vSAN分布式文件系统存储设备；VSAN存储采用了超融合架构，存储内总共有24块硬盘。
·2022-12-21 12:56

5.分布式文件系统

两个主要目标。网络透明。最重要的目标是提供对分布在计算机网络上的文件的相同访问，这些文件在集中式计算机上的分时系统中提供。高可用性。另一个重要目标是高可用性。系统错误或复制和维护操作不应导致文件不可用。文件服务和文件服务器的概念。文件服务是文件系统向其客户端提供的服务，即文件系统接口。文件服务器是实现文件服务的进程。用户不需要知道有多少文件服务器以及它们的位置。由于文件服务器通常是一个普通的用户进
乱七八糟2333·2022-12-21 09:50

hadoop生态圈之hive面试（一）

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
大数据小理·2022-12-21 04:04

【大数据处理技术】第二篇 大数据存储与管理（暂停更新）

文章目录第3章分布式文件系统HDFS3.1分布式文件系统3.1.1计算机集群结构3.1.2分布式文件系统的结构3.1.3分布式文件系统的设计需求3.2HDFS3.2.1HDFS简介及相关概念3.2.2HDFS
小手の冰凉·2022-12-20 08:03

分布式文件系统—FastDFS

分布式文件系统—FastDFS1.场景概述1.1什么是文件系统1.2分布式文件系统1.3主流的分布式文件系统1.3.1HDFS1.3.2GFS1.3.3.FastDFS1.4工作原理1.5上传/下载原理
排骨玉米汤·2022-12-19 08:33

第3章 分布式文件系统HDFS（精心梳理 详解HDFS ）

分布式文件系统（DistributedFileSystem）是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。
wyz191·2022-12-19 03:17

FastDfs快速入门

文章目录一.简介1.1描述1.2优缺点1.3常见术语1.4目录结构二.环境搭建2.1安装基础环境2.2安装libfatscommon函数库2.3安装FastDFS2.4配置Tracker服务2.5配置Storage
BlogY·2022-12-18 07:11

一文读懂什么是分布式文件系统

一文读懂什么是分布式文件系统什么是分布式文件系统一般文件系统什么是分布式文件系统分布式文件系统与一般文件系统的对比什么是分布式文件系统本篇来讲讲什么是一般文件系统，什么是分布式文件系统，以及他们的特点，
董比特·2022-12-17 07:30

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2022-12-17 07:52

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2022-12-17 07:16

GFS分布式文件系统

目录一、GlusterFS简介二、文件系统简介三、GlusterFS的特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议四、GlusterFS的常用术语五、GlusterFS的工作流程六、GlusterFS支持的七种卷1、分布式卷(Distributevolume)2、条带卷(Stripevolume)3、复制卷(Replicavolume)4、分布式条带卷(Di
梅比乌斯N·2022-12-16 13:26

【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解（超详细必看）

分布式文件系统。分布式文件系统是指利用多台计算机协同作用解决单台计算机所不能解决的存储问题的文件系统。如单机负载高、数据不安全等问题。HDFS。
showswoller·2022-12-16 06:33

【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战（超详细 附源码）

文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。常用命令如下二、案例-Shell命
showswoller·2022-12-16 06:33

Spark和Hadoop的区别

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem，HDFS）。
清幽小镇·2022-12-15 11:57

Hadoop总结

Hadoop总结文章目录Hadoop总结Hadoop概述Hadoop核心组件Hadoop优势分布式文件系统HDFSHDFS架构HDFS设计思路HDFS环境搭建HDFS的使用HDFSshell操作HDFSshell
CharlesDavid_coder·2022-12-15 11:23

常用工具模板

文章目录一、短信模板(阿里)二、人脸识别(百度)三、即时通讯(环信)四、文件上传1.方法12.方法2五、FastDFS(文件系统)六、地理位置搜索附近(MONGO)七、全局异常处理八、自定义响应结果类九
要加油!·2022-12-15 00:58

服务器云管理系统设计与开发,服务器云管理系统设计与开发

服务器云管理系统设计与开发内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统
木目也念相·2022-12-12 17:42

比较Hadoop和Spark

比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。将HadoopMapReduce与Spark作一番比较来得更明智，因
Arthur-Ji·2022-12-12 17:32
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他