ftp+分布式文件系统

大数据核心框架Hadoop

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有容错性的特点，并且设计用来部署在低廉的
爱吃香菜的斌斌·2023-01-12 21:36

大数据 hadoop

HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统
DHRJFH·2023-01-12 21:33

东北大学2023分布式操作系统实验

2.Hadoop简介2.1Hadoop项目基础结构在其核心，Hadoop主要有两个层次，即：加工/计算层(MapReduce)存储层(Hadoop分布式文件系统)除了上面提到的两个核心组件，Hadoop
加油呀，哒哒哒·2023-01-10 10:48

Tensorflow之TFRecord的原理和使用心得

目前，越来越多的互联网公司内部都有自己的一套框架去训练模型，而模型训练时需要的数据则都保存在分布式文件系统（HDFS）上。
程序员对白·2023-01-10 08:47

520页（17万字）集团大数据平台整体解决方案-v1.0

完整资料领取见文末，部分资料内容：1.1.1 系统总体逻辑结构4-14系统总体逻辑结构图参见上图，基于Hadoop构建的企业级数据仓库，包含：分布式列式存储数据库Hyperbase和分布式文件系统
数字化方案·2023-01-08 07:52

python txt转换成excel_Python读取txt文件并转换为excel

":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统
danzhou-dennis·2023-01-07 15:09

tensorflow保存内容到相对文件路径下_如何添加自定义文件系统插件

这个共享文件系统具有诸多用途，例如：状态检查点通常会保存到分布式文件系统中，以实现可靠性和容错能力训练流程
weixin_39889544·2023-01-03 19:22

FastDFS配置Nginx访问

FastDFS配置Nginx访问FastDFS分布式文件系统安装和配置_亲测成功下载相关依赖软件包yum-yinstallwgetmakezlibzlib-develgcc-c++libtoolopensslopenssl-develwgethttp
·2023-01-01 22:40

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
普通网友·2022-12-31 13:04

「企业上云」系列之开源数据库的现状

本次分享聚焦于数据库既结构化数据存储OLTP及NoSQL领域，不会涉及OLAP、对象存储、分布式文件系统。开源RDBMS与互联网的崛起很长时间以来，关系型数据库一直是大公司的专利，市场被Or
高效开发运维·2022-12-30 10:46

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

近年来，Alluxio发展非常迅速，在云原生的数据编排和分布式文件系统方面建立了很好的技术和应
Alluxio·2022-12-30 09:58

Alluxio与北京大学计算机学院签署合作框架协议，推动产学研深度融合

近年来，Alluxio发展非常迅速，在云原生的数据编排和分布式文件系统方面建立了很好的技术和应
·2022-12-29 11:46

COS对象存储

基本概念4.2基本操作五、COSBrowser5.1登录界面5.2基本功能六、FAQ前言最近公司有用到COS对象存储，接下来和大家一起聊聊对象存储，实际上存储这一块在我之前的博客中有提到，博客中讲述了分布式文件系统存储
云计算-Security·2022-12-27 15:40

【Vsan数据恢复】Vsan分布式文件系统上层虚拟机瘫痪的数据恢复案例

vSAN存储数据恢复环境：某公司一台vSAN分布式文件系统存储设备；VSAN存储采用了超融合架构，存储内总共有24块硬盘。
·2022-12-27 14:13

Educoder 分布式文件系统HDFS 实验总结 答案

HDFS-JAVA接口之删除文件一、HDFS的基本操作1.HDFS的设计当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对他进行分区存储到若干台单独的计算机上，管理网络中跨多台计算机存储的文件系统称为分布式文件系统
Traveler[ke]·2022-12-26 04:49

数据管理篇之存储和成本管理

1.数据压缩问题在分布式文件系统中，为了提高数据的可用性与性能，通常会将数据存储3份，这就意味着存储1TB的逻辑数据，实际上会占用3TB物理空间。
道理你都懂·2022-12-25 03:36

Spring Boot总结（二）：Spring Boot中使用数据库

SpringBoot界面设计SpringBoot总结（四）：提高数据库访问性能SpringBoot总结（五）：安全设计SpringBoot总结（六）：SpringBootSSOSpringBoot总结（七）：使用分布式文件系统
一念成佛_LHY·2022-12-24 07:14

Hadoop-yarn-未授权访问漏洞复现(vulhub)

HDFS是一个分布式文件系统，具有高容错性的特点，并且被设计用来部署在廉价的
coc.·2022-12-23 09:32

hadoop安装配置实验报告

Hadoop三种模式安装配置实验报告2.1.Hadoop分布式文件系统（HDFS）Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统
南城以南花似海·2022-12-22 16:47

《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(二)

转载连接：http://blog.csdn.net/lovemianmian/article/details/9050617首先来看看这一章讲解的整体架构，分别介绍了分布式文件系统、Map-Reduce
逍遥扇·2022-12-21 13:04

百亿级分布式文件系统之元数据设计

前言在上一篇《如何实现支持百亿级文件的分布式文件存储》中，我们简单“鸟瞰”了实现支持海量文件的分布式文件存储的关键思路，本文我们开始讨论各个模块的设计思路和部分细节。先从元数据服务开始，元数据服务一般被简称为MDS，表示MetaDataService，或MetaDataServer。MDS数据在磁盘中如何管理当我们说要做支持百亿文件的MDS时，我们要做什么？我们先从业务需求说起。绝大多数业务，尤其
YAN_RONG_TECHNOLOGY·2022-12-21 13:34

【Vsan数据恢复】Vsan分布式文件系统上层虚拟机瘫痪的数据恢复案例

vSAN存储数据恢复环境：某公司一台vSAN分布式文件系统存储设备；VSAN存储采用了超融合架构，存储内总共有24块硬盘。
·2022-12-21 12:56

5.分布式文件系统

两个主要目标。网络透明。最重要的目标是提供对分布在计算机网络上的文件的相同访问，这些文件在集中式计算机上的分时系统中提供。高可用性。另一个重要目标是高可用性。系统错误或复制和维护操作不应导致文件不可用。文件服务和文件服务器的概念。文件服务是文件系统向其客户端提供的服务，即文件系统接口。文件服务器是实现文件服务的进程。用户不需要知道有多少文件服务器以及它们的位置。由于文件服务器通常是一个普通的用户进
乱七八糟2333·2022-12-21 09:50

hadoop生态圈之hive面试（一）

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
大数据小理·2022-12-21 04:04

【大数据处理技术】第二篇 大数据存储与管理（暂停更新）

文章目录第3章分布式文件系统HDFS3.1分布式文件系统3.1.1计算机集群结构3.1.2分布式文件系统的结构3.1.3分布式文件系统的设计需求3.2HDFS3.2.1HDFS简介及相关概念3.2.2HDFS
小手の冰凉·2022-12-20 08:03

分布式文件系统—FastDFS

分布式文件系统—FastDFS1.场景概述1.1什么是文件系统1.2分布式文件系统1.3主流的分布式文件系统1.3.1HDFS1.3.2GFS1.3.3.FastDFS1.4工作原理1.5上传/下载原理
排骨玉米汤·2022-12-19 08:33

第3章 分布式文件系统HDFS（精心梳理 详解HDFS ）

分布式文件系统（DistributedFileSystem）是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。
wyz191·2022-12-19 03:17

一文读懂什么是分布式文件系统

一文读懂什么是分布式文件系统什么是分布式文件系统一般文件系统什么是分布式文件系统分布式文件系统与一般文件系统的对比什么是分布式文件系统本篇来讲讲什么是一般文件系统，什么是分布式文件系统，以及他们的特点，
董比特·2022-12-17 07:30

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2022-12-17 07:52

什么是分布式软件系统

它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。分布式操作系统负责管理分布式处理系统资源和控制分布式程序运行。它和集中式操作系统的区别在于资源管理、
m0_72864708·2022-12-17 07:16

GFS分布式文件系统

目录一、GlusterFS简介二、文件系统简介三、GlusterFS的特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议四、GlusterFS的常用术语五、GlusterFS的工作流程六、GlusterFS支持的七种卷1、分布式卷(Distributevolume)2、条带卷(Stripevolume)3、复制卷(Replicavolume)4、分布式条带卷(Di
梅比乌斯N·2022-12-16 13:26

【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解（超详细必看）

分布式文件系统。分布式文件系统是指利用多台计算机协同作用解决单台计算机所不能解决的存储问题的文件系统。如单机负载高、数据不安全等问题。HDFS。
showswoller·2022-12-16 06:33

【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战（超详细 附源码）

文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。常用命令如下二、案例-Shell命
showswoller·2022-12-16 06:33

Spark和Hadoop的区别

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem，HDFS）。
清幽小镇·2022-12-15 11:57

Hadoop总结

Hadoop总结文章目录Hadoop总结Hadoop概述Hadoop核心组件Hadoop优势分布式文件系统HDFSHDFS架构HDFS设计思路HDFS环境搭建HDFS的使用HDFSshell操作HDFSshell
CharlesDavid_coder·2022-12-15 11:23

服务器云管理系统设计与开发,服务器云管理系统设计与开发

服务器云管理系统设计与开发内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统
木目也念相·2022-12-12 17:42

比较Hadoop和Spark

比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。将HadoopMapReduce与Spark作一番比较来得更明智，因
Arthur-Ji·2022-12-12 17:32

04 MapReduce即是一个编程模型又是一个计算框架

（辅助工具）Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，提供对应用程序数据的高吞吐量访问。（数据存储）HadoopYARN：用于作业调度和集群资源管理的框架。
Primarbird·2022-12-12 11:12

分布式并行计算MapReduce

edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/33191.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程HDFS功能分布式文件系统
weixin_34389926·2022-12-12 11:40

大数据入门：HDFS数据副本存放策略

HDFS是Hadoop分布式文件系统，基于廉价的PC集群，就能支持大规模数据集的存储，并且可以通过增加机器来提升存储容量，对于企业而言，提供了低成本的灵活性选择
加米谷大数据张老师·2022-12-11 14:37

大数据_HDFS原理

目录一、什么是HDFS二、HDFS架构角色三、HDFS工作流程四、HDFS的优缺点一、什么是HDFS1、定义HDFS即Hadoop分布式文件系统（HadoopDistributedFilesystem）
Happy编程·2022-12-11 14:37

大数据入门：HDFS数据读写机制

作为Hadoop的分布式文件系统的HDFS，是Hadoop框架学习当中的重点内容，HDFS的设计初衷，是致力于存储超大文件，能够通过构建在普通PC设备上的集群环境，以较低成本完成大规模数据存储任务。
加米谷大数据张老师·2022-12-11 14:36

Hadoop文件复制到分布式文件系统报错：.xml.COPYING_ could only be written to 0 of the 1 minReplication nodes.

错误截图：这是当时老师给的DataNode没法启动的解决办法但是我部署的时候jps是有datanode的如下：但是等我复制失败的时候，再jps就没有了“jps查看进程时发现namenode节点时有时无，于是多次格式化namenode，然后上传文件就开始报错。细心的话可以发现再次格式化过程中会有确认消息。大佬说是这个问题一般是由于使用hadoopnamenode-format格式化多次，导致spac
xiaobai_i_xuexi·2022-12-08 16:42

Hadoop 应用

HadoopDistributedFileSystem(HDFS):Adistributedfilesystemthatprovideshigh-throughputaccesstoapplicationdata.Hdfs：一种分布式文件系统
xiaokebiubiubiu·2022-12-06 23:01

1.3 Apache Hadoop的重要组成-hadoop-最全最完整的保姆级的java大数据学习资料

文章目录1.3ApacheHadoop的重要组成1.3ApacheHadoop的重要组成Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common
假装文艺范儿·2022-12-05 17:05

3. 大数据存储与管理

一、分布式文件系统1.分布式文件系统定义：分布式文件系统(DistributedFileSystem,DFS)是指文件系统管理的物理存储资源不仅存储在本地节点上，还可以通过网络连接存储在非本地节点上。
hellooo77·2022-12-04 12:39

大数据技术原理与应用 大作业--------微博精准营销案例设计与实现

相关技术介绍2.1Hadoop分布式系统2.1.1.Hadoop概述2.3MapReduce分布式计算2.3.1理解MapReduce思想2.3.2HadoopMapReduce设计构思2.4HDFS分布式文件系统
漫天 星辰·2022-12-04 10:52

NFS服务安装配置

它是NFS分布式文件系统的服务端。当然，除了nfsd外，还有很多其它的NFS分布式文件系统服务端，比如用户态的Ganesha。但是，这些不在本文的范围内，今天我们主要介绍一下nfsd的安装和使用。
大白守护进程·2022-12-04 07:12

Hadoop 大数据 期末复习题

A、利用分布式文件系统、数据仓库、关系数据库等实现对结构化、半结构化和非结构化海量数据的存储和管理B、利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析C、构建隐私数据保护体系和数据安全体系
兰公子&·2022-11-30 20:24

手把手带实习生——从零开始搭建MinIo分布式文件系统拿来直接用

一、什么是MinIo？MinIO基于ApacheLicensev2.0开源协议的对象存储服务，可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux,OSX和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。MinIO兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件
波总说先赚它一个小目标·2022-11-30 17:40
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他