ftp+分布式文件系统

大数据

分布式文件系统（分布式存储）大量的数据如何计算？
维天有汉·2020-08-19 00:26

Fastdfs 踩坑学习！！

fastDFS介绍：fastDFS是以C语言开发的一项开源轻量级分布式文件系统，他主要对文件进行管理，能解决大容量存储和负载均衡的问题，适合以文件为载体的在线服务，例如图片，视频网站等。
strivelcy·2020-08-18 22:03

云备份调研报告

是通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储备份和业务访问的功能服务。
龙珊1212·2020-08-18 20:03

大数据私房菜--Hadoop架构(一)

ApacheHadoop的重要组成Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块HadoopHDFS：（HadoopDistributeFileSystem
depa2018·2020-08-18 20:04

什么是Hadoop，怎样学习Hadoop

Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS。
weixin_34209851·2020-08-18 19:36

hive数据倾斜的解决方案

分布式文件系统HDFS可以存储海量的数据（以T为单位的数据量），分布式计算框架MapReduce可以对存储在HDFS的数据进行处理后再将结果写回到HDFS。
顺顺顺子·2020-08-18 12:15

产品经理学大数据——大数据软件框架：Hadoop框架（1）之HDFS

Hadoop所提供的分布式文件系统（HDFS）实现了大规模的存储（在所有计算节点上分布式存储50TB数据），这为整个集群带来了非常高的带宽，因此能大大提高效率。
简城峰·2020-08-18 12:36

Hadoop之基本组成与生态体系

2019独角兽企业重金招聘Python工程师标准>>>1.Hadoop的组成(1)HadoopHDFS：一个高可靠、高吞吐量的分布式文件系统；(2)HadoopMapReduce：一个分布式的离线并行计算框架
weixin_34302561·2020-08-18 12:31

Hbase相对于Mysql的优势

Hadoop是离线计算平台，其中包括分布式文件系统（HDFS）和分布式计算（MapReduce），这本身是无法对响应时间做保证的。
哥伦布112·2020-08-18 12:40

hadoop生态基本知识

hadoop   hdfs      分布式文件系统      hadoop基础      利用磁盘   mapreduce      运行在hadoop上的计算模型,如分布式计算hdfs上的文件数据   
菜到抠脚的cxy·2020-08-18 12:27

flink之检查点（checkpoint）和保存点（savepoint）的区别

Flink的存储机制是插件化的，稳定存储可以是分布式文件系统，如HDFS、S3或MapR-FS如图所示，位于检查点之前
蒙奇.D.庆·2020-08-18 11:25

hadoop之hdfs、yarn、MR相关总结

一、HDFSHDFS是分布式文件系统，有高容错性的特点，可以部署在价格低廉的服务器上，主要包含namenode和datanode。
qq_32641659·2020-08-18 11:25

数据挖掘之Spark学习

Hadoop和Spark的处理任务有很多是一样的，比如说他们都是有数据计算处理的功能，但是在一些方面又并不相互重叠，比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)
凡人求索·2020-08-18 11:05

大数据技术之Hadoop分布式计算框架MapReduce系统知识整理（从入门到熟练操作）

系列博客1、大数据技术之Hadoop完全分布式集群搭建+Centos7配置连通外网和主机2、大数据技术之Hadoop编译源码3、大数据技术之Hadoop分布式文件系统HDFS系统知识整理（从入门到熟练操作
IronmanJay·2020-08-18 11:47

2020-08-13：Hadoop生态圈的了解？

2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。
福大大架构师每日一题·2020-08-18 10:56

hadoop：认识hadoop、安装hadoop、伪分布hdfs

hdfs4.1节点的热添加(不关闭dfs基础上添加节点)4.2mapreduce(作用运行程序)1.hadoop简介hadoop的核心是：HDFS:HadoopDistributedFileSystem分布式文件系统
weixin_43384009·2020-08-18 05:39

Hadoop伪分布安装

Hadoop伪分布安装文章已移至：http://www.codeci.cnhadoop框架HadoopCommon:公共模块HadoopDistributedFileSystem(HDFS™):分布式文件系统主从架构主节点
waitting_for_youth·2020-08-18 03:06

renran-fastdfs

FastDFS分布式文件系统FastDFSFastDFS是用c语言编写的一款开源的分布式文件系统。
stgsd199051·2020-08-18 02:20

BigData————小总结

hadoop：生态圈hdfsmapreduce计算框架yarnHdfs：分布式文件系统，用于n个服务器数据的管理。
cool_cool_coo1·2020-08-17 18:08

大数据组件图谱---比较齐全

大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统
bidianzhang·2020-08-17 17:43

hadoop——hadoop基本部署

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
Erli-·2020-08-17 16:39

mfs——mfs的部署

mfs工作原理分布式原理分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。.
Erli-·2020-08-17 16:08

Linux Hadoop 2.7.3 安装搭建

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
加楠·2020-08-17 15:01

Linux系统安装Hadoop

Hadoop包括3种安装模式：①单机模式：只在一台机器上运行，存储采用本地文件系统，没有采用分布式文件系统HDFS；②伪分布式模式：存储采用分布式文件系统HDFS，但是HDFS的名称节点和数据节点都在同一台机器上
stepondust·2020-08-17 14:09

Hadoop是什么

[1]Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
fuyifang·2020-08-17 12:03

使用Docker搭建Hadoop集群和Spark集群

一、前言Hadoop是分布式管理、存储、计算的生态系统，Hadoop的框架最核心的设计就是：HDFS和MapReduce，HDFS分布式文件系统（HadoopDistributedFileSystem）
anron·2020-08-17 10:13

分布式文件系统（HDFS）读写流程

HDFS数据副本机制1、第一份数据来源于用户的客户端2、第二份数据存放在与第一份副本在同一个机架，不同的节点，按照一定的机制（cpu内存io使用率和节点磁盘剩余容量）选取一个节点进行存放3、第三份副本存放在，与第一第二副本不在同一机架，且逻辑距离最近的机架上，按照一定的机制（cpu内存io使用率和节点磁盘剩余容量），选择一个节点进行存放NameNode的三大作用1、维护、管理HDFS的目录数-元数
码上见真章·2020-08-17 10:55

分布式文件系统HDFS 练习

1.目录操作在HDFS中为hadoop用户创建一个用户目录（hadoop用户）在用户目录下创建一个input目录在HDFS的根目录下创建一个名称为input的目录删除HDFS根目录中的“input”目录2.文件操作使用vim编辑器，在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件：姓名.txt在该文件里面可以随意输入一些单词，如学号把本地文件系统的“/home/hadoo
weixin_30675967·2020-08-17 09:46

Hadoop--分布式文件系统HDFS--HDFS原理解析

HDFS是一种分布式文件系统，能够实现对于文件的分布式存储管理等功能。
暗夜猎手-大魔王·2020-08-17 09:45

分布式文件系统HDFS

分布式文件系统HDFSHDFS的基础架构1、NameNode是一个中心服务器，负责管理文件系统的名字空间以及客户端对文件的访问2、文件操作，namenode是负责文件元数据的数据，datanode负责处理文件的读写请求
lsy107816·2020-08-17 08:00

分布式文件系统：HDFS

1、分布式文件系统：HDFS技术上，核心问题是：（1）数据的存储：分布式的文件系统（∞）（2）数据的计算：分布式计算（MapReduce，SparkRDD等）补充：生活中，用的最多的分布式文件系统是网盘
Ancientear·2020-08-17 08:36

HDFS简介及用C语言访问HDFS接口操作实践

一、概述近年来，大数据技术如火如荼，如何存储海量数据也成了当今的热点和难点问题，而HDFS分布式文件系统作为Hadoop项目的分布式存储基础，也为HBASE提供数据持久化功能，它在大数据项目中有非常广泛的应用
周兆熊·2020-08-17 04:33

[原创] 同事开发的高效的开源分布式文件系统： FastDFS

篇首语：同事happy_fish最近开发了一个很强大，很快速的开源分布式文件系统-FastDFS，使用纯C开发，执行效率非常高，能够解决大并发和分布式存储的问题，简洁高效，适合很多不想使用Hadoop或
黑夜路人·2020-08-17 00:44

京东 ChubaoFS 分布式文件系统分析

ChubaoFS（CFS）是京东开发的一分布式文件系统和对象存储系统。其主要声称是云原生的分布式文件系统，主要用于k8s容器环境。
Jack-changtao·2020-08-17 00:42

分布式文件系统HDFS

HDFS:全称HadoopDistributedFileSystem一.HDFS简介1.HDFS实现目标:兼容廉价的硬件设备实现流数据读写:满足大规模数据的批量处理需求,对大量数据进行全部读写,而不是分块去访问支持大数据集:能达到好几T支持简单的文件模型:只允许追加数据,不能修改数据强大的跨平台兼容性:基于java语言开发的,所以具有跨平台兼容性2.HDFS自身的局限性:不适合低延迟数据访问:不能
才疏学浅zh·2020-08-17 00:29

分布式文件系统ChubaoFS开源

ChubaoFS（储宝文件系统，简称CFS）是京东自研的分布式文件系统，设计初衷是为了京东容器集群提供持久化存储方案，同时也可作为通用云存储供业务方使用。
ansj·2020-08-16 23:05

FastDFS不同步怎么破

一、背景说明FastDFS是一款开源的分布式文件系统，具体介绍就不说了，有兴趣的可以自行百度下。
szphper·2020-08-16 23:00

Hadoop三种运行模式

使用本地文件系统，而不是分布式文件系统。
丶阿喜z·2020-08-16 22:08

ubuntu18.04 搭建FastDFS图片服务器

1.1简介FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。
weixin_41869700·2020-08-16 22:18

HDFS的体系结构

1.分布式文件系统存储副本的方式1).客户端负责写所有副本。例如每个block要存3个副本，客户端要将3个副本都存到DataNode上才算成功2).客户端是负责写一个副本。
weixin_34290096·2020-08-16 21:52

Hadoop的体系结构之HDFS的体系结构

Hadoop的体系结构Hadoop不仅是一个用于分布式存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。
weixin_34050519·2020-08-16 21:31

Hadoop权威指南_第四版_中文版pdf

全书共16章，3个附录，涉及的主题包括：Haddoop简介；MapReduce简介；Hadoop分布式文件系统；Hadoop的I/O、MapReduce应用程序开发；MapReduce的工作机制；Ma
weixin_30622107·2020-08-16 21:09

架构设计：系统存储（1）——块存储方案（1）

在这个专题中我们将至少介绍机械硬盘的主要结构、磁盘阵列的分类、操作系统的EXT文件系统、NAS文件共享存储方案、分布式文件系统重要技术点和分布式文件系统示例。
seableble·2020-08-16 14:49

FastDFS 安装

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件上传、文件下载等，解决了大容量存储和负载均衡的问题。
予你.·2020-08-16 13:57

Gluster分布式文件系统创建

服务端安装glusterfsyuminstallglusterfs1.修改host文件，添加主机名对应IP（比如主机名分别是node1，node2，node3）2.建立存储信任池glusterpeerprobenode1/glusterpeerprobenode2glusterpeerprobenode33.查看状态glusterpeerstatus4.在存储节点上创建逻辑卷lvcreate-L1
zjc801·2020-08-16 04:18

分布式文件系统配置

使用分布式文件系统可以轻松定位和管理网络中的共享资源、使用统一的命名路径完成对所需资源院的访问、提供可靠的负载平衡、与FRS（文件复制服务）联合在多台服务器之间提供冗余、与windows权限集成以保证安全
honeyws·2020-08-16 03:28

QFS文件系统-学习记录

#总览QuantcastFileSystem(QFS)是高性能，且具有故障容错能力的分布式文件系统。它可以支持MapReduce处理，以及其他应用程序的大文件的I/O操作。
lipeng08·2020-08-15 23:58

部署Nfs服务

networkfilesystem的缩写，中文意思是网络文件系统，主要功能是通过网络（一般是局域网）让不同的主机系统之间可以共享文件或者目录互联网中小型网站集群架构后端常用Nfs进行相互据共享大型网站，有可能用到更复杂的分布式文件系统
install_yum·2020-08-15 23:44

【NAS】NFSv4文件存储协议新特性介绍

NFSv4是NFSv3的继承版本，主要针对WAN环境部署NFS做出改进并提出NFS分布式文件系统方案。
YoungerChina·2020-08-15 23:39

Linux下利用NFS和Samba在source insight上快速开发应用程序

NFS是SUNMicrosystem公司开发的网络文件系统，它是一种基于远程过程调用（RPC）的分布式文件系统架构。与Samba相比较，NFS的数据吞吐能力更强
这个世界太危险只有音乐最安全·2020-08-15 22:07
上一页 40 41 42 43 44 45 46 47 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他