ftp+分布式文件系统

项目八 分布式文件系统配置

项目八分布式文件系统配置相关知识点：分布式文件系统（DistributedFileSystem，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
Yxh666·2020-08-15 22:33

hadoop的学习（一）入门

HDFS：分布式文件系统，存储海量的数据MapReduce：并处理框架，实现任务的分解和调度HDFSBLOCK：HDFS的文件被分成快进行存储，默认大小64Mb。块是文件存储处理的逻辑单元。
MineCodelife·2020-08-15 21:39

JAVA下FastDFS客户端开发使用及遇到的问题

JAVA下FastDFS客户端开发使用及遇到的问题什么是FastDFS分布式文件系统？
N_努力·2020-08-15 21:05

The Google File System中文版

我们设计并实现了GoogleGFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。
wuwangyingzhong·2020-08-15 17:30

谷歌三大核心技术（一）Google File System

摘要我们设计并实现了GoogleGFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。
gary·2020-08-15 14:21

FASTDFS调研报告(V1.0)

一、fastdfs简介FastDFS是一个轻量级的开源分布式文件系统FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡FastDFS实现了软件方式的RAID，可以使用廉价的
anyi365416·2020-08-15 13:22

Hadoop生态圈简单介绍

HDFS:分布式文件系统（HadoopDistributedFileSystem）,设计有着为大数据处理“私人订制”的意思，提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
忙碌的影子·2020-08-15 09:16

大数据平台是否更应该容器化?

大数据的发展历史大数据技术起源于Google在2004年前后发表的三篇论文，分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable，熟称"三驾马车"。
腾讯云原生·2020-08-15 09:32

【大数据笔记】hadoop基础——各组件介绍

1、数据存储：HDFS，一个分布式文件系统2.数据分析：MapReduce计算引擎HDFS（Hadoop分布式文件系统）MapReduce（分布式计算模型）离线计算Yarn（分布式资源管理器）Spark
小范今天学Java了嘛？·2020-08-15 07:34

大数据系统-Spark生态系统

查询与分析的查询引擎SparkSQL，提供机器学习功能的系统MLBase及底层的分布式机器学习库MLlib，并行图计算框架GraphX，流计算框架SparkStreaming，近似查询引擎BlinkDB，内存分布式文件系统
gao8658·2020-08-15 07:09

Hadoop高性能集群

hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS分布式文件系统为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。hadoop包括两大核心。
LiteBty·2020-08-15 05:21

HADOOP如何保证数据的正确性保证

并且在分布式文件系统中，同一份文件的数据，是存在大量冗余备份的，系统必须要维护所有的数据块内容完全同步，否则，一人一言，不同客户端读同一个文件读出不同数据，用户非得疯了不可。。。
wh62592855·2020-08-14 21:19

Alluxio不同存储层(mem,ssd,hdd)的测试

Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。
HappyBearZzz·2020-08-14 20:30

Redis入门到精通1---（入门）

Redis简介NoSQLRedis就是一个NoSQL型数据库NoSQL在项目中处于一个什么样的位置：商品基本信息放在MySQL中，商品附加信息放在MongoDB中，图片信息放在分布式文件系统，搜索关键字放在
A.夕阳·2020-08-14 19:06

hadoop_day02

的概念:hadoop是apache下的一个开源软件框架,hadoop允许使用简单的编程模型来完成大量计算机集群下的大量数据的分布式处理狭义上:hadoop单指apache下的产品*HDFS(hadoop分布式文件系统
qq_42514129·2020-08-14 19:09

Alluxio简介 & 在Alluxio上运行Spark与MapReduce

Alluxio简介Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务应用场景在大数据领域
疯狂呼呼呼·2020-08-14 17:44

基于MapReduce实现并行化K-means算法

阅读报告阅读文献：WeizhongZhao,HMa,QHe–Springer“ParallelK-MeansClusteringBaseonMapReduce”,CloudComputing,2009解决问题：在分布式文件系统基础下的
Vigor·2020-08-14 17:27

FastDFS学习笔记（单机版安装）

前言FastDFS(FastDistributedFileSystem)是一款使用c语言编写的开源轻量级分布式文件系统，它为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标
飘狐·2020-08-14 17:42

Hadoop——day1

介绍java实现开发和运行处理大规模数据的软件平台使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理核心组件HDFS(HadoopDistributeFileSystem，分布式文件系统)：
fan2312·2020-08-14 17:30

Hadoop初学笔记

环境：unbuntujdk8hadoop-2.6.4一、介绍hadoopHadoop由两部分组成：HDFS和MapReducer；HDFS为一个分布式文件系统，由google的GFS演变而来。
李遒·2020-08-14 17:15

Datax介绍

1.datax简介DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS(Hadoop分布式文件系统)、Hive(hive是基于Hadoop的一个数据仓库工具
a870542373·2020-08-14 16:07

什么是报表的多样性数据源问题？如何解决？

但今天就不一样了，数据源种类繁多，除了RDBMS还有1.MongoDB、Cassandra、HBase、Redis这些NoSQL数据库；2.TXT/CSV、Excel、JSON/XML等文件；3.HDFS等分布式文件系统
Sxb_Cry5tal·2020-08-14 15:17

为互联网应用文件存储而生之FastDFS-蛙课网

分布式文件系统(DistributedFileSystem)是一个用来管理文件的软件或软件服务器，但这个软件所管理的文件通常不是在一个服务器节点上，而是在多个服务器节点上，这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群
蛙课网·2020-08-14 15:33

（Hadoop）S10 Sqoop

简介介绍：Sqoop是Apache的一款开源工具，Sqoop主要用于在Hadoop和关系数据库或大型机之间传输数据，可以使用Sqoop工具将数据从关系数据库管理系统导入（import）到Hadoop分布式文件系统中
Cx️XM·2020-08-14 15:34

hadoop大数据平台部署坑点总结

它实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
小·幸·运·2020-08-14 14:51

Python对HDFS的操作(一)

HDFShdfs的定义:Hadoop的分布式文件系统（HDFS）被设计成适合运行通用硬件上的分布式文件系统，它和现有的分布式文件系统有很多的共同点。
ahilll·2020-08-14 13:42

Spark Storage之ExternalBlockStore

Tachyon(Alluxio)简介ExternalBlockStore底层使用Tachyon(现更名为Alluxio)，Tachyon是一个分布式文件系统，提供内存级别的访问速度，通常作用于分布式计算框架
Mr_JieLQ·2020-08-14 11:45

spark RDD中的partition和hdfs中的block的关系

hdfs是一款非常优秀的分布式文件系统。hdfs为主从架构，主节点为NameNode，主节点负责配合journalNode等完成fsimge完整性。从节点为DataNode，从节点负责存储数据。
sunkl_·2020-08-14 11:05

hbase基本介绍

，具体安装过程网上都比较详细，也可参考《hbase权威指南》1hbase数据库产生的根源hbase是google公司bigtable的开源实现，hbase基于hadoop的hdfs主要是对hadoop分布式文件系统
挣扎的菜鸟·2020-08-14 11:58

The Google File System中文版

TheGoogleFileSystem中文版ByAlex摘要我们设计并实现了GoogleGFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。
lengyuhong·2020-08-14 10:14

HDFS分布式文件系统系列---HDFS 2.0新特性

1、新特性NameNodeHANameNodeFederationHDFS快照HDFS缓存HDFSACL异构层级存储结构2、NameNodeHA多个namenode，一个为active，一个standby，通过zookeeper管理；3、NameNodeFederation多个namenode，多个active，多个standby（每个active有一个standby）；每个namenode管理一
bh_xiaoxinba·2020-08-14 06:04

spring boot中使用分布式文件系统Minio--附代码

1.Minio简介参考：https://docs.min.io/cn/minio-quickstart-guide.htmlMinIO是一个基于ApacheLicensev2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。1.1支持非结构化的
yixinshark·2020-08-14 02:46

Spring boot 中使用分布式文件系统FastDfs--附代码

1.fastDfs简介开源项目地址：添加链接描述用c语言编写的一款开源分布式文件系统，为互联网量身定制，充分考虑冗余备份，负载均衡，线性扩容等机制，并注重高可用、高性能等指标。
yixinshark·2020-08-14 02:46

IPFS技术（一）

IPFS介绍IPFS（InterPlanetaryFileSystem，翻译为“星际文件系统”）是一个面向全球的、点对点的分布式文件系统。
伤心程序员·2020-08-14 00:12

Hadoop的三种运行模式和三个版本

-使用本地文件系统，而不是分布式文件系统。
提灯寻梦在南国·2020-08-13 21:40

第四章 NFS服务相关介绍

NFS系统和Windows网络共享、网络驱动器类似,只不过windows用于局域网,NFS用于企业集群架构中,如果是大型网站,会用到更复杂的分布式文件系统FastDFS,glusterfs
年少纵马且长歌·2020-08-13 21:00

IPFS私链搭建

在IPFS网络中的节点将构成一个分布式文件系统。准备两台centos7虚拟机，设置并网络连通192.168.1.210192.168.1.211到https://gith
weixin_33896069·2020-08-13 21:30

IPFS系列 私有网搭建 一

在IPFS网络中的节点将构成一个分布式文件系统。而HTTP协议依赖于Internet主网。IP
weixin_30655219·2020-08-13 20:47

大数据技术图谱

大数据处理框架SparkRDDSparkSQLSparkStreamingMLLibHadoopHDFS(分布式文件系统)Mapreduce（计算框架）Yarn（资源管理平台）a.https://www.iteblog.com
TonyShu^_^·2020-08-13 19:54

LibP2P规范文档 - 中文翻译

目前进度为80%,持续更新...1介绍在开发IPFS（星际文件系统）的过程中，我们遇到了很多在异构设备之上运行分布式文件系统所带来的若干挑战，这些设备具有不同的网络设置和能力。
weixin_34234829·2020-08-13 11:49

阿里云快速入门——RDB

基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQLServer、PostgreSQL、PPAS（PostgrePlusAdvancedServer，高度兼容Oracle数据库）和
平凡无奇大师兄·2020-08-13 10:58

hdfs学习（一）

统一管理分布在集群上的文件系统称为分布式文件系统。
清风紫雪·2020-08-12 22:00

大数据 - （二） - Hadoop框架

解决海量数据的存储和计算Hadoop的广义和狭义之分狭义的Hadoop：Hadoop框架，三部分组成：HDFS：分布式文件系统，解决存储问题MapReduce：分布式离线计算框架，解决计算问题Yarn：
啦啦啦喽啰·2020-08-12 14:38

Hadoop分布式文件系统（HDFS）之文件系统（详细版）

交朋友增体面，不如交朋友益身心教子弟求显荣，不如教子弟立品行推荐书目电子版下载Hadoop必读书目（精选）本文参考文献包含于上述书籍HDFS快速入门Hadoop分布式文件系统（HDFS）快速入门HDFS
老师没讲·2020-08-12 13:55

第二章：分布式文件系统HDFS详解

2019独角兽企业重金招聘Python工程师标准>>>1.HDFS系统架构图角色介绍，根据上图介绍各个节点的作用：NameNode主节点，存储文件的元数据信息,如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表和块所在DataNode等。这些数据信息以“fsimage”（HDFS元数据镜像文件）和“editlog”（HDFS文件改动日志）两个文件形式存放在本地磁盘
weixin_34226706·2020-08-12 13:02

分布式文件系统HDFS，大数据存储实战（一）

本文进行了以下工作：OS中建立了两个文件，文件中保存了几组单词。把这两个文件导入了hadoop自己的文件系统。介绍删除已导入hadoop的文件和目录的方法，以便万一发生错误时使用。使用列表命令查看导入的文件和新建的目录。调用hadoop自带的示例jar包hadoop-0.20.2-example.jar中的程序wordcount，输出结果，以测试本hadoop系统是否可以正常工作。在OS中查看ha
weixin_30270561·2020-08-12 13:14

大数据学习（3）- 分布式文件系统HDFS

文章目录目录1.分布式文件系统1.1计算机集群概念1.2分布式文件系统结构2.HDFS简介2.1HDFS设计的目标2.2HDFS的局限性2.3块的概念2.4HDFS主要组件及其功能2.4.1名称节点2.4.2
Zero-One-0101·2020-08-12 13:36

Hadoop大数据入门到实战（第四节） - HDFS文件系统（使用）

HDFS的设计分布式文件系统客户：帮我保存一下这几天的数据。程序猿：好嘞，有多大呢？客户：1T。程序猿：好没问题，买个硬盘就搞定了。一个月后…客户：帮我保存下这几个月的数据。
vip2193·2020-08-12 13:22

各种分布式文件系统的比较

适合做通用文件系统的有MooseFS，GlusterFS，Lustre。MooseFS支持FUSE，相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差，国内用的人比较多，易用，稳定，对小文件很高效。   +支持文件元信息   +mfsmount很好用   +编译依赖少，文档全，默认配置很好   +mfshdd.cfg加*的条目会被转移到其它chunkserver，以便此c
可以要的·2020-08-12 13:14

hadoop学习（二）分布式文件系统与 HDFS shell操作

分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间分布式文件管理系统很多，HDFS只是其中一种。
codeing_doc·2020-08-12 12:59
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他