Hadoop-HDFS

hadoop snapshot 备份恢复

实现hdfs上文件的备份api地址请见http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.2.0/hadoop-project-dist/hadoop-hdfs
糖糖_·2020-07-28 02:08

JournalNode 和 Secondary NameNode

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
iteye_6988·2020-07-28 00:25

大数据-Hadoop-HDFS（分布式文件系统）环境搭建

1：Hadoop三大核心组件A：分布式文件系统HDFSB：分布式资源调度器C：分布式计算框架MapReduce2：HDFS简介：HDFS架构：HDFS采用Master/Slave架构即：一个Master（NameNode）对应多个Slave(DataNode)NameNode功能：1处理客户端（client）的请求的响应2负责元数据(Metadata)的处理DataNode功能：1负责存储用户的数
AnndyTuo·2020-07-27 23:27

Hadoop的各个启动进程介绍

等备注：本文截图出自数据《Hadoop权威指南_第四版_中文版.pdf》和官网（地址：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs
魂——牵·2020-07-15 06:29

cloudera cdh中hadoop-client包的作用

hadoop-client是为了让开发者可以很方便的使用当前节点hadoop的jar包，ch4版本的hadoop将目录分为“/usr/lib/hadoop-hdfs”、“/usr/lib/hadoop-mapreduce
iteye_20817·2020-07-14 12:57

hadoop 配置文件说明

hadoop-mapreduce-client-core/mapred-default.xmlhttp://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/hadoop-hdfs
BusyMonkey·2020-07-12 21:48

HDFS集群搭建

hadoop的配置文件官方路径：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
不玩亚瑟·2020-07-12 10:43

Hadoop-HDFS的伪分布式和完全分布式集群搭建

Hadoop-HDFSHDFS伪分布式集群搭建步骤一、配置免密登录ssh-keygen-trsa一句话回车到底ssh-copy-id-i~/.ssh/id_rsa.pubroot@node01跟随提示进行，一般需要yes确认之后输入一次密码就成功了如果没配置免密登录的话，会出现登录和退出HDFS时，所有节点都需要输一遍密码。(本人亲身实践，虽然还是启动成功了)二、上传jdk和hadoop压缩包可以
MKing1994·2020-07-07 17:09

Maven编译错误：Could not generate DH keypair: Prime size must be multiple of 64...

ERROR]Failedtoexecutegoalonprojecthadoop-hdfs:Couldnotresolvedependenciesforprojectorg.apache.hadoop:hadoop-hdfs
魔方泥瓦匠·2020-07-04 20:06

笔记-hadoop-HDFS的数据流

——尚硅谷视频整理HDFS写数据流程客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。NameNode返回是否可以上传。客户端请求第一个Block上传到哪几个DataNode服务器上。NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。客户端通过FSDataOutputStream
liu_1221·2020-07-02 08:50

hdfs默认副本策略

机架感知（副本存储节点选择）1.官方ip地址http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
Aying_seeyou·2020-07-01 08:55

顶级资料，大数据自学路线+脑图+学习资史上最全面的学习资料！

学习路线：（一）Linux理论（Linux基础Linux-shell编程高并发:lvs负载均衡高可用&反向代理）（二）Hadoop理论（hadoop-hdfs理论hadoop-hdfs集群搭建hadoop-hdfs2
金豆数据工程师·2020-06-29 13:12

Hadoop-HDFS 基础学习

第一部分：当前HDFS架构详尽分析1、HDFS架构HDFS架构组件•NameNode•DataNode•SencondaryNameNode2、数据存储细节3、NameNode目录结构Namenode的目录结构：${dfs.name.dir}/current/VERSION/edits/fsimage/fstimedfs.name.dir是hdfs-site.xml里配置的若干个目录组成的列表。4
ramobzheng·2020-06-26 05:09

Java程序读写HDFS报错：No FileSystem for scheme: hdfs

在使用java程序对hdfs文件系统进行读取的时候，应该确保是一个hadoopjob程序否则的话需要导入hadoop-hdfs的依赖，会出现这个问题。在maven中配置hadoop-hdfs即可。
盖世英雄来了·2020-06-25 18:45

Hadoop基础之HA的安装与配置

参考官方文档：http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
landy8530·2020-06-24 09:03

Java大数据开发：Hadoop-HDFS

在刚开始的学习中，曾经介绍过，hadoop组成部分包含HDFS，MapReduce,下面我们就来看一下HDFS吧。HDFS概念1.1概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2组成（
李旭me·2020-06-23 03:30

hadoop-hdfs(三)

HDFS概念1数据块*HDFS的一个数据块默认是64M，与元数据分开管理。优点：数据块的大小设计的较大，所以寻址占传输的时间比例较小，只需要计算传输速度即可。便于简化管理，利于计算剩余空间、冗余备份（默认三个）与元数据分开管理，保持他本身无属性的特性。2nameNode,DataNode*nameNode：1命名空间2维护文件系统树（命名空间镜像文件）与目录（编辑日志文件）（本地磁盘）3保存每个块
ackus42682·2020-06-22 12:09

Hadoop-HDFS学习课件

Hadoop-HDFS学习课件HDFS基本概念前沿HDFS的概念和特性HDFS-shellshell客户端使用客户端支持的命令参数HDFS-JAVA-API操作依赖引入windows下开发说明文件的增删操作使用流的形式访问文件
韩利鹏·2020-06-21 13:29

第三步：HADOOP-HDFS & YARN HA

集群规划系统版本主机名IP用途CentOS-7.7hadoop-test-1192.168.233.65namenodedatanodeDFSZKFailoverControllerhivehmasterresourcemanagerNodeManagerCentOS-7.7hadoop-test-2192.168.233.94namenodedatanodeDFSZKFailoverContro
发热安啃·2020-06-21 03:32

hadoop-HDFS的简单操作

【1】是什么？http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.htmlHadoopDISTRIBUTEDFILESYSTEM，简称HDFS，是一个分布式文件系统。有一定高度的容错性，而且提供了高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS是海量数据存储解决方案HDFS的设计之初就是针对超大文件的存储的，小文件不会提高访问和
先生_吕·2020-04-06 03:32

好用的插件：GitZip，下载GitHub子目录/部分文件

栗子：想看Hadoop-HDFS，然而在Hadoop整个项目的代码里，不是一个单独的GitHub子项目，cloneHadoop一下午了，进度一半，还连接失败了。解决：发现GitZip插件昂昂昂！
vickeex·2020-03-20 07:03

通过Loadrunner连接操作Hadoop HDFS

Loadrunner的Java_Vuser脚本为例，来做一次HDFS的文件操作测试，由于LoadRunner11只支持JDK1.6，所以Hadoop选择的Jar包也只能用Hadoop2.6.0，但是这不影响连接高版本的hadoop-HDFS
smooth00·2020-02-26 02:42

Hadoop-HDFS(HDFS-HA)

HDFS(HadoopDistributedFileSystem)分布式文件系统，HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用.由NameNode，若干DataNode，以及SecondaryNameNode组成。HDFS组成架构HDFS文件块大小：HDFS客户端Shell操作常用命令实操（0）启动Hadoop集群（方便后续
Darling&GLL·2020-02-17 12:00

Hadoop-HDFS

HDFS(HadoopDistributedFileSystem)分布式文件系统，HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用.由NameNode，若干DataNode，以及SecondaryNameNode组成。HDFS组成架构HDFS文件块大小：HDFS客户端Shell操作常用命令实操（0）启动Hadoop集群（方便后续
Darling&GLL·2020-02-17 12:00

java操作hadoop-HDFS的增删改查

hadoop-HDFS除了在linux上以shell的方式进行操作外，还可以利用java来操作，接下来我们就来实现吧【1】新建java工程，引入hadoop的源码包java操作hadoop1.png当然
先生_吕·2020-02-12 04:03

HDFS HA

翻译：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
金刚_30bf·2020-02-10 03:35

Hadoop - HDFS操作

Hadoop-HDFS操作原文地址：http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-HDFS操作/启动HDFS最初，您必须格式化配置的HDFS
全能程序猿·2020-02-08 09:29

hadoop-HDFS

HDFS分布式文件系统，可以由单台服务器扩展到数千台服务器image.pngNameNode关联和维护HDFS文件系统的读写操作多个DataNode1负责存储数据HDFS优点具有高度容错能力，能实时监测错误并且自动恢复。类似于服务器的容灾能力，当某台服务器挂了，就启用备用服务器，进行数据同步数据存储为Streaming流式数据存储。批处理数据，而不是实时处理，提高了大量处理数据的能力，但是会牺牲响
望月成三人·2020-01-04 17:39

大数据学习路线+Java转行大数据最新最全的必备第一手资料

学习路线：（一）Linux理论（Linux基础Linux-shell编程高并发:lvs负载均衡高可用&反向代理）（二）Hadoop理论（hadoop-hdfs理论hadoop
大数据客栈yi·2020-01-03 19:36

hdfs - kerberos

使用指南导入依赖包compilegroup:'org.apache.hadoop',name:'hadoop-hdfs',version:'2.7.6'compilegroup:'org.apache.hadoop
大猪大猪·2020-01-03 08:50

HDFS 架构

翻译：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html版本：2.9.0介绍假设和目标硬件故障流数据访问大型数据集简单一致性模型
金刚_30bf·2019-12-29 17:35

Flink程序报错:Provider for class javax.xml.parsers.DocumentBuilderFactory cannot be created

flink如果要操作hdfs,需要一个hadoop-hdfs的包.而增加这个包后出现如下错误:javax.xml.parsers.FactoryConfigurationError:Providerforclassjavax.xml.parsers.DocumentBuilderFactorycannotbecreatedjava.lang.RuntimeException
_呆瓜_·2019-12-28 01:22

hadoop-HDFS运行原理

简介：HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（GoogleFileSystem）Google文件系统（[中文]，[英文]）。HDFS有很多特点：**①**保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。**②**运行在廉价的机器上。**③**适合大数据的处理。多大？多小？HDF
先生_吕·2019-12-21 05:48

从零开始学Hadoop大数据分析之HDFS 实战

开发环境1.java环境：jdk1.82.IDEA编辑器3.maven集成环境清单开发hadoop相关项目基础集成包主要为：hadoop-common，hadoop-hdfs，hadoop-mapreduce-client-core
渝聆墨·2019-12-15 07:25

集成学习 - AdaBoost

真的是三个臭皮匠赛过诸葛亮我觉得是最为适合的.还有一点它的数学理论也是很完美的,跟SVM一样.我自己感觉,这种思想,真的是,将穷人的智慧发挥到极致.想到句口号"聚是一团火,散是满天星"这样的意思.我这提了穷,是想到了,Hadoop-HDFS
小陈同学的数据之路·2019-12-08 17:00

Storm 系列（八）—— Storm 集成 HDFS 和 HBase

有两个地方需要注意：这里由于我服务器上安装的是CDH版本的Hadoop，在导入依赖时引入的也是CDH版本的依赖，需要使用标签指定CDH的仓库地址；hadoop-common、hadoop-client、hadoop-hdfs
黑白影·2019-09-04 16:00

Storm 系列（八）—— Storm 集成 HDFS 和 HBase

有两个地方需要注意：这里由于我服务器上安装的是CDH版本的Hadoop，在导入依赖时引入的也是CDH版本的依赖，需要使用标签指定CDH的仓库地址；hadoop-common、hadoop-client、hadoop-hdfs
黑白影·2019-09-04 16:00

Storm 系列（八）—— Storm 集成 HDFS 和 HBase

有两个地方需要注意：这里由于我服务器上安装的是CDH版本的Hadoop，在导入依赖时引入的也是CDH版本的依赖，需要使用标签指定CDH的仓库地址；hadoop-common、hadoop-client、hadoop-hdfs
黑白影·2019-09-04 16:00

HDFS 异构存储

参考：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.htmlhttps://
看得出的就是·2019-07-29 22:25

HDFS 内存存储支持——LAZY_PERSIST存储策略

参考：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/MemoryStorage.htmlhttps://blog.csdn.net
看得出的就是·2019-07-28 23:20

HDFS简介

Hadoop-HDFS存储模型文件线性切割成块(Block)偏移量offset(考虑byte,中文的情况)，偏移量起到定位的作用单一文件block大小一致(最后一个可以不一样)，文件与文件可以不一致block
瓜不田·2019-07-21 16:47

HDFS 3.x 纠删码介绍

本文主要内容翻译自：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html
看得出的就是·2019-05-08 22:38

【4.分布式存储】hadoop-hdfs

整体：https://segmentfault.com/a/11...HDFS是hadoop的最底层存储部分，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，高可靠服务。创建后除了追加和删除之外(append的实现也很曲折，很复杂的异常逻辑https://caodaoxi.iteye.com/bl...)，无更改。直接写文件+多副本，读共享内存+就近。主要关注高可靠。官方：htt
梦想家·2019-04-28 00:00

Hadoop的配置文件

hdfs-default.xml2.7.2：http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlhdfs-default.xml3.1.2
嘤 嘤 嘤·2019-04-15 22:44

大数据博客目录整理

Hadoop大数据平台简介-CDH,HDPHadoop-1-生态圈的组件大体介绍Hadoop-2-hadoop的HA搭建hdfsHadoop-HDFS基本概念介绍(设计思路，架构，优缺点)Hadoop-HDFS
qichangjian·2019-03-22 17:00

大数据技术之Hadoop_HDFS

版本：ApacheHadoop2.7.2hdfs-default.xml：http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs
嘤 嘤 嘤·2019-01-31 13:14

hadoop源码研究 编译错误记录

文章目录hadoop-common编译失败编译错误如下关注点解决办法hadoop-hdfs编译失败错误解析错误处理错误详情hadoophdfs-client-native编译失败报错排查解决办法完成后再重新编译
plifemao·2019-01-31 10:25

Hadoop-HDFS学习

Hadoop-HDFS学习1摘要本文介绍了Hadoop体系中最重要的HDFS原理。
迷路剑客·2019-01-16 22:19

【备忘】百战程序员大数据全套视频

rar├─2018-04-04(Linux).rar├─2018-04-08(高并发-LVS).rar├─2018-04-09(高并发-keepalived-ngix).rar├─2018-04-10(hadoop-HDFS
qq_38472057·2018-12-15 13:51

HDFS

HDFS本文主要介绍hadoop2.x版本，分析代码主要位于hadoop-hdfs-project/hadoop-hdfs/src/main/java/org/apache/hadoop/hdfs/server
Youchang_Xu·2018-09-22 00:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他