王家林 第六讲Hadoop图文训练课程:使用HDFS命令行工具操作Hadoop分布式集群初体验

王家林亲授的上海7月6-7日云计算分布式大数据Hadoop深入浅出案例驱动实战

 

 

这一讲主要使用HDFS命令行工具操作Hadoop分布式集群初体验:

 

Step 1:使用HSFS命令向Hadoop分布式集群存放一个大文件;

 

Step 2:删除文件并用两份副本在HDFS上存放数据;

 

使用HDFS命令行工具操作Hadoop分布式集群初体验PDF版本教程请猛击这里

 

王家林的“云计算分布式大数据Hadoop实战高手之路”之完整目录

 

 

王家林把自己几年来在Hadoop上的研究和实践总结出来,并通过动手实践的方式不断深入云就算实战技术,让人人皆可学习,并从中受益。

 

此教程来自于王家林多年的云计算实战研究和实践心得,全部免费教材为云计算分布式大数据Hadoop实战高手之路(共3本书):

 

1,王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作,进入云计算大数据的美好世界。

 

2, 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手崛起”通过数个案例实战和Hadoop高级主题的动手操作带领您直达Hadoop高手境界。

 

3, 王家林编写的“云计算分布式大数据Hadoop实战高手之路---高手之巅”通过当今主流的Hadoop商业使用方法和最成功的Hadoop大型案例让您直达高手之巅,从此一览众山小。

 

这些教程会按照实践的推移每天逐步发布,大家要多多支持喔!

 

 

 

更多Hadoop交流可以联系家林:

 

新浪微博:http://weibo.com/ilovepains

 

QQ:1740415547

 

Hadoop讨论QQ群:312494188

 

Weixin:wangjialinandroid

 

官方博客:http://www.cnblogs.com/guoshiandroid/

 

现在开始动手做!

Step 1:使用HSFS命令向Hadoop分布式集群存放一个大文件;

我们曾下载过Eclipse这个IDE,如下所示:

此时可以看出这个文件的大小是139.4M,这个大小超过了Hadoop默认文件块的大小64M,因此这个文件讲会被分块存储。

下面我们使用命令行工具,在hadoop.main这台机器上把这个文件存入整个分布式文件系统:

通过上述命令就把Eclipse传递到了hdfs文件系统的根目录下,此时我们通过Web控制台查看一下文件系统:

可以看到文件成功从Ubuntu本地发布到了Hadoop分步式文件系统上!

点击文件我们可以看到该文件分块的信息:

在分块信息下面有具体的分块数据:

可以看到数据被分成了三个块,但是大家同时会注意到这个快在同一台主机上, 按照前面的配置,这些数据应该是分布在 不同的主机节点上的,为何会出现现在的情况呢?其实,这不是一个问题,因为我们的节点比较少,Hadoop是根据自己的算法调整把这个文件存放在了一个节点上。

Step 2:删除文件并用两份副本在HDFS上存放数据;

当我们现在有两个DataNode的情况下,可以把replication配置伪2

进入文件:

修改后:

你可能感兴趣的:(hadoop)