大数据从入门到实战 - 第2章 分布式文件系统HDFS

叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！

一、关于此次实践

1、实战简介

当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区并存储到若干台单独的计算机上，管理网络中跨多台计算机存储的文件系统称之为分布式文件系统（distributed filesystem）。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂，例如，该文件系统能够容忍节点故障而不丢失任何数据，就是一个极大的挑战。
Hadoop自带一个称为HDFS的分布式文件系统，即Hadoop Distributed FileSystem。有时候也称为DFS，这就是我们本章要重点了解的内容。

2、全部任务

二、实践详解

1、第1关： HDFS 的基本操作

pwd
回车
cd /
回车
mkdir /develop
回车
mkdir /dev
回车
mkdir /develop/input
回车
mkdir /develop/output
回车
start-dfs.sh
回车
hadoop fs -mkdir /usr
回车
hadoop fs -mkdir /usr/input
回车
hadoop fs -mkdir /usr/output
回车
hadoop fs -ls /
回车
hadoop fs -ls /usr
回车
cd /dev
回车
cd /develop/input
回车
touch helloworld.txt
回车
vim helloworld.txt
回车
hello hadoop
退出 :wq
hadoop fs -put helloworld.txt /usr/output
回车
hadoop fs -cat /usr/output/helloworld.txt
回车
hadoop fs -ls /user/hadoop
回车
hadoop fs -ls /
回车
hadoop fs -ls /usr
回车
hadoop fs -ls /user
回车
hadoop fs -mv /usr/output/helloworld.txt /
回车
hadoop fs -ls /
回车
hadoop fs -rm /helloworld.txt
回车
hadoop fs -mkdir /usr/output
回车
touch hello.txt
回车
vim hello.txt
回车
HDFS 的块比磁盘的块大，其目的是为了最小化寻址开销。
退出 wq
hadoop fs -put hello.txt /usr/output
回车
hadoop fs -ls /usr/output
回车
hadoop fs -rm -r /user/hadoop
回车
hadoop fs -get /usr/output/hello.txt /usr