史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第1张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第2张图片


史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第3张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第4张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第5张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第6张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第7张图片

HDFS 环境搭建


img_a2ea192a220030122910e9b48c91ec94.png

HDFS 伪分布式环境搭建
CentOS 环境安装步骤

MacOS安装环境
img_07bd584464bf7781a48e231e020d5d80.png
安装jdk

img_a36e97d4aaeac25ea6bbd89a797a894e.png
jdk安装路径

img_7307e98513d1fdc0701a4f7cfe9ec380.png
/usr/libexec/java_home -V:列出所有版本的JAVA_HOME

设置 JAVA_HOME
  • 添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=$JAVA_HOME/lib 
史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第8张图片
Mac OS X ssh设置

输入命令ssh localhost,可能遇到如下问题


img_16994cceb7faaf67c31ae115771eef27.png

原因是没打开远程登录,进入系统设置->共享->远程登录打开就好


史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第9张图片

这时你再ssh localhost一下
史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第10张图片
  • 下载 Hadoop


    img_2aa460d33c2ade23f6fffbe7af207935.png
  • 解压到soft目录


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第11张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第12张图片
    官方指南
  • 编辑 hadoop-env.sh 文件


    img_a2d3fb94cd087b7e44a89b848869e8bf.png


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第13张图片

    img_a906b02d8f67b01c0074b5aba51698a9.png

    Hadoop也可以在伪分布模式下的单节点上运行,其中每个Hadoop守护进程都在单独的Java进程中运行


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第14张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第15张图片
    具体更改

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第16张图片
    新建一个临时文件目录

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第17张图片
    编辑 hdfs/core-site.xml 文件

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第18张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第19张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第20张图片
    配置 datanode 节点数

    启动 hdfs


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第21张图片

    img_f622c00b132d85784e65baa0cddbf99d.png

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第22张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第23张图片


查看进程
史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第24张图片

访问 http://localhost:50070/
史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第25张图片

表示HDFS已经安装成功
史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第26张图片
存活节点

步骤小结
史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第27张图片

关闭

HDFS Shell 操作

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第28张图片

官网指南


史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第29张图片

先启动 HDFS

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第30张图片
配置 hadoop 环境变量

img_6231f1fccf5103cde45d13c7e930c42c.png
成功

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第31张图片
指令集

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第32张图片
dfs fs 无差异

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第33张图片
上传一个 txt 文件
img_2736ceac3a3201ca4fa00a0ee9fb9b3e.png

创建文件夹


史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第34张图片

多层次文件夹


史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第35张图片

遍历所有文件夹
img_ec443f6b13441af4b69cf2eb5934436e.png

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第36张图片

img_38df88d848776349d66adc8d4085a2d7.png

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第37张图片

删除文件/文件夹


史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第38张图片

img_518a87b839ed415e546ba70891d5b298.png

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第39张图片
所上传的文件

Java 操作 HDFS 开发环境搭建

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第40张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第41张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第42张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第43张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第44张图片

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第45张图片
pom 文件

JavaAPI 操作 HDFS文件系统

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第46张图片

img_9a1fe5cb28ae07fb6415c6128b202413.png
测试通过

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第47张图片
  • 测试创建文件方法


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第48张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第49张图片
  • 查看 HDFS 文件的内容


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第50张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第51张图片
  • 上传文件到 HDFS


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第52张图片
  • 上传文件到 HDFS(带进度条)


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第53张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第54张图片
    测试通过

    img_14f506685c24546b5202409e5b47ea10.png
  • 下载文件到本地


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第55张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第56张图片
    测试通过

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第57张图片
  • 查看某个目录下的所有文件


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第58张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第59张图片
    测试通过

  • 删除文件/文件夹


    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第60张图片

    史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS_第61张图片

    img_93d41ad3e1dea8923a2f3cfa876ea2b9.png

你可能感兴趣的:(史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS)