大数据——手把手教你HDFS搭建

第一步：在虚拟机上安装hadoop环境
使用XFTP工具，将hadoop的linux版本压缩包导进linux系统的/opt文件夹下。

第二步：解压hadoop
命令：cd /opt
tar -zxvf hadoop******* -C /usr/local/ 解压hadoop压缩包到 /usr/local/ 路径下
解压成功以后看一下local下面的所有文件

第三步：删除解压包里面的doc文档
安装包在local文件夹下，需要继续进入hadoop-2.6.0-cdh5.7.0/这个路径下的share/路径下找到doc文档，进行删除操作。

第四步：更改配置文件1——写入JDK绝对路径
1.找到jdk的绝对路径进行hadoop配置文件的更改

进入hadoop安装包

进入配置文件的位置

修改配置文件hadoop-env.sh
命令：vim hadoop-env.sh

第五步：更改配置文件2——写入namenode地址
更改文件core-site.xml确定namenode位置

　　　　　　 fs.defaultFS
　　　　　　hdfs://slave:9999（这个位置是写namenode的IP地址和端口号）
　　　　
　　　　
　　　　
　　　　　　hadoop.tmp.dir
　　　　　　/usr/local/hadoop-2.6.0-cdh5.7.0/etc（这个位置是写hadoop文件路径）

第五步：更改配置文件3——配置副本数量
修改hdfs-site.xml
　
　　　　
　　　　　　dfs.replication
　　　　　　1（此处为副本数量）
　　

第六步：配置hadoop环境变量
首先找到hadoop安装的路径进行复制

去修改环境变量的配置文件
命令：vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_144/
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin

这里一定要将bin和sbin两个命令文件都进行配置。

运行修改后的文件,并测试hadoop命令是否可以运行
命令：source etc/profile
hadoop

第七步：格式化namenode，并生成序列化文件
命令：hadoop namenode -format
格式化后查看
命令：ll

生成tmp文件，里面会有序列化文件。
第八步：配置datanode
命令：cd cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vim slaves
因为是伪分布，默认localhost，不需要更改。

第九步：启动hdfs
命令：cd /usr/local/hadoop-2.6.0-cdh5.7.0/sbin
start-dfs.sh
jps

一共运行的有四个服务。namenode和datanode启动。
第九步：打开可视化HDFS界面
在浏览器中输入网址：192.168.66.101:50070 （IP为虚拟机IP，端口号固定使用默认）

注意：如果打不开，可以去看一下是否因为防火墙没关闭导致的。

一条命令输错了，请自动屏蔽掉！只看划红线的就可以了。

搭建HDFS成功！！！