hadoop学习之hadoop安装--HDFS安装

http://archive.cloudera.com/cdh5/cdh/5/

1.下载：拷贝本地安装包hadoop-2.6.0-cdh5.15.1.tar.gz到服务器的software安装包目录

使用gitbash scp
scp hadoop-2.6.0-cdh5.15.1.tar.gz [email protected]:~/software/

此时服务器端的情况：

2.解压：~/app

在software安装包目录下执行
tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz -C ~/app/
之后可见：

hadoop软件包（hadoop-2.6.0-cdh5.15.1）常见目录说明

bin：hadoop客户端命令，hadoop，hdfs，mapred，rcc，yarn
etc/hadoop:存放hadoop相关的配置文件
sbin：启动hadoop相关进程的脚本
share：相关例子

3.添加HADOOP_HOME/bin到系统环境变量

对根目录下的.bash_profile文件添加：

使之生效：

测试效果：

此时在哪个文件都可以使用hadoop的bin中的命令了

4.修改HADOOP配置文件

(1)hadoop-env.sh -> export JAVA_HOME=/root/app/jdk1.8.0_231

对

进行修改，按i进入编辑：
与之前配置的路径相同

为：

(2)core-site.xml

主节点的文件端口

此时的目录为：

参考：
修改如下：

(3)hdfs-site.xml

修改副本系数，默认为3，此时为单节点的所以为1
etc/hadoop/hdfs-site.xml:

    
        dfs.replication
        1
    

如图所示：

另外，创建新目录存放hadoop的临时数据：

（由于）
参考：

在hdfs-site.xml中同时添加配置：

补充vi中的一点小区别——
:wq 强制性写入文件并退出百。即使文件没有被修改也强制写入，并更新文件的修改时间。

:x 写入文件并退出。仅当文件被修改时才写入，并更新文件修改时间，否则不会更新文件修改时间。

(4)slaves

将原本的：

改为：

5.启动HDFS

第一次启动时

重点：第一次执行的时候一定要格式化HDFS文件系统，此后的使用中不要如此重复执行格式化
在执行前打开另一个窗口，可以看到tmp文件夹此时是空的：

执行 hdfs namenode -format
提示信息如下：

此时可以看到，tmp目录下出现了很多文件：

启动集群，此时是单机集群

无需再格式化
sbin下执行./start-dfs.sh

验证方式：
1.jps
如果出现错误，可以去查看对应进程下对应机器的.log日志：

2.也可以通过访问http://192.168.61.129:50070进行验证

一定要关注活的节点数

此外，

如果发现jpsOK，但是浏览器访问不OK，可能是防火墙问题。
查看防火墙状态的命令： firewall-cmd --state

如何停掉防火墙？systemctl stop firewalld.service，需要root权限
最好的方式——禁止防火墙开机启动？systemctl disable firewalld

6.停止HDFS

在sbin目录下执行 ./stop-dfs.sh

通过cat start-dfs.sh可以看出

可以得出结论：