Hadoop3 伪分布式安装

准备工作：

1. 4台节点服务器
   1.1.1 JDK安装&配置好 参考JDK安装文章
   1.1.2 4个节点服务器配置相互免密登录 参考配置免密登录文章
2. 下载Hadoop 下载地址

开发环境

1. Linux平台: Centos6.5
2. JDK版本：1.8( jdk-8u201-linux-x64【下载地址】)
3. Hadoop 3.1.2 下载地址

1. 解压安装包到/opt目录下

/usr 下是你安装系统是所安装的软件的安装目录；
/opt 则是按完系统后你又需要安装其他的应用软件，一般是源码包的软件，可以自己指定路径，管理员习惯性的把软件按在这，你也可以安装在其他位置。

tar -zxvf hadoop-3.1.2.tar.gz -C /opt

2. 修改配置文件

配置文件路径：/opt/hadoop-3.1.2/etc/hadoop

1. 修改hadoop-env.sh配置文件，hadoop环境变量
   修改Hadoop的环境变量，默认的环境变量与服务器底层的环境变量有却别，因此必须修改。

   i. 打开全是注释项，在末尾新添加一行来配置所需的Java环境：

   export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
   

   ii. 配置角色进程指派NameNode,DataNode,SecondAryNameNode

   export HDFS_NAMENODE_USER=root
   export HDFS_DATANODE_USER=root
   export HDFS_SECONDARYNAMENODE_USER=root
   

2. 修改core-site.xml配置文件，主节点配置文件

   <configuration>
   	
       <property>
           <name>fs.defaultFSname>
           <value>hdfs://node01:9820value>
       property>
       
       <property>
           <name>hadoop.tmp.dirname>
           <value>/var/hadoop/peseudevalue>
       property>
   configuration>
   

3. 修改hdfs-site.xml配置文件，从节点配置文件

   <configuration>
   	
       <property>
           <name>dfs.replicationname>
           <value>1value>
       property>
       
       <property>
           <name>dfs.namenode.secondary.http-addressname>
           <value>node01:9868value>
       property>
   configuration>
   

4. 修改workers配置文件，配置从节点

   node01
   

3. 启动Hadoop

位于/opt/hadoop-3.1.2路径下
可执行文件目录

• bin启动脚本
• sbin更多的启动脚本

1. 格式化系统—产生集群第1个FSImage文件（元数据信息）

   ./bin/hdfs namenode -format
   

   执行成功标志：
   再最下面的几行中有

   Storage dirextory /var/hadoop/pesude/dfs/name hsa been successfully formatted.
   

   打印VERSION，生成clusterID，生成元数据信息
   

2. 开启NameNode与DataNode

   ./sbin/start-dfs.sh
   

   

4.成功标志

1. 方式1： 使用jps命令：显示当前所有JAVA进程pid
   
2. 方式2： 查看启动后的监听端口
   
3. 方式3： 直接访问前台界面http://node01:9870
   
   

5. 测试上传文件

0. 创建文件命令

   [root@node01 hadoop-3.1.2]# ./bin/hdfs dfs --help
   2019-04-04 15:22:58,841 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
   --help: Unknown command
   Usage: hadoop fs [generic options]
           [-appendToFile  ... ]
           [-cat [-ignoreCrc]  ...]
           [-checksum  ...]
           [-chgrp [-R] GROUP PATH...]
           [-chmod [-R]  PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-copyFromLocal [-f] [-p] [-l] [-d] [-t ]  ... ]
           [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc]  ... ]
           [-count [-q] [-h] [-v] [-t []] [-u] [-x] [-e]  ...]
           [-cp [-f] [-p | -p[topax]] [-d]  ... ]
           [-createSnapshot  []]
           [-deleteSnapshot  ]
           [-df [-h] [ ...]]
           [-du [-s] [-h] [-v] [-x]  ...]
           [-expunge]
           [-find  ...  ...]
           [-get [-f] [-p] [-ignoreCrc] [-crc]  ... ]
           [-getfacl [-R] ]
           [-getfattr [-R] {-n name | -d} [-e en] ]
           [-getmerge [-nl] [-skip-empty-file]  ]
           [-head ]
           [-help [cmd ...]]
           [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [ ...]]
           [-mkdir [-p]  ...]
           [-moveFromLocal  ... ]
           [-moveToLocal  ]
           [-mv  ... ]
           [-put [-f] [-p] [-l] [-d]  ... ]
           [-renameSnapshot   ]
           [-rm [-f] [-r|-R] [-skipTrash] [-safely]  ...]
           [-rmdir [--ignore-fail-on-non-empty]  ...]
           [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set  ]]
           [-setfattr {-n name [-v value] | -x name} ]
           [-setrep [-R] [-w]   ...]
           [-stat [format]  ...]
           [-tail [-f] ]
           [-test -[defsz] ]
           [-text [-ignoreCrc]  ...]
           [-touch [-a] [-m] [-t TIMESTAMP ] [-c]  ...]
           [-touchz  ...]
           [-truncate [-w]   ...]
           [-usage [cmd ...]]
   
   Generic options supported are:
   -conf         specify an application configuration file
   -D                define a value for a given property
   -fs  specify default filesystem URL to use, overrides 'fs.defaultFS' property from configurations.
   -jt   specify a ResourceManager
   -files                 specify a comma-separated list of files to be copied to the map reduce cluster
   -libjars                specify a comma-separated list of jar files to be included in the classpath
   -archives           specify a comma-separated list of archives to be unarchived on the compute machines
   
   The general command line syntax is:
   command [genericOptions] [commandOptions]
   

1. 创建一个文件夹temp

   ./bin/hdfs dfs -mkdir /temp
   

   命令执行的结果：
   在界面展示的/temp文件夹

2. 上传Hadoop 3.1.2安装包大小324M，至 /temp文件夹下

   ./bin/hdfs dfs -put /root/tools/
   

   上传的命令展示
   
   可视化界面的展示结果
   
   使用命令展示目录中的文件
   
   出现的疑问：
         因为默认的Block的大小为128M，那上传的文件到底是分割成了几块呢？存放在什么位置？
         i. 可视化的Web界面可以看到已经分成的3块数量
   
         ii. 通过可视化界面可以观察到每一个Block都有一个Block ID ,在块存放的位置就有这些Block ID标注的数据块